网站建设好后如何吸引蜘蛛来爬行？

由昨天讲解的可以了解到，虽然理论上蜘蛛能爬行和抓取所有页面，但实际上不能也不会这么做SEO人员要想让自己更多页面被收录，就要想方设法吸引蜘蛛来抓取。既然不能抓取所有页面，蜘蛛所要做的就是尽量抓取重要的页面。那些页面被认为比较重要呢？下面杭州网站设计--帷拓小编就来和大家说说有那几方面的影响因素：

导入链接。无论是外部链接还是同一个网站的内部链接，要被蜘蛛抓取，就必须有导入链接进入页面，否则蜘蛛根本没有机会知道页面的存在。高质量的导入链接也经常使页面上的导出链接被爬行深度增加。

与首页点击距离。一般来说完整干旱上权重最高的的首页，大部分外部链接是指向首页的，蜘蛛访问最平凡的也是首页。离首页点击距离越近，页面权重最高，被蜘蛛爬行的机会也就越大。

URL结构。页面权重是在收录并进行   代计算后才知道的，那么前面说的页面权重高有利于被抓取，搜索引擎蜘蛛在抓取前怎么知道这个页面的权重呢？所以蜘蛛要进行预判，除了链接与首页距离 历史数据等因数外，短的层次浅的URL也可能被直观认为在网站上的权重相对较高。

地址库：为了避免重复爬行和抓取网址，搜索引擎会建立一个地址库，记录已经被发现，但还没有抓取的页面，以及已经被抓取的页面。蜘蛛在页面上发现链接后并不是马上就去访问，而是将URL存入地址库，然后统一安排抓取。

杭州网站设计--帷拓小编就来和大家说说有那几点地址库中URL有几个来源：

1）：人工录入的种子网站。

2）：蜘蛛抓取页面后，从html中解析出新的链接URL，与地址库中的数据进行对比，如果是地址库中没有的网址，就存入待访问地址库。

3）：站长通过搜索引擎页面提交表格提交进来的网址。

4）：站长通过xml网站地图，站长平台提交的网站。

    蜘蛛按重要性从待访问的地址库中提取URL，访问并抓取页面，然后把这个URL从待访问地址哭中删除，放进已访问的地址库中。大部分主流的搜索引擎都会提供一个表格，让站长提交网址。不过这些提交上来的网址都只是存入地址库而已，是否收录还要看页面的重要性如何。搜索引擎所收录的绝大部分页面是蜘蛛自己跟踪链接得到的。可以说提交页面作用微乎其微，搜索引擎更喜欢自己沿着链接发现新页面。

   杭州网站设计--帷拓小编就来和大家说说文件存储和爬行时的复制内容检测：搜索引擎蜘蛛抓取的数据存入原始页面数据库。其中的页面数据与用户浏览器得到的html是完全一样的，每个URL都有一个独特的文件编号。

   爬行时的复制内容检测：检测并删除复制内容通常是在下面介绍的预处理过程中进行的。但现在的蜘蛛在爬行和抓取文件时也会进行一定程度的复制内容检测。遇到权重很底的网站上大量转载或抄袭内容时，很可能不在继续爬行。这也就是有的站长在日志文件中发现了蜘蛛，但页面从来没有被真正收录过的原因。