伟枫科技：蜘蛛抓取网页的基本规律是什么?如何

  做SEO的人员都知道收录那必须是第一步，而搜索引擎的收录是从蜘蛛的爬行开始的，这个大家都非常的明确，也许今天再谈这个话题在很多大虾的眼里已经是一个小儿科，可是作为菜鸟的我，我感觉这样的理论知识还要是搞明白的好。蜘蛛的抓取原理，带你们开始从第一个问题解读蜘蛛的工作原理

  一.为什么搜索引擎蜘蛛需要不停的抓取页面，需要不停的收集站长们的网站信息?

  这是因为搜索引擎在互联网中它是起着为用户提供信息供给服务的媒介，它本身并不具备信息产生功能，所以它才需要不断的在互联网上进行收集信息以供用户查阅，来达到它特有的互联网生存盈利模式。站长们建设网站需要找寻用户，而同样的用户也需要通过搜索引擎来找到所需的网站，搜索引擎在其中不过是起到一个中介的作用，并非是信息产生器，所以它必须不断的抓取互联网信息。

  第二个问题蜘蛛是通过那些链接来抓取互联网信息?

  有三种链接

  1. url路径(站长们的域名);

  2. 锚文本;

  3. 超链接;

  在这里，小编发现有相当数量的新手站长并不清楚url路径和超链接的区别，url代表仅仅是一个域名，它在页面上的体现形式是不能直接通过点击跳转进入一个页面，而超链接则相反，众所周知，它是一个链接，它是可以通过直接点击跳转进入一个页面，这便是url路径与超链接的区别。蜘蛛抓取页面时会对各位站长的url路径进行收集，然后对其分类，在这里就得涉及到域名的特性，那什么是域名的特性呢?没错，就是它的后缀，它分为.,.,.,.等，搜索引擎会把网站里的链接收集起来带到自己的服务器进行分析。

  作为判断各位站长网站优秀与否最为直观的方式，便要看关键词排名了，而影响关键词的排名因素的，最为重要的便是seoer耳熟能详的两点

  1. 内容

  2. 外链

  在这里咱们的第三个问题就出现了当搜索引擎分析一个网站时，是先判断内容呢，还是先判断外链?

  答案是它会优先判断外链，搜索引擎蜘蛛会把你的所有外链全部下载到它的服务器里进行分析，然后以此为依据逐个抓取，以判断这些外链是否相关，如果页面相关，那么从对方网站传递过来给你的网站的权重就会很高。

  四.为什么百度并未收录我网站的所有页面，只是收录我的页面的一部分呢?

  蜘蛛是根据外链来抓取判断网站页面，它并不会爬行网站的所有页面。

  五.为什么需要大量的布局外部链接和链接诱饵?

  因为这样的做的好处有两点

  1. 这样做可以大大的增加网站的权重。

  2. 可以增加网站页面的收录机会，因为很多时候搜索引擎没有收录网站页面的情况都是在蜘蛛并非记录内页路径的情况下，也许蜘蛛多来爬行几次你的网站，发现了此页面的路径，于是便被收录了呢!

  搜索引擎以百度而言，它会把把抓取到的网站分为非常优秀，优秀，中等，差以及非常差五个等级，并以此为依据分别对不同级别的网站进行不同次数的抓取，被搜索引擎视为优秀的网站自然蜘蛛来的次数也多，而一些评分很低的网站蜘蛛则来的次数很少，甚至根本就不会光临。在这里可能会有一些朋友有一点误区他认为评分好的网站排名也高，其实这是不正确的，就像前面说的一样，评分的高低只是说明了蜘蛛来抓取你网站的频率高低，而对关键词排名其决定性作用的不过是外部锚文本链接而已，外部锚文本分布的广度和质量这才是对你关键词排名起着决定性作用的因素。

  六.页面上的什么东西是蜘蛛不会抓取的呢?

  蜘蛛抓取的原理爬行你的网页，并下载源代码，然后回到自己的服务器上进行分析，这样一来作为百度虽然庞大但毕竟并非无穷的数据库而言，容量太过庞大的数据蜘蛛是不会抓取的，比如说JS，视频，MP3,flash以及框架。这些都是蜘蛛不会抓取的内容。

  七.当蜘蛛抓取网站，优先抓取的是什么?

  答案是robots，它是网站的协议，当蜘蛛访问你的网站时，它会优先的访问这个路径，而此路径的作用在于告诉蜘蛛网站内什么东西是可以抓取的，什么东西是不能被抓取的，这是一个用户协议，倘若站长朋友并非设置此文件，那么蜘蛛将会默认为在这个网站任何东西都是可以被抓取的。下面便是robots一些基本的用法

  1.User-agent

  Disallow /sitemap/ (禁止蜘蛛抓取文本网页)

  2.User-agent

  Disallow /adm/ (禁止蜘蛛抓取adm目录下所有文件)

  3.User-agent

  Disallow .jpg$(防止盗链)

  4.User-agent

  Disallow /(禁止二级域名的抓取)

  小编告诉你个秘密，如果有些内容是你独特所有的，那么不妨用“加粗”“下划线”等加强一下，这样子就表明这些是特别的，别的地方不常见。对于喜欢新奇的蜘蛛就会经常来这里的哦。以上是的分享，希望你们有所收获的。