搜索引擎的抓取收录原理(四个流程)

　　搜索引擎的抓取收录原理(四个流程)

　　1、抓取

　　2、过滤

　　3、存储索引库

　　4、展示排序

　　搜索引擎的抓取收录流程图

　　蜘蛛抓取——网站页面——存放在临时索引库——排名情况(从索引库调取)

　　注解：

　　临时索引库并不是存放所有蜘蛛抓取的网站页面，

　　他会根据蜘蛛抓取页面的质量进行筛选，过滤一些质量差的页面，

　　再将质量好的页面，根据页面质量的好坏进行排序，

　　终才是我们看到的排名情况

　　有人也许会问为什么我的网站没有被收录呢

　　主要原因之一就是网站页面质量较差，从而被搜索引擎过滤掉了，所以才没有被百度收录。

　　(一)搜索引擎抓取：

　　1、爬虫SPider顺着网页中的超链接，在互联网中发现、搜集网页信息

　　2、蜘蛛的抓取方式

　　1)深度抓取(竖着抓取，先抓取完一个栏目的内容页，然再换个栏目以同样的方式抓取)

　　2)广度抓取(横着抓取，先抓取完每个栏目也，再抓取每个栏目页下面的内容页)

　　3、不利于蜘蛛识别的内容

　　js代码，iframe框架代码机构，图片(添加alt属性辅助识别)，flash(视频前后加文字辅助搜索引擎识别)，需要登录之后才能获取的页面信息，嵌套table等

　　网站结构：首页——栏目页——内容详情页

　　(二)搜索引擎过滤

　　过滤低质量的内容页面

　　什么是低质量的内容页面呢

　　1、采集，内容价值低

　　2、文不对题的内容

　　3、没有丰富的内容

　　(三)搜索引擎存储索引库

　　对蜘蛛抓取的内容，经过筛选后，将内容存储在一个临时的数据索引库中。

　　(四)搜索引擎展示排序

　　将存储索引库的内容，根据质量的高低进行排序，然后调用出来展现给用户。

　　1、检索器根据用户输入的查询关键词，在索引库中快速检索文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并将查询结果展示出来反馈给用户。

　　2、当我们在搜索引擎看到的只是一结果，搜索根据各种算法进行排序，将质量好的十个结果放在页