百度蜘蛛是什么?百度蜘蛛运行原理详解

百度蜘蛛是什么意思?许多刚入门的新手总是会听到有人在谈论有关百度蜘蛛的事情，刚听上去有点懵，好像大体知道是什么情况，但具体又不太清除。下面就及详细为大家介绍一下百度蜘蛛是什么。

百度蜘蛛是什么?

在了解百度蜘蛛之前，我们需要先了解什么是网络。其实我们所说的网络一般指互联网。我们可以将网络比喻成一张巨大而无边际的蜘蛛网，而网站可以比喻成这张蜘蛛网上的每个节点，节点上有哪些信息需要去搜集，就有了“蜘蛛”这种自动化的程序。例如，百度“蜘蛛”就是针对百度搜索引擎而下的定义。

百度蜘蛛是百度搜索引擎中的一个自动程序，是搜索引擎的核心技术，它的作用是可以通过URL访问并抓取互联网上的网页，视频，图片，音频。搜索引擎构建了一个调度程序来调度和指挥百度蜘蛛进行工作，百度蜘蛛只下载网页。

百度蜘蛛分类

百度经过多年的更新，面对不同的网站也给出了不同的蜘蛛分类，让这些蜘蛛有效地去判断网站的价值。而百度蜘蛛一般分为3类：高级蜘蛛、中级蜘蛛和初级蜘蛛。每种蜘蛛就像我们人的职位一样，对网站进行不同的分工。

(1)高级蜘蛛：这种蜘蛛只会去爬行一些权重高的网站。我们经常会发现，为什么在其他大型网站发外链都会秒收，而自己的网站却不收录。原因就是高级蜘蛛在爬行网站的时候有各种优先权，如来访率高、爬行深度高、收录快和排名好等。

(2)中级蜘蛛：这种蜘蛛会通过一些网站的友情链接及外链进入一个新的网站，然后会对新的网站再次进行判断，如新的网站内容是否优质、原创，并删除一些劣质的内容。

(3)初级蜘蛛：初级蜘蛛就像一个小门槛，要求不高，审核频率也不高。其只会针对一些新站进行过滤，经过一段时间之后再来判断是否值得放出来。出现这种情况的主要原因是新网站太多，但是好的新网站却很少。互联网提供的是优质的内容，过不了审核期的新网站自然不会放出来。这种情况一般叫做沙盒期，这也是很多新网站无法坚持下去的原因。

百度蜘蛛运行原理

搜索引擎调度程序发出指令---百度蜘蛛开始爬行工作---通过URL和服务器建立连接，爬行，访问，抓取下载网页储存到补充数据区(文件储存)---调度程序调用索引程序算法预处理抓取下载到的网页---符合规则的网页放到检索区---排名展现。

1、预处理：对搜索引擎蜘蛛抓取下载的页面进行文字提取，链接提取，中文分词。

2、网页排名展现：当用户搜索关键词的时候，调度排名程序索引数据库，计算相关性，然后按一定格式生成搜索结果页面。

3、爬行和抓取是搜索引擎第一步工作，完成网页的爬行，抓取，完成数据收集任务。现在的搜索引擎蜘蛛在抓取过程中也会一定程度的复制内容检检测。遇到权重低，大量转发别人网站内容，原创度低，质量不佳的网页可能不会继续抓取了。

百度蜘蛛预处理

预处理是搜索引擎工作最重要的步骤，包括以下算法处理：

为什么要预处理?搜索引擎蜘蛛抓取存储的原始页面，并不能直接用于排名查询，数据量太大，没有办法在毫秒之间返回结果给用户，所以必须先对原始页面进行预处理，以便为后面的查询排名做准备。

1、提取原始网页文字

搜索引擎预处理首先要做的就是从html网页中去除各种标签，程序，提取中可以用于网页排名的文字。但是除文字也会提取一些特殊的包含文字信息的代码比如，META标签，TITLE标签，DESCRITION，KEYWORDS，ALT，链接中的锚文字。

2、中文分词

中文分词是中文搜索引擎特有的步骤，因为中文不像英文那样，词与词之间有间隔，所有的词都是连在一起的，这就要求搜索引擎能够区分哪几个字组成一个词，那个字本身就是一个词。比如：seo优化教程将被分为SEO优化，教程两个词。

中文分词的两张方法：基于词典匹配，基于统计匹配。统计匹配是计算字与字之间相邻出现的频率来计算。

搜索引擎对页面的分词取决于词库的规模，准确性，分词算法的好坏，而不是取决于页面本身的情况。SEOER能做的事情很少，唯一能做的是页面上用某种形式提示搜索引擎。比如在标题，H1等各种标签及黑体中出现关键词。

通过点击查看百度快照，可以大致看出搜索引擎是如何分词

知道分词原理去做锚文本外链才更加高效，举例：比如搜索引擎优化，被分为搜索引擎优化三个词的时候那分别做三个词的锚文本链接，这样提高搜索引擎优化效果最好。如果直接以搜索引擎优化为锚文本则排名没有那么好。

3、去停止词

无论是中文搜索引擎还是因为搜索引擎，页面中会出现一些词频率很高，但是对内容没有任何影响的词，比如的，地，得之类的助词，啊，哈，呀等感叹词。搜索引擎在预处理的过程会去掉这些词，使索引数据跟为突出，减少无谓的计算量。

索引擎在预处理的过程会去掉这些词，使索引数据跟为突出，减少无谓的计算量。

4、消除噪声

除了停止词，还有一部分内容对页面主题没有什么贡献的，比如版权声明，导航条，广告等这些都属于噪声，对页面只能起到分散作用。

消噪声是基本的办法是根据HTML标签对页面分块，区分出页头，页尾，导航，正文，广告等区域，在网站上大量重复出现的区块往往第噪声，对噪声消噪之后，剩下的就是网页的主题内容。

5、去重

对于用户和搜索引擎来说不喜欢同一篇内容在不同网站和同一个网站不网址上出现，搜索引擎就需要识别并删除这些重复内容，这个过程就是去重。

去重基本方法是对页面特征关键词计算指纹，也就是说在文章中选取最具有代表性出现频率最高的一部分(是分词，去停止词，消噪之后)关键词，通常选择10个左右特征关键词就可以达到较高的计算准确性了。

针对现在一些不断增加一些跟文章无关紧要的词，进行所谓的伪原创，一样逃不过搜索引擎的去重算法。这样做无法改变关键词的特征。搜索引擎的去重算法很可能不止于页面级，二是进行到段落。

百度蜘蛛注意事项

1、搜索引擎蜘蛛的爬行和抓取，只是搜索引擎工作的第一步，也就是完成数据的收集任务。

2、搜索引擎蜘蛛访问任何一个网站的时候，都会先访问网站根目录中的ROBOTS文件，检查是否许可只搜索引擎蜘蛛的抓取。

3、不管是浏览器或者是搜索引擎蜘蛛还是其他访问程序，都会标明自己的身份代理名称也就是USER-AGENT：

4、文件储存：搜索引擎蜘蛛爬行抓取的数据存储到数据库，得到的数据和浏览器得到的HTML是完全一样的，并且每个URL都会标记上自己独特的文件编号。

5、百度搜索引擎调度程序的原则，告诉并调度搜索引擎蜘蛛应该抓取下载什么样的网页，怎么去发现网页，发现更多网页;

6、链接跟踪：为抓取更多页面，搜索引擎蜘蛛会跟踪页面上所有的链接，并顺着链接继续抓取下去。

7、深度优先：指的是蜘蛛沿着发现的链接一直向前爬行，直到前面再也没有其他链接，然后再返回第一个页面，沿着另外一个链接再继续往前爬行。指的是互联网中的一些知名，有深度的门户站点优先抓取，并通过这些站点让搜索引擎蜘蛛抓取到更多的优质网页。

8、广度优先：当搜索引擎蜘蛛在一个页面上发现多个链接时候，不是顺着链接一直向前，而是把页面上所有第一层链接先抓一遍，然后再抓第二层。

9、权重优先：是指网页的反向链接较多的页面优先抓取。一般情况下网页抓取到40%是正常范围，60%算很好，100%是不可能。

10、百度蜘蛛只是负责爬行，访问，抓取，下载，存储到数据补充区，优先和权重原则都是搜索引擎调度程序去计算和分配。

百度搜索引擎蜘蛛的工作要素

在深度优先，权重优先的机制下，百度蜘蛛终于访问抓取到了网站。百度蜘蛛抓取下载到网页首页后，调度程序会计算网页中的所有的URL，再继续返回给百度蜘蛛下一步的抓取链接列表，继续深入抓取下载更多的网页。(叫做跟踪链接，为了抓取到网上尽量多的网页)。

百度蜘蛛有效抓取方法：地图

为什么要在首页做百度地图的入口呢?可以通过百度地图来给百度蜘蛛一个抓取的方向，来左右百度蜘蛛去抓取哪些页面，让百度知道知道那个页面重要。也可以在首页构建更多的链接入口来，越多页面指向该页面，首页指向该页面，栏目指向该页面都能够提高这个页面的优先抓取，快速抓取。

地图另外一个作用就是让搜索引擎蜘蛛能够抓取到更多网页。

地图其实就是一个连接的列表提供给百度蜘蛛，来计算你的目录结构，找到通过站内连接来构建的重要页面。