搜索引擎抓取网页，通常是尽可能地抓取重要的网页。搜索引擎主要以网页受欢迎的程度、网页本身链接的重要度、网页离中心页面的深度来判断网页的重要度。
网页受欢迎的程度主要由该网页的外链的数量和质量决定。首先，一个网页，有越多的链接指向它，也就是它的外链越多，相当于对该网页认可的网站也就更多，那么，它被用户访问到的机率也就越大，其重要性也就越高。另外，外链的质量也是需要进一步考查的，如果被越多重要性高的链接指向，那么重要性也就越高。
链接（URL）， Universal Resource Locator的缩写，也被称为是网页的地址。网页本身链接的重要度考察的是网页URL这个字符串的本身。URL重要度的衡量标准包括两个方面，一方面是包含.com或home的URL重要度高，另一方面是/较少的URL重要度比较高。
网页离中心页面深度指的是链接离网站的中心页面越近，则该链接的重要度就比较高，因为离网站中心页面近，则该链接被访问的机会也就越大，搜索引擎也更容易抓取到。
转载注明:凯普威团队博客 作者：刘佳
订阅我的BLOG(RSS)