蜘蛛是如何抓取网站内部链接
搜索引擎在抓取海量的原始网页时，会进行预处理，主要包含四个方面，关键词的提取，镜像网页(网页的内容完整雷同，未加任何修改)或转载网页(near-replicas，主题内容基原形同但可能有一些额定的编纂信息等，转载网页也称为近似镜像网页)的清除，链接分析和网页重要程度的计算。
1. 症结词的提取，取一篇网页的源文件(例如通过阅读器的查看源文件功效)，我们可以看到其中的情况缭乱复杂。从意识和实际来看，所含的关键词即为这种特点最好的代表。于是，作为预处置阶段的一个根本义务，就是要提掏出网页源文件的内容部门所含的要害词。对中文来说，就是要依据一个词典Σ，用一个所谓切词软件，从网页文字中切出Σ所含的词语来。在那之后，一篇网页主要就由一组词来近似代表了，p = {t1, t2, …, tn}。个别来讲，咱们可能得到许多词，统一个词可能在一篇网页中屡次涌现。从后果(effectiveness)和效力(efficiency)考虑，不应当让所有的词都呈现在网页的表现中，要去掉诸如的，在等没有内容唆使意义的词，称为停用词(stop word)。这样，对一篇网页来说，有效的词语数目大概在200个左右。
2. 重复或转载网页的打消，与生俱来的数字化和网络化给网页的复制以及转载和修正再发表带来了方便，因此我们看到Web上的信息存在大量的重复现象。这种景象对于宽大的网民来说是有正面意义的，由于有了更多的信息拜访机遇。但对于搜索引擎来说，则主要是负面的;它不仅在收集网页时要耗费机器时光和网络带宽资源，而且如果在查询结果中出现，无意义地消费了计算机显示屏资源，也会引来用户的埋怨，这么多重复的，给我一个就够了。因而，排除内容重复或主题内容反复的网页是搜索引擎抓取网页阶段的一个重要任务。
3、链接剖析，大量的HTML标记既给网页的预处理造成了一些麻烦，也带来了一些新的机会。从信息检索的角度讲，假如体系面对的仅仅是内容的文字，我们能根据的就是共有词汇假设(shared bag of words)，即内容所包括的关键词集合，最多加上词频(term frequency 或tf、TF)和词在文档聚集中出现的文档频率(document frequency 或df、DF)之类的统计量。而TF和DF这样的频率信息能在必定程度上指导词语在一篇文档中的绝对重要性或者和某些内容的相干性，这是有意义的。有了HTML标志后，情况还可能进一步改良，例如在同一篇文档中，
和
之间的信息很可能就比在
和
之间的信息更重要。特殊地，HTML文档中所含的指向其他文档的链接信息是人们近多少年来特别关注的对象，认为它们不仅给出了网页之间的关系，而且还对断定网页的内容有很重要的作用。
4、网页主要水平的盘算，搜寻引擎实际上寻求的是一种统计意义上的满足。人们以为Google目前比baidu好，仍是baidu比google好，参照物取决于多数情形下前者返回的内容要更合乎用户的需要，但并不是所有情况下都如斯。如何对查询结果进行排序有良多因素须要斟酌。如何讲一篇网页比另外一篇网页重要?人们参照科技文献重要性的评估方法，核心主意就是被引用多的就是重要的。援用这个概念刚好可以通过HTML超链在网页之间体现得十分好，作为Google创建中心技巧的PageRank就是这种思路的胜利体现。除此以外，人们还留神到网页跟文献的不同特色，即一些网页重要是大量对外的链接，其自身基础不一个明白的主题内容，而另外有些网页则被大批的其余网页链接。从某种意思上讲，这构成了一种对偶的关联，这种关系使得人们可以在网页上树立另外一种重要性指标。这些指标有的能够在抓取网页阶段计算，有的则要在查询阶段计算，但都是作为在查问服务阶段终极造成成果排序的局部参数。
标签：抓取,蜘蛛,链接
