《2022年Google 的秘密- PageRank 彻底解说 中文版搜索研究教程.docx》由会员分享，可在线阅读，更多相关《2022年Google 的秘密- PageRank 彻底解说 中文版搜索研究教程.docx（7页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、2022年Google 的秘密- PageRank 彻底解说 中文版搜索研究教程1.前言最近，搜寻引擎 Google ( 是基于现担当 CEO 的 Larry Page 和担当总经理的 Sergey Brin (2022年2月)在就读于美斯坦福高校探讨生院时所开发的搜寻引擎的一种检索服务。Google 从1998年9月起先服务,但Netscape Communications 在 Google 的测试阶段就起先与其合作，美国 Yahoo! 公司也从2000年6月起将默认搜寻引擎(美国 Yahoo! 不能检索时作为增补的搜寻引擎)由原先合作的 Inktomi 转换为了 Google。日语版 Go
2、ogle 在2000年9月正式登场,现已被 BIGLOBE(NEC)所采纳。 (注:2022年4月 Yahoo! JAPAN 和 NIFTY，7月索尼，2022年1月 Excite 也相继与 Google 建立了协作关系)。Google 被评价的优点不仅仅在于去除无用的(广告)标语构成单一页面的功能、独自的 Cache 系统、动态制成摘要信息、为实现高速检索而设置的分散系统(数千台规模的Linux群集器)等，而其中最大的优点正是它检索结果的正确性。一种能够自动推断网页重要性的技术PageRank是(网页等级)就是为此而设计的一种技术。 本文的目的就是以尽可能浅显易懂的语言来说明 PageRan
3、k 系统的概要和原理。以下是 PageRank 的一篇基础文章。Lawrence Page, Sergey Brin, Rajeev Motwani, Terry Winograd, The PageRank Citation Ranking: Bringing Order to the Web, 1998,http:/www-db.stanford.edu/backrub/pageranksub.ps 为了更高效地计算 PageRank,以下是改良以后的一篇论文。Taher H. Haveliwala, Efficient Computation of PageRank, Stanford
4、Technical Report, 1999,http:/dbpubs.stanford.edu:8090/pub/1999-31 另外，以下是 PageRank 的演示用资料(PowerPoint)。Larry Page, PageRank: Bringing Order to the Web,http:/hci.stanford.edu/page/papers/pagerank/ （已失效） 接下来就对这两篇文章(另加一篇资料)进行基本说明。 首先，用简洁的例子来解说 PageRank 的概念，再归结到运用超链接关系的排序系统来解决大规模疏松疏矩阵的特性值的问题。然后我们会接触一些在现实世
5、界中应用基本模型时出现的问题和对应方法。接下来，为了探讨是否能够作为个人化 PageRank运用，进行对免费全文检索系统 Namazu 的安装试验并对其结果进行阐述。最终发表我对 PageRank 的个人见解。另外，为了能够理解以下的说明内容，须要高校基础课程程度的数学学问(尤其是线形代数)。然而为使文科生也能够顺当读下去，尽可能地不用算式来说明问题，同时，为了加入笔者个人的见解，没有加入像原文那么多的算法和数字，也存在很多不够严密和欠正确的地方，事先在次声明。详细内容请参照原文。PageRank(TM) 是美国 Google 公司的登记注册商标。2. PageRank 的基本概念 PageR
6、ank 是基于从很多优质的网页链接过来的网页，必定还是优质网页的回来关系，来判定全部网页的重要性。在以下冗长的说明中，很多部分大量地运用了专业用语，会造成理解上的困难。这一章虽然打算集中于定性而简洁的解说,但是，即使如此也会有怎么也不明白的时候，此时只要能够理解从很多优质的网页链接过来的网页，必定还是优质网页这一思索方法也就特别得珍贵了。因为在全部几个要点中，这个是最重要的思索方法。来自于 Google 自己的介绍Google的受欢迎的隐私(http:/www.google.co.jp/intl/ja/why_use.html) 是象以下一样解说的。关于PageRankPageRank，有效地
7、利用了 Web 所拥有的浩大链接构造的特性。 从网页A导向网页B的链接被看作是对页面A对页面B的支持投票，Google依据这个投票数来推断页面的重要性。可是 Google 不单单只看投票数(即链接数)，对投票的页面也进行分析。重要性高的页面所投的票的评价会更高，因为接受这个投票页面会被理解为重要的物品。依据这样的分析,得到了高评价的重要页面会被赐予较高的 Page Rank(网页等级)，在检索结果内的名次也会提高。PageRank 是 Google 中表示网页重要性的综合性指标，而且不会受到各种检索(引擎)的影响。倒不如说，PageRank 就是基于对运用困难的算法而得到的链接构造的分析，从而
8、得出的各网页本身的特性。当然，重要性高的页面假如和检索词句没有关联同样也没有任何意义。为此 Google 运用了精练后的文本匹配技术，使得能够检索出重要而且正确的页面。通过下面的图我们来详细地看一下刚才所阐述的算法。详细的算法是，将某个页面的 PageRank 除以存在于这个页面的正向链接,由此得到的值分别和正向链接所指向的页面的 PageRank 相加，即得到了被链接的页面的 PageRank。PageRank 概念图。(引自 Page et al.(1998) Figure 2 Simplified Page Calculation) 让我们具体地看一下。提高 PageRank 的要点，大
9、致有3个。反向链接数 (单纯的意义上的受欢迎度指标) 反向链接是否来自举荐度高的页面 (有依据的受欢迎指标) 反向链接源页面的链接数 (被选中的几率指标) 首先最基本的是，被很多页面链接会使得举荐度提高。也就是说(被很多页面链接的)受欢迎的页面，必定是优质的页面。所以以反向链接数作为受欢迎度的一个指标是很自然的想法。这是因为，“链接”是一种被看作可以看看这个页面/这个页会有用的举荐行为。但是，值得傲慢的是 PageRank 的思索方法并没有停留在这个地方。也就是说，不仅仅是通过反向链接数的多少，还给举荐度较高页面的反向链接以较高的评价。同时，对来自总链接数少页面的链接赐予较高的评价，而来自总链
10、接数多的页面的链接赐予较低的评价。 换句话说(汇合着很多举荐的)好的页面所举荐的页面，必定也是同样好的页面和与感觉在被胡乱链接的链接相比，被少数选择出的链接确定是优质的链接这两种推断同时进行着。一方面，来自他人高水平网页的正规链接将会被明确重视，另一方面，来自张贴有完全没有关联性的类似于书签的网页的链接会作为几乎没有什么价值(虽然比起不被链接来说好一些)而被轻视。因此，假如从类似于 Yahoo! 那样的 PageRank 特别高的站点被链接的话，仅此网页的 PageRank 也会一下子上升；相反地，无论有多少反向链接数，假如全都是从那些没有多大意义的页面链接过来的话，PageRank 也不会轻
11、易上升。不仅是 Yahoo!, 在某个领域中可以被称为是有权威的(或者说固定的)页面来的反向链接是特别有益的。但是，只是一个劲地在自己一些同伴之间制作的链接，比如像单纯的内部照看这样的做法很难看出有什么价值。也就是说，从注目于全世界全部网页的视点来推断(你的网页)是否真正具有价值。综合性地分析这些指标，最终形成了将评价较高的页面显示在检索结果的相对靠前处的搜寻结构。以往的做法只是单纯地运用反向链接数来评价页面的重要性，但 PageRank 所采纳方式的优点是能够不受机械生成的链接的影响。 也就是说，为了提高 PageRank 须要有优质页面的反向链接。 譬如假如托付 Yahoo! 登陆自己的网
12、站，就会使得 PageRank 隧然上升。但是为此必需致力于制作(网页的)充溢的内容。这样一来，就使得基本上没有提高 PageRank 的近路(或后门)。不只限于PageRank (Clever 和 HITS 等也同样)，在利用链接构造的排序系统中，以前单纯的 SPAM 手法将不再通用。这是最大的一个优点，也是 Google 便利于运用的最大理由。(虽然是最大的理由,但并不是唯一的理由。)在这里请留意，PageRank 自身是由 Google 定量，而与用户检索内容的表达式完全无关。就像后边即将阐述的一样，检索语句不会呈现在 PageRank 自己的计算式上。不管得到多少的检索语句，PageRank 也是肯定的、文件固有的评重量。PageRank 的定性说明大致就是这样一些。但是，为了实际计算排列次序、比较等级，须要更定量性的探讨。以下一章将做具体的说明。3.怎样求得 PageRank 我们感爱好的是，在有像超级链接构造那样的相互参照关系的时候，定量地知道哪一个页面是最重要的。换句话大胆地说，这个也就是严密计算应当从哪一页起先读取这个指标的过程。就算从谁都不看的小页面起先读取也没有方法。那么，一般地说为了使得像 Web 那样的超级链接构造能够