|
| Google是如（rú）何（hé）收录及排序网页的 |
|
我们遇到的最常见的（de）问题（tí）之一是（shì）“Google是如何判定哪个结（jié）果出现（xiàn）在搜索结果的（de）前茅（máo）？”，Matt Cutts给我（wǒ）们（men）简单地（dì）揭示（shì）了如何抓取（qǔ）、收录和给网页评（píng）级。
抓取（qǔ）和（hé）收录
当你看到出现在Google的搜索结果的那个网（wǎng）页之前，Google在后（hòu）台已经做了许多步骤。Google的第一步是抓取（qǔ）和收录互联网（wǎng）上的数（shù）十亿的网（wǎng）页，这（zhè）个（gè）工（gōng）作时由Google的机器人Googlebot来完成的，它浏览网络服务器抓取（qǔ）文件（jiàn）。 抓取（qǔ）的程序（xù）并不是漫无目（mù）的地在互联网上（shàng）瞎逛，它访问服（fú）务器的特定的网（wǎng）页，然后扫（sǎo）描（miáo）网（wǎng）页上（shàng）的超文本链（liàn）接（jiē），如果（guǒ）有（yǒu）新的文（wén）件也是这样（yàng）抓取得；蜘蛛程序给每个得到的（de）网页一个号码，这个（gè）号码指向（xiàng）它抓取的网页。
蜘蛛程序抓取（qǔ）了很多（duō）的网页，但（dàn）这（zhè）些网页还不是便于搜索的。如果（guǒ）没有一（yī）个索引，你要（yào）查询一个词，比如（rú）“国内战争（zhēng）”，Google的服务器每次都要（yào）读（dú）取每一（yī）个文件的所有内容。
因此，第二步就是（shì）建立索（suǒ）引（yǐn）。我（wǒ）们（men）不是去扫描每（měi）一（yī）个文件的所有（yǒu）内容，我们（men）巧（qiǎo）妙（miào）地进行（háng）数据的（de）“转换”，列出每（měi）一个文件所包（bāo）含的特定（dìng）的（de）词（cí），例如，“国内”这个（gè）词（cí）可能出（chū）现在文件3，8，22，56，68和92当中，而（ér）“战（zhàn）争”这个词出现在文件2，8，15，22，68和77中。
建立好索引之后，我们就可以开始对网页进行评级，决定网页的相关程度。假设有（yǒu）人在Google的搜索栏输入“国内战（zhàn）争”进行查询（xún），为了提交搜索结果（guǒ）和对（duì）结果进行（háng）评分（fèn），我们要（yào）做两件事：
1. 找（zhǎo）到包（bāo）含（hán）用（yòng）户查询的词（cí）的网页
2. 给符合的网页按照相关程度进行评级
Google开发出一（yī）个有趣的（de）技巧来加速（sù）第一步（bù）：Google不是（shì）把（bǎ）整个索（suǒ）引存（cún）储在（zài）一台（tái）功能（néng）强（qiáng）大的计算机上，而是用（yòng）千百个计算机来存储（chǔ）这些信（xìn）息。因为任务被分解到许（xǔ）多的计算机，可以更快地找到所（suǒ）需的答案。 详细解释一下，假设（shè）一本（běn）书的目录有30页，如果一（yī）个人要在目录（lù）中查寻资（zī）料，每次查（chá）询（xún）都要花几秒钟；如果用30个人每人（rén）查询一（yī）页目录（lù），显（xiǎn）然要比一个（gè）人查询的速度快很（hěn）多。同样的，Google将数据分别（bié）存储在（zài）许多计算机上，这样搜索的速度会（huì）大大加快。
我们是如何找到那些包含用（yòng）户搜索的词（cí）的网（wǎng）页呢？回到（dào）“国（guó）内战争”的例（lì）子，“国内”这个词出现在文件（jiàn）3，8， 22， 56， 68 和92; “战争（zhēng）”出现在文件2， 8， 15， 22， 68和77，记下同时出现这（zhè）两个词的文件。
国内 3 8 22 56 68 92
战争（zhēng） 2 8 15 22 68 77
国内 战（zhàn）争 8 22 68
这样（yàng）我们可（kě）以（yǐ）清楚地发现“国内”、“战争”这（zhè）两个词同时出现的在三个文件里 (8, 22, 和68)。 含有（yǒu）这几个字的列表叫做“位置（zhì）列表”，搜（sōu）索文件包（bāo）含（hán）这（zhè）两个字，这（zhè）叫做交叉搜索位（wèi）置列表。（较快的交叉搜索的方法是同时进行搜（sōu）索，如果一个搜索（suǒ）列表,22到68，那另一（yī）个就可以开始搜（sōu）索其他的）
对结果进行评级
现（xiàn）在我们已（yǐ）经有了（le）一些包含用户搜索的关键（jiàn）词的网页（yè），我们（men）要对它们的相关程（chéng）度进行评级。Google用（yòng）许多（duō）参数进行评级。这当中PR算法是众（zhòng）所周知的。PageRank评估两个因素：有多少个网页链接到这个网页，这些（xiē）链接网页的网站（zhàn）的质（zhì）量如（rú）何。通过PageRank，五六个高质量的站点（diǎn）的链接，比如www.cnn.com和（hé）www.nytimes.com比其他较差的网站的（de）链接要有价值的多。
但是除了PageRank，我们还用许多其它（tā）的（de）参数来进（jìn）行评级。例如，如果一个文件包含“国内”和“战争”这两个词排（pái）在一起，这个文件可能（néng）比（bǐ）一（yī）个讨论（lùn）革（gé）命（mìng）战（zhàn）争的文件（在文件的某个地方使用（yòng）“国内”）的相关程度高。还比如假（jiǎ）设一个网页的标题是“国内战争”，比另一个标题为“19世（shì）纪美国服装”的网页相关度（dù）高得多。同样的，如（rú）果“国（guó）内战争”在网页中出现多次的网页比只出现一个的网（wǎng）页相关（guān）的程度也要高。假设（shè）你是搜索引擎，选（xuǎn）择一个词（cí）查（chá）询，比如：国内战争或回收（shōu），在Google上查询，从结果中挑（tiāo）选三到四（sì）页打印出来。从每一张打印的页面上找出你的搜索（suǒ）语句（jù）的每一个字然后用荧光笔（bǐ）标出来，然（rán）后把这几页贴在墙上，退后几步（bù）眯着眼看，当你不知道页面的内容，仅仅能看到那些有（yǒu）颜色的（de）方块（kuài），你认为那一页是最相关的呢（ne）？是不是（shì）有着大（dà）的标题和多次重复出现（xiàn）的颜色代表（biǎo）了较高（gāo）的相关（guān）程度？你喜欢这（zhè）些（xiē）字（zì）出现在顶端还是底部？这些（xiē）字出现（xiàn）的频率如何（hé）？这也是搜索（suǒ）引擎如何判（pàn）断（duàn）网页的相（xiàng）关程度。
原则上（shàng），Google总是试图找出（chū）可靠（kào）的和相关的网页。如（rú）果两个网（wǎng）页按照查（chá）询的语（yǔ）句大致有相同（tóng）的（de）信息，Google通（tōng）常选择（zé）比较信得过的网站的网页。当然，如果有一些因（yīn）素表明这（zhè）个（gè）网站的网页相关度更（gèng）高，Google经（jīng）常也选择（zé）PageRank较（jiào）低的网（wǎng）站。
一旦Google完成了文件的列表和（hé）它（tā）们（men）的评分，就（jiù）给出得分最高的网页。Google同时从网（wǎng）页中摘录一小段包含查询（xún）的关键词的句子；给出网页的（de）链接（jiē）。
对于（yú）这样（yàng）的搜索工作，需要极大的（de）数据运算量，一般说（shuō）来，对于某个搜索，要有超过（guò）500台的服务器协同工作以求（qiú）得最（zuì）佳匹配的结（jié）果，当然，结果（guǒ）会在半秒内返回用户。 |
|
