---
title: "[数据统计] 搜索引擎索引库：百度大于雅虎中国 之一"
author: "winzenghua"
date: "2006-12-03T23:04:00Z"
tags: []
slug: "untitled"
draft: false
lastmod: "2006-12-03T23:04:00Z"
id: 950153
url: "https://java4gis.iteye.com/blog/950153"
---

\[数据统计] 搜索引擎索引库：百度大于雅虎中国 之一

互联网渗透的越深、世界就会越平；信息越透明，诚信越重要---题记

关心搜索引擎的朋友们都知道，搜全率和搜准率是衡量搜索引擎系统的两项基础指标，在很多关于搜索引擎技术评比的文章中搜全率和搜准率被频频提及。

搜准率是一个很难量化的指标，如何判断一个搜索引擎的搜索结果和使用者的意图最相关，没有一个定性的结论。所以很多冠以智能化、社会化、元搜索头衔的搜索引擎也都是朝搜准这个方向努力，耐人寻味的是，大多数公司都宣称自己的搜索引擎是基于那些技术，却没有告诉我们一个可以接受的衡量指标。当然，这不怪他们。

搜全率相对来说则可以量化，最简单的衡量指标就是索引量了。google和yahoo 之间曾有过争论：“实测证明Google仍是搜索之王 雅虎"牛皮"吹破” 。对于这次争论google是如何反击的呢？正如keso所说的google在反商业化的上的成功一样，google 随后不久透露要减小索引库的大小。很显然对于浩如烟海的互联网来说，能搜全仍是一个艰巨的目标。

类似的情景正在中国上演。在“[It人士每天必读的100篇互联网新闻](http://www.domolo.com/internet)”上经常可以看到雅虎中国的宣传稿件，主题有开创蓝海、搜索盲测、抓虫行动等等，而百度此类的新闻却鲜有耳闻。百度的低调或许可以让他在靠近“google”的形象上多加一分。

中文搜索引擎谁最好？除了搜全率和搜准率外，最近又多出了一个争论的焦点：“谁最懂中文”。然后在这场单方面发起的谁最懂中文的时候，搜狗却实实在在的来了句：“搜狗更懂网络”。我想雅虎市场人员也许该从百事可乐的成功中学点什么。

作为一个搜索引擎的爱好者，我对搜全率和搜准率的问题也非常关注。于是动手准备测试一下雅虎中国和百度索引库的情况。这并不是一个好差事，但我决定还是尝试一下。

搜全率的测试方法：基本方法：抽样测试  
分2个阶段进行：  
1、测试对指定站点的索引量 （本文进行分析）  
2、测试对基础关键词的索引量（在下一篇文章中进行分析）

本文的数据主要是对“指定站点的索引量”的一个数据统计。

基本资料分三部分：  
1、指定站点的来源，出于公平的考虑，指定站点分别来源于：[http://site.baidu.com](http://site.baidu.com/) 和 [http://site.yahoo.com.cn](http://site.yahoo.com.cn/) 。总共4784个，可以从下面的链接下载。  
2、对上述站点的索引量统计，即使用：site:domain 的方法获取搜索引擎对此站点的索引量。为了增加可比性，去掉了索引量为0的站点（或许因为网络错误造成的，原始资料在附件中）。  
（前端时间百度的site数量变化有些异常，现在基本正常。另一篇文章会捎带分析这个现象。）  
3、相关分析。

结果见下图：

[![](http://p.blog.csdn.net/images/p_blog_csdn_net/accesine960/180838/o_long-tail-yahoochina.JPG)](http://p.blog.csdn.net/images/p_blog_csdn_net/accesine960/180838/o_long-tail-yahoochina.JPG)

![](http://blog.donews.com/images/blog_donews_com/accesine/88411/o_long-tail-baidu.JPG)

（分析过程省略,详细的数据可以从这里下载: [http://www.search-analysis.com/baiduVSyahoochina-01.rar](http://www.search-analysis.com/baiduVSyahoochina-01.rar)）

结论：  
1、百度的索引库比雅虎中国的大。  
在双方都认为最重要的3793个站点中：百度索引量：1626829061 ，雅虎中国的索引量：1018594668，高出：608234393 ，高出6亿。

2、百度的索引量分布图比较接近“长尾 Long Tail ”，长尾曲线比较完美。图形越接近长尾表明搜索引擎索引库基础的架构越好。  
（理由是："哥白尼对天动说美学上的反对是他拒绝托勒密体系的重要原因..." - Thomas Kuhn, The Copernican Revolution ）

很显然上面的分析还不一定能囊括所有方面，因此我准备还从下面几个方面继续深入研究：

之二：\[百度vs雅虎中国]收录量和pr的相关性；  
之三：\[百度vs雅虎中国]索引量和alexa排名的相关性；  
之四：\[百度vs雅虎中国]如何测试搜索索引库的膨胀率；

原文： [\[数据统计\] 搜索引擎索引库：百度大于雅虎中国 之一](http://tianchunfeng.googlepages.com/index-capacity-baidu-vs-yahoo-china-01)