---
title: "Google的Sawzall,Yahoo的Pig和微软的Dryad"
author: "winzenghua"
date: "2007-05-07T10:12:00Z"
tags: []
slug: "google-sawzall-yahoo-pig-dryad"
draft: false
lastmod: "2007-05-07T10:12:00Z"
id: 950138
url: "https://java4gis.iteye.com/blog/950138"
---

Google的**Sawzall**,Yahoo的Pig和微软的Dryad

[Greg](http://glinden.blogspot.com/2007/04/yahoo-pig-and-google-sawzall.html "Greg") 最近写了篇介绍Google，Yahoo，微软三大巨头公司分布式架构的Blog。这就是：Google的[Sawzall](http://labs.google.com/papers/sawzall.html "Sawzall"),Yahoo的[Pig](http://research.yahoo.com/project/pig "Pig") 猪和微软的[Dryad](http://research.microsoft.com/research/sv/dryad/ "Dryad") 。

这真是一个信息爆炸的时代，在这个大背景里消耗CPU最多的计算会越来越多从“软件本身性能提升”逐渐转移到信息处理的过程中。描述计算速度提高的摩尔定 律，据说现在还仍然有效，可 ”Andy giveth, and Bill taketh away“ 的名言似乎应该改为："Andy giveth, and [google](http://google.search-analysis.com "google")(...) taketh away" 了。

![](http://p.blog.csdn.net/images/p_blog_csdn_net/accesine960/260153/o_yahoo-pic-files.jpg)言归正传，Yahoo猪年行大礼，在五一期间放出了：[PIG 猪](http://research.yahoo.com/project/pig "PIG 猪") 。(猪非彼[猪](http://www.zhongsou.com/ "国内的") ) Yahoo Pig 是一个运行在[Hadoop](http://lucene.apache.org/hadoop/)（[Doug Cutting 在06年3月份加入了Yahoo](http://bbs.domolo.com/thread-88-1-3.html "Doug Cutting 在06年3月份加入了Yahoo") ）上的并行处理架构，有了Pig 使得普通的程序员具有了分析处理gigantic数据集的能力。附带一下 Hadoop 基本进入了实用阶段 Amazon 的 [EC2](http://aws.amazon.com/ec2) 和[S3](http://aws.amazon.com/s3)[](http://aws.amazon.com/s3)[](http://aws.amazon.com/s3)已经在使用了Hadoop了。  
Yahoo Pig 有如下特点：  
1、专注于于大量数据集分析（[ad-hoc analysis](http://en.wikipedia.org/wiki/Ad_hoc "ad-hoc analysis") *， ad-hoc 代表：*a solution that has been custom designed for a specific problem ）；  
2、运行在集群的计算架构上，Yahoo Pig 提供了多层抽象，简化并行计算让普通用户使用；这些抽象完成自动把用户请求queries翻译成有效的并行评估计划，然后在物理集群上执行这些计划；  
3、提供类似 SQL 的操作语法；  
4、开放源代码；

从对 Yahoo Pig 的了解来看，推荐大家使用，Google Sawzall 和 Microsoft Dryad 就别指望了。

[Google Sawzall](http://labs.google.com/papers/sawzall.html "Google Sawzall") 是google labs 很早就释放出来了，虽然两者都是定位于分布式并行计算的架构，实现方式却大相径庭。  
Sawzall 是基于[MapReduce](http://blog.donews.com/accesine/archive/2005/03/17/304683.aspx) 的，变成语法类似于 java 和 c 语言。

下面是 Sawzall 代码的例子:

> `proto "querylog.proto" static RESOLUTION: int = 5; # minutes; must be divisor of 60 log_record: QueryLogProto = input; queries_per_degree: table sum[t: time][lat: int][lon: int] of int; loc: Location = locationinfo(log_record.ip); if (def(loc)) { t: time = log_record.time_usec; m: int = minuteof(t); # within the hour m = m - m % RESOLUTION; t = trunctohour(t) + time(m * int(MINUTE)); emit queries_per_degree[t][int(loc.lat)][int(loc.lon)] <- 1; }`

下面是Pig 代码的例子:

> `a = COGROUP QueryResults BY url, Pages BY url; b = FOREACH a GENERATE FLATTEN(QueryResults.(query, position)), FLATTEN(Pages.pagerank); c = GROUP b BY query; d = FILTER c BY checkTop5(*);`

很显然，如果大家需要对结构化（半结构化）的数据进行分析处理时 Pig 的 SQL 的语法更便于掌握。

具体参考Yahoo Pig 的其他例子：

Pig Latin Examples：  
[Example 1: Word Count](http://bbs.domolo.com/thread-8417-1-1.html "Example 1: Word Count")  
Example 2: Map/Reduce  
Example 3: Pages and Queries  
[Example 4: PageRank](http://bbs.domolo.com/thread-8418-1-1.html "Example 4: PageRank")

无独有偶，微软的Dryad 集成Linq (随着.net 2.0 正式发布了) 后叫： [DryadLINQ](http://research.microsoft.com/research/sv/dryad/ "DryadLINQ") 。从个人角度讲我一直看好 Linq 这个产品，出身Aders不说，程序语言和数据处理合2为1对简单的Insert ,update ,delete,query 完全应该集成起来。这一点也是我喜欢Rails的原因吧。  
![](http://p.blog.csdn.net/images/p_blog_csdn_net/accesine960/260153/o_ms-dryad-job.png)  
![](http://p.blog.csdn.net/images/p_blog_csdn_net/accesine960/260153/o_ms-dryadsoftware-layers.png)

目前微软的 Dryad 已经在 [Microsoft's AdCenter](http://advertising.microsoft.com/microsoft-adcenter) 投入使用。

我想用Yahoo Pig 的话，做 Log 分析应该比较适合。

*参考资料：* [sourcelab](http://swik.net/hadoop/Google+Blog+Search:+hadoop/Amazon+Web+Services+Blog:+Friday+Links/511v "sourcelab")  
[Dryad: Distributed Data-Parallel Programs from Sequential Building Blocks](http://research.microsoft.com/research/sv/dryad/eurosys07.pdf)

[MapReduce BBS](http://bbs.domolo.com/forum-26-1.html "MapReduce BBS")