很多人第一次听说Giraph，是在Hadoop生态的某个技术分享会上。讲台上的人PPT翻到一页，上面画着密密麻麻的节点和连线，然后轻描淡写地来一句：“我们用Giraph处理了十亿条边的社交网络。”底下的人点头，拍照，散会后该干嘛干嘛。但真正问起Giraph是什么，能说清楚的人不多。它是Apache旗下的一个图计算框架，跑在Hadoop集群上，专门处理那些用传统MapReduce很难搞定的数据关系——比如谁关注了谁，谁和谁在同一个群里，哪两个商品经常被一起购买。这类问题有个共同点：数据之间的连接关系比数据本身更重要。
Giraph的出身很有意思。它最初是Google的Pregel论文的开源实现，2010年的时候，Facebook的工程师们把它捡起来，改造之后用在了自己的社交图谱分析上。Facebook那个体量，每天要处理的关系数据以万亿计，能在那样的场景里存活下来，Giraph的底子不会差。后来它进了Apache孵化器，成了顶级项目。但你要问我，Giraph最打动人的地方是什么？不是它处理了多少数据，而是它把“思考图问题的方式”变成了一套所有人都能用的编程模型。
这套模型叫BSP，全称是Bulk Synchronous Parallel，中文叫“整体同步并行”。听起来玄乎，其实核心就一句话：计算分轮次进行，每轮里所有节点同时干活，干完一轮，大家停下来交换消息，然后再进入下一轮。这有点像学校里的考试——所有人同时答题，铃声响了必须停笔，然后老师统一收卷改分，再发下一轮试卷。这种设计的好处是，你不用去操心节点之间怎么同步、怎么避免死锁，框架全给你包了。你只需要想清楚：每个节点在每一轮里要做什么。
举个例子。你想算一个社交网络里每个人的“影响力分数”，类似PageRank但更复杂。传统MapReduce的做法是反复扫描全量数据，每一轮迭代都要把中间结果写回磁盘，下一轮再读出来。数据量一大，光磁盘IO就能拖垮整个集群。Giraph的做法是，把整个图一次性加载进内存，节点之间直接通过消息传递数据，中间结果根本不落盘。一轮迭代从几十分钟压缩到几分钟，这差距不是一点半点。
当然，Giraph也不是没有脾气。它对内存的消耗很凶，因为整个图都在内存里，图一大人就紧张。曾经有团队跑一个十亿条边的图，直接给集群配了上百G的内存。还有一点，它要求集群里的机器数量够多，因为图会切分成很多分区，每个分区由一台机器负责，机器太少的话，单机负载太重，性能反而上不去。所以Giraph适合的场景是：图数据大、迭代次数多、集群资源充足。如果你的图只有几百万条边，用单机版的Neo4j或者NetworkX就够了，没必要上这个大家伙。
我见过最惊艳的一次Giraph应用，是在一个电商推荐系统里。团队要算“用户-商品-品牌”三方关系里的潜在购买意图，数据量大概有二十亿条边。他们用Giraph跑了一个自定义的社区发现算法，把用户和商品按行为相似度聚成一个个簇，然后针对每个簇做个性化推荐。整个迭代跑了三十轮，耗时不到四十分钟。换作以前用MapReduce，这个量级的图算法至少得跑一晚上，而且结果还不一定收敛。Giraph能快，一是因为内存计算，二是因为它有一套很聪明的图分区策略——它会尽量把连接紧密的节点放在同一台机器上，减少跨机器通信。
不过说实话，Giraph的社区活跃度这两年有所下降。新出的图计算框架一个比一个猛，GraphX有Spark生态加持，TigerGraph走分布式原生图存储路线，连Neo4j都开始做大规模分布式了。Giraph的更新频率慢了，文档也还是老样子，读起来像技术手册，不够友好。但你要是真把它用起来，会发现它的稳定性出奇地好。毕竟是从Facebook那种极端场景里摸爬滚打出来的，容错机制做得相当扎实。节点挂了，它能自动把任务迁移到别的机器上继续跑，数据不会丢，进度不会断。
Giraph还有一个容易被人忽略的点：它对编程语言的门槛低。你只要会写Java，就能上手。它的API设计得挺直观，你定义一个Vertex类，重写compute方法，里面写“我这一轮要做什么”，然后完了。新手大概花一两天熟悉BSP模型，第三天就能写出自己的图算法。这种低门槛带来的好处是，团队里不用专门养一个图计算专家，普通后端工程师就能维护和扩展。我认识一个做反欺诈的团队，他们用Giraph写了一个实时风险传播模型，能在一分钟内把一笔可疑交易的影响范围扩散到整个关联网络。这个模型从立项到上线，用了不到两周时间。
回到开头的那个问题：Giraph到底是什么？它是一把锤子，专门用来敲“关系”这种钉子。大数据时代，数据本身不值钱，值钱的是数据之间的关系。你有一百个用户的购物记录，那只是一百条记录；但你知道这一百个用户里有八十个都买过同一个牌子的手机壳，而且他们之间还有好友关系，那这八十个人就是一条精准的广告投放通道。Giraph就是帮你从这些关系里挖出金子的工具。它不炫技，不花哨，甚至有点老派，但它在它该在的地方，依然锋利。如果你手头正好有那种“关系比数据重要”的问题，不妨翻翻Giraph的文档，给它一个机会。它可能不会让你眼前一亮，但一定会让你在深夜调试的时候，感叹一句：这老家伙，真能扛事。
