Tag Archives: 内核

章文嵩的技术报告

  上周末,淘宝网基础软件研发部的负责人章文嵩来计算所做技术报告,一直想记录一下。最近三天在家里照顾病人,所以没顾上写BLOG。

  大约是十年前在AKA的网站认识了章文嵩和他的LVS。 那时候我刚刚接触开源,正在阅读Linux内核源代码,积累俺的《joyfire linux笔记》。当时LVS正在争取成为第一个汇入Linux内核的Made in China项目,我等粉丝狂热崇拜,《joyfire linux笔记》里有专门一章收录LVS技术资料。

  隔了这么久,章文嵩的外貌似乎没啥变化。这次报告主要介绍淘宝网的基础设施,例如分布式文件系统(TFS)、K/V缓存系统(TAIR)。细节可以参考幻灯

  章文嵩提到他们正在踅摸倒排索引等技术,研发上千亿规模的全文检索功能(淘宝网站现有40亿条目,每年翻一番)。另一个设想是图片搜索,预计2年初步可用:女孩子们可用3G手机拍摄商场里的衣服和鞋子,然后发送到淘宝网站,搜索类似的商品信息。

  章文嵩认为,在网络服务基础中间件领域,商业专有产品性能无法令人满意,淘宝正在实施开源战略,一方面用开源产品把现有平台逐步替换掉,另一方面也对自主研发的基础设施进行开源。他们的TAIR刚刚开源,TFS 预计会在9月份开源。

  目前淘宝网平均一笔交易耗费0.4度电,可以煮熟4个鸡蛋。因此和Google一样也开始关心能耗问题,希望定制 低功耗的服务器。考虑到Memory Cache和Web Service等模块大都是I/O密集型的,对CPU主频要求不高,没必要安装最强悍的CPU。章文嵩抱怨INTEL只看重利润,漠视环保:淘宝希望大规 模采购ATOM处理器,得到的回答是“不符合公司战略”,不愿意ATOM挤占高端芯片的市场。最终选用了VIA处理器,关闭不必要的主板模块如USB,能 耗大大降低,实现了无风扇,依然有不错的处理吞吐量(单机柜6Gbps)。

KernelTrap,晕

  好久没浏览KernelTrap.org,输入URL都有些内疚。先看到Jeremy Andrews的申明,说他九月份不会更新了,因为要搬家。然后看到一篇Linux: 2.6.16.y Lives On,开头全是历史知识普及(懒,不翻译了):

  “The Linux kernel development model changed a couple of years ago at the 2004 Kernel Summit [story]. At that time it was decided that as a team Linus Torvalds and Andrew Morton [interview] were doing a great job together maintaining the 2.6 kernel, using Andrew’s -mm kernel as a staging area with new features being allowed into the mainline kernel and ultimate stabilization left up to Linux distributions. In March of 2005, Greg KH and Chris Wright began maintaining a -stable patchset [story], accepting small, focused patches fixing real bugs or security issues……”

  这么多久违的人名和补丁包,有点激动。脑子里过电影,都是本科时代的情节:天天关注lkml和-mm更新;逃课去听AKA的内核分析;飞到深圳打工,往盒子里移植linux内核,宿舍的哥们帮我应付点名和作业;超崇拜Robert Love……

  刚听说Andrew Morton去Google了,一晃我的joyfire.net也三年没维护了,晕。这次pFind集群版的是个好机会,可以借此重新熟悉Linux开发。