Tag Archives: 分布式

GeneDock架构师介绍分布式基本原理

  GeneDock首席架构师陈昕刚刚在公司网站上发表了一篇BLOG,介绍了有关分布式系统的基本知识,例如一致性问题、FLP不可能性原理和CAP定理。推荐大家看一看,了解客观限制,免得试图制造永动机。

  原文地址如下:https://www.genedock.com/blog/2016/05/27/20160527_distributed_system/

欢迎贡献自己PC空余时间,帮助CAS@home计划

  办公室里的大多数PC,70%时间并没有用于工作。CPU空转不仅仅浪费能源,对于每过18个月就折旧一半的电脑设备来说,也是一种巨大硬件投资的浪费。另一方面,很多科学家苦于没有足够的计算资源。如果能利用用户离开工位的电脑空闲帮助科学家做计算,就能一举两得。

  最早实现这一设想的是伯克利大学“在家寻找外星人计划”(SETI@home)。只要下载一个屏保程序并安装,当你一段时间不碰自己的PC,进入屏保模式,程序就会自动从网站上下载天文无线讯号进行数据分析,破译可能存在的智能生物信息。如果主人回来,屏幕保护程序会中断并保存,不影响你继续自己的正常工作。

  这一模式在生物制药领域最成功的案例是斯坦福大学的Fold@home项目, 到2010年全球加入该计划的志愿计算机的CPU个数已经超过35万个,其中Windows用户人数最多,PS3游戏机用户占第二,Mac OS用户占第三,Linux用户第四……此外还有大量高端GPU用户。成千上万普通用户的PC组成了虚拟的超级计算机,其计算能力丝毫不比那些每小时耗电 费用达到几十万元的超级计算机差。利用志愿者贡献出来的计算能力,科学家们已经发现了十几种治疗癌症和其他疑难杂症的可能药物靶点,发表了上百篇相关论 文。

  CAS@home是中国自己的志愿计算 项目,是在CERN(欧洲粒子物理研究所)研究员、中国科学院外国特聘研究员Francois Grey的帮助下于2010年开始启动的。目前运行在CAS@home上的蛋白质结构预测应用软件是由中科院计算所生物信息组研究员卜东波等人开发的,依 据蛋白质结构联配时出现的short-cut现象提出的一种高效的结构预测算法。

  目前参与CAS@home的志愿者超过2000。欢迎大家贡献自己PC空余时间,帮助科学家的研究,为战胜疾病提供力量。

章文嵩的技术报告

  上周末,淘宝网基础软件研发部的负责人章文嵩来计算所做技术报告,一直想记录一下。最近三天在家里照顾病人,所以没顾上写BLOG。

  大约是十年前在AKA的网站认识了章文嵩和他的LVS。 那时候我刚刚接触开源,正在阅读Linux内核源代码,积累俺的《joyfire linux笔记》。当时LVS正在争取成为第一个汇入Linux内核的Made in China项目,我等粉丝狂热崇拜,《joyfire linux笔记》里有专门一章收录LVS技术资料。

  隔了这么久,章文嵩的外貌似乎没啥变化。这次报告主要介绍淘宝网的基础设施,例如分布式文件系统(TFS)、K/V缓存系统(TAIR)。细节可以参考幻灯

  章文嵩提到他们正在踅摸倒排索引等技术,研发上千亿规模的全文检索功能(淘宝网站现有40亿条目,每年翻一番)。另一个设想是图片搜索,预计2年初步可用:女孩子们可用3G手机拍摄商场里的衣服和鞋子,然后发送到淘宝网站,搜索类似的商品信息。

  章文嵩认为,在网络服务基础中间件领域,商业专有产品性能无法令人满意,淘宝正在实施开源战略,一方面用开源产品把现有平台逐步替换掉,另一方面也对自主研发的基础设施进行开源。他们的TAIR刚刚开源,TFS 预计会在9月份开源。

  目前淘宝网平均一笔交易耗费0.4度电,可以煮熟4个鸡蛋。因此和Google一样也开始关心能耗问题,希望定制 低功耗的服务器。考虑到Memory Cache和Web Service等模块大都是I/O密集型的,对CPU主频要求不高,没必要安装最强悍的CPU。章文嵩抱怨INTEL只看重利润,漠视环保:淘宝希望大规 模采购ATOM处理器,得到的回答是“不符合公司战略”,不愿意ATOM挤占高端芯片的市场。最终选用了VIA处理器,关闭不必要的主板模块如USB,能 耗大大降低,实现了无风扇,依然有不错的处理吞吐量(单机柜6Gbps)。