Monthly Archives: September 2012

转到CDO部门

  我随ODPS团队转到了集团CDO(首席数据官)部门,做的事情还是那些:分布式并行、海量数据分析、数据仓库、数据挖掘。

  感谢阿里云,这是一家有技术理想的公司。前几天参加年会,看到博士在台上泣不成声,有颇多感触。马云说整个公司从CEO开始全都是不善表达、西装配球鞋的工程师范。

  最近一周在杭州,每天参加各种肉身会和电话会到很晚。周末抽空去了一趟西溪湿地,景色真不错。半年多以来我到杭州出差十几趟,这是第一次有闲心出去玩。

华大基因收购Complete Genomics

  美国基因测序公司Complete Genomics周一宣布,已同意接受世界最大的基因测序公司深圳华大基因价值1.18亿美元的收购要约。

  华大基因威武呀!这么坏的外部环境下,上市的脚步依然没有停。这次收购的财务顾问是花旗,应该是打算海外上市。

  搜索到了Complete Genomics上个季度的财报,销售八百七十万美金,亏损一千八百万。果然是撑不下去了。

  另外华大基因宣称明年花6000元人民币就可做全基因组检测。这个价格已经降到可以进入医院了。想当年人类基因组计划,多个国家科学家联合工作,耗资几十亿,才测出了一个人的基因组。这十年间基因组技术的进展,可比摩尔定律快多了。

  替各路“云”着急,只顾着价格战口水战,一点都不懂抬头看路。华大基因一家租用计算和存储的胃口,就能把国内云计算市场的座次完全颠覆。

软件研发和团队交流

  下面每一段话都源于近半年的亲身经历,很多话是拥有十几年软件经验的老兵的原话。

  当了pm,尤其是没有界面不需要Axure的底层Web Service的pm,依赖一支巨大的分布式团队,面对不止一家强势客户,交流就成了最关键的任务。半年前我还是中科院里一个不折不扣的技术宅男,与生人聊非技术话题有障碍,害怕给陌生人打电话,外出聚餐拿菜单看半天也不知道点什么。幸运的是,跳槽后碰到几位好上级,每次掉进坑里都能获得诚恳的建议,甚至专门帮我复盘。

  我有每天记录想法的习惯,很多内容整理之后就发BLOG。但这个“团队交流”的主题等了很久。涉及公司内部信息,无法带上具体场景,很多血泪经验就成了糖水大道理。也因为积压太久,即使只放是糖水大道理,慢慢也存了很多段。不管怎样还是发出来吧。

  公司一直在剧烈重组。以往我设计软件架构很少考虑人的交流因素。现在算是理解了著名的Conway’s Law: A design reflects the structure of the organization that produced it。这条定律的意思是:什么样的团队组织结构,最终就会开发出一模一样的软件架构。如果有四个团队合作开发编译器,系统最终一定会长成一个四阶段编译器。所以大型软件组织内,在重构系统之前往往先reorg团队。对分布式的团队,更加如此。前一阵很多人在Blog里写分布式团队的交流问题,用了很多招数,例如两边架起摄像头和大屏幕,形成一个虚拟的统一环境。

  到飞天团队,发现与以前在pFind倡导的工程实践没太多区别:SVN、BugFree、定期重构、单元测试、站立会议、代码review……所不同的是执行。飞天主力是微软出来的,有软件工程基因。制度和团队平台给力,就算是大三实习生也能大展拳脚,两三天内完成千核并行复杂算法的剧烈重构和测试。实际上pFind团队规模已经很大了。飞天内很多小team总共才四五条枪,而且大多是本科刚毕业甚至实习生,有些专注于统计机器学习的算法团队,工程产品也非常宏大。这是人际沟通和工程效率问题,不是学术或工程的非此即彼的投资方向选择。对pFind感情很深,希望后继者有勇气和智慧做到我没能做到的。

  敢提出傻问题是有责任心的表现。很多新人、边缘人、接口人都有交流障碍:不敢把点子或疑问拿到桌面上来,借口是:还不了解情况,等我彻底变成“自己人”再说。怕问错了显得不够牛,或者问对了牵涉别人的利益。明哲保身是动物本能,但它仅仅在黑暗森林低级生态环境下才算是最佳策略,在一个有序、专业、理性的团队里,过分谨小慎微只会显得无能,让别人放弃对你分享信息。反过来,直言不讳也是一种压力测试,可以借以观察团队氛围是否正常。

  tech lead最重要的素质是充分沟通的勇气和器量,“领导和下属之间应该’下棋’而不是’打牌’,在信息对等的情况下决策。尤其是坏消息,必须第一时间告知下属,坏消息往往传得很快,最好让下属从你这里首先获知。”反过来,最愚蠢的举动就是伤害团队对自己的信任。情绪管理、私人利益、交流效率都对信任感造成影响。

  网络公司的技术团队往往被分为前端团队、后端服务团队和基础平台团队。不同类型的团队交流和思考的方式不同。出色的基础平台团队,节奏感往往非常强,知道先做什么后做什么,一开始只做最难最重要的事。

  需求分析的时候,用户经常是在告诉你怎么做(How),这些信息没用,你要问清楚他们的本质需求(What/Why)。用户说要什么就做什么往往死得很惨。福特说:“如果最初我去问顾客想要什么,他们一定会说:一匹更快的马”。

  技术->项目->产品->服务,这是个漫长的进化过程。和一个陌生的技术团队聊,最重要的就是评估他们在这条打怪升级的不归路上位于何处。已经拥有成熟服务的团队会问你:“需要多大程度的可用性?我们的服务目前能达到五个 9,也就是一年无故停机最多5分钟。”(关于服务怎么运维,现在DevOps讨论很热,推荐看看这个

赞一下豆瓣bubbler

  赞一下豆瓣新推出的bubbler,这才是好产品。据说是实习生做的,牛。这么多年过去,我依然是无可救药的重度豆瓣粉。

  最近特忙,没怎么听豆瓣FM。今晚一听效果特好:它推荐给我的都喜欢,同时这些曲目大都是最近新发行的专辑,我都没听过。豆瓣的数据挖掘算法和推荐系统越来越成熟精致。

  记得刚开始用豆瓣FM的时候,一跳出梁静茹和孙燕姿的歌,我就知道是因为某两个家伙在我好友名单里,所以算法推荐了这些歌。

  前一阵还有个帖子被大量转发:一个单身女孩29岁生日那天,在微博上哭诉:“豆瓣的算法凭什么推荐一本《30岁前别结婚》给我!”

各个公司的数据产品,“指数”里的“中国好声音”

  最近在玩各互联网公司的公开数据产品。例如淘宝指数百度指数新浪微博指数

  前两天和BD、业务架构师一起见房地产行业的客户,对方一上来气场很强,真是高帅富。我随手用这几个“指数”查了查,问:“你们的潜在客户群里,男性占90%以上,30~35岁的占70%以上,消费层级很高,客户的价值实在太赞了。不过,除了你们已经有项目的城市,为什么海南有那么多潜在客户?你们在那里布局拿地了吗?”他们很惊奇,赶紧挤到电脑前来看。

  “指数”产品们虽然很初级,但有了这种对数据威力的展示,就能让很多传统行业用户明白转移到云计算技术、建立数据仓库并最终参与数据集市交易的重要性。

  下面几张图是今天分别在百度指数、新浪微博指数和淘宝指数上查询“中国好声音”得到的基础数据曲线。你从中看到了什么?


“中国好声音”@百度指数


“中国好声音”@新浪微博指数


“中国好声音”@淘宝指数

大数据和互联网金融模式

  一直在关注大数据和金融模式创新。最近这方面的媒体报道多起来,例如前两天《21世纪经济报道》对阿里金融业务的报道。今天又找到了几篇相关报道。

  “中国金融40人论坛”的一篇课题报告《互联网金融模式研究》。其中,关于云计算尤其是Big Data技术在互联网金融模式中所起的关键作用,有这么一段描述:

     ……

     二是在信息处理方面,社交网络平台生成和传播信息,特别是对个人和机构没有义务披露的信息;搜索引擎技术对信息进行组织、排序和检索,能缓解信息超载问题,有针对性地满足信息需求;云计算服务保障海量信息高速处理能力。总的效果是,在云计算的保障下,资金供需双方信息通过社交网络揭示和传播,被搜索引擎组织和标准化,最终形成时间连续、动态变化的信息序列。由此可以给出任何资金需求者(机构)的风险定价或动态违约概率,而且成本极低。正是这种信息处理模式,使互联网金融模式替代了现在商业银行和证券公司的主要功能。

     ……

  这篇报告认为,除了“Big Data”,“移动支付”和“信息的充分发布和匹配”是互联网金融模式的另两个核心。这将使金融交易的门槛大大降低,容易解决中小企业融资、民间借贷、个人投资渠道等难题。而传统形式的银行、券商和交易所等金融中介,将受到冲击。(如果你注意看了昨天的科技新闻,支付宝开始在移动支付领域发力)。

  另外《环球企业家》刚发表了一篇《阿里金融凶猛:数据为王工厂化运作》,里面是这么写的:

     阿里巴巴不平凡的金融抱负,让一些银行感到不安

     ……

     支撑起这种工厂化运作的,是阿里小贷公司背后强大的信息系统和数据支持。

     据阿里小贷公司相关人员介绍,小微企业大量数据的运算依赖互联网的云计算技术,不仅保证其安全性和效率,也降低了运营成本,同时简化了小微企业融资的环节,可以为小微企业提供365*24的全天候金融服务,“都是基于国内小微企业数量庞大,且融资需求旺盛的特点设计的。”

     与同样以微小贷款著称的包商银行相比,截至2012年6月末,包商银行累计发放微小企业贷款20.90万笔,金额326.06亿元。同期阿里小贷公司已累计为超过13万家小微企业提供融资服务,贷款总额超260亿元,不良率为0.72%。

     ……

金融基础

  因为ODPS业务需要,开始有意识搜索阅读金融方面的文字。除了上次写到的金融做空,看得比较多的是以下两个领域:

  首先是搞清创投领域的基本概念,例如投资前估值(pre-money valuation)、普通股(equity)、普通债(bond)、可转换优先股(convertible bond)、清算优先权(liquidation preference)、反稀释条款(anti-dilution provision)、董事会条款(board provision)、保护性条款(protective provisions)、期权池(option pools)、股份回购(share repurchase)、对赌协议(valuation adjustment mechanism)、毒丸(poison pill)和绿鞋(green shoe option)等

  其次是了解金融工程师的常见工作,例如风险管理(risk management)、建模(factor model)、结构产品定价(structure product)、宏观模型(macro economics)、市场微结构(market micro structure)、高频交易(high frequency trading)和统计套利(stats arbitrage)等

  原本想把这些概念的具体解释都贴在BLOG上,又感觉意义不太大。有兴趣的自己Goolge很容易找到专业简洁的解释,尤其是在英文维基百科上。周五羲和团队一起看了一部老电影叫Good Will Hunting,里面有句经典台词:“你花一万五所受的教育,用一块五就能在公共图书馆得到。”有了互联网,后半句应该变成:“免费就能在维基百科上得到。”

  像上次说的,从不买股票,也不打算跳槽当Quant。金融行业都是高智商高情商,像我这种晕晕乎乎的人闯进去,会死得很难看。嗯,另外我喜欢穿T恤