误打误撞，发现牛人团伙。 　　原本打算参加这期Beta技术沙龙，听霍炬讲的报告《大规模软件服务的管理和监控》。结果粗心大意，把时间记错了一天，今天下午就闯到奇遇花园咖啡馆去了。 　　也幸亏记错了，才能遇到Resys的牛人们线下聚会，正在讲数据挖掘和推荐系统的算法（collaborative filtering），于是就买了饮料，蹭听了一场。 　　讲演者是The Ensemble团队的中国成员，传说中的xlvector大侠。具体内容，当然是他们拿到Netflix Prize比赛leaderboard头名的比赛经验。 　　下面开始八卦，给没听过Netflix Prize的火星人科普一下： 　　美国DVD在线租赁商Netflix于2006年发起的竞赛，悬赏100万美元，只要提交比其现有Cinematch效果好10%的新算法，就获得巨款。Netflix公开了四十八万多用户对一万七千多部电影的上亿条评分记录，要求算法推测另外三百万条记录。同时，100万美元存入银行，每年5万利息作为年度进步奖，发给当年取得最好效果的参赛者。 　　Netflix Prize产生了轰动效应。大概是因为，这让公众亲眼目睹，靠数学和编程是如何挣到真金白银的100万美元的。主流媒体，例如《纽约时报》对此给予了大量报道（2009年7月27日的报道是：Netflix Challenge Ends, but Winner Is in Doubt）。技术领域的超女选秀？你终于明白了。对Netflix来说，得到了性能超群的数据挖掘算法，还做了广告，名利双收。 　　回来再说xlvector的讲座，八卦内幕相当精彩：一开始你追我赶；接着合纵连横，世界各地的独立的技术和参赛者逐渐融合，成为团队；最后，居然涉及复杂的商业谈判，大鱼吃小鱼，直到非此即彼，参与两个巨型阵营的团战…… 　　伴随比赛过程，发表了大量的高水平论文，也申请了不少的算法专利，还有不少好玩的讨论： 　　比如有人研究了参加者的性别，发现一开始有很多女性参赛者，而且成绩很不错，但最后两个“超级大国”团队里没女性。研究结论是：女性不会投入两三年时间去做一件根本不可能成功的事；男性相对单细胞一些，杀红眼了就钻进去出不来了。 　　参赛者Bill Bame在BLOG写到，他发现团队里都是两种人，一种是数学家，一种是工程师，思维方式行事风格截然不同，但两种人都发挥了至关重要的作用。 　　The Ensemble团队最后30天工作中，租用了EC2云计算平台进行模型的训练与融合，每小时0.2$。MapReduce模式比较适合离线推荐算法。 　　OK，八卦写完了。很久没遇到这么好玩的东西。推荐Resys Google Group。这篇BLOG中链接和引用，都是我回来刚搜索出来的，未必全面准确，大家继续挖掘吧。另外，明天的Beta技术沙龙，我也很期待，号召大家参加。 　　最后赞一下奇遇花园咖啡馆。今天交流到最后，xlvector跑到墙边（整堵墙是一块巨大的黑板），用粉笔演算方程。一帮怪人在下面长吁短叹，其他客人头也不抬，继续喝咖啡上网。 照片来自wentrue的flickr 　　BTW：只是咖啡馆附近的西直门地铁，实在让人恼火。感觉自己是实验小白鼠，在八卦阵里撞来撞去，难道就没有专业人士稍微做些优化吗。