Tag Archives: ODPS

产品经理感悟

  我一本正经教训过别人如何当产品经理,其实自己也入行没多久。这个夏天有些进展,邮件报捷各路老大回复鼓励。自己却一度纠结困扰:领导力、产品设计、执行……都抓不住方向。

  tiny4cocoa论坛有个帖子这么说:“几乎所有研发团队的技术都听命于技术经理,并且尊称老大,没人会去听命于产品经理的。产品经理虽然挂着一个经理的头衔,但是却没有实权。在天朝,大部分产品经理所作的工作就是把老板的想法产品化,而不是自己设计产品”。写得挺好,要警醒,不要仅仅成为监军。

  看到一个国外电视节目叫Design Superheros,镜头跟着专业设计师从头构思一间咖啡馆、书店或者服装店的每个细节。挺有意思。各个行业其实都有类似“产品经理”的角色。例如二战之前的美国报纸行业的鼎盛时代,各大著名报刊一般都有几个坚持自己品味的传奇性编辑,这些人甚至会跑去修改登在报纸最后一版上的广告和寻人启事的文辞和标点,以便“与其他版面的文字品质一致”。我做了十多年软件开发,总是有意无意把设计仅仅当成了一门技术,只要按某种流程依次按电钮就能得到满意结果。现在才意识到,做好产品的关键是思考人会怎么用它,这需要感悟,即使是我们这种只有API和SDK的平台型产品。

  老大点拨说我太执着于拉更多的业务上来。他还说很多人把所谓“创业精神”当作思维懒惰的借口。没多久coolshell.cn里就发表了一篇博客,摘录了《Rework》的一段话:“他们花大把大把的时间去解决问题,他们以为能靠蛮力来弥补思维上的惰性,其结果就是折腾出一堆粗糙无用的解决方案”。反省:首要目标应该是做出好平台。于是开始花很多时间动脑子,煎熬了一个多月。有一次周六,我在客厅里瞪着天花板呆了一夜,直到周日早上5点外头蒙蒙亮。系统独立思考好难。

  当然除了推演和品位,还有很多工具可以辅助梳理用户的使用场景,例如用户反馈调研和数据分析。有幸参加新浪微博的一次用户访谈,调研内容是针对新推出的某个收费功能。调研员是中科院心理所毕业的美女。细节值得回味。新浪的同学没解释产品设计思路和调研目的,回来搜索了一下,又想了想。意识到这次重点不是为了收集新需求,而是为了验证产品设计。还按照老大的建议,扎到数据仓库里写了一大堆SQL去分析系统日志。实际情况往往和“我以为”有好大差距。挖出了数据,再给典型用户打电话,他们惊讶:“这你都知道……”

  最晕的时候请xc吃饭,说来说去,出问题的根源,不是背景能力,不是做事方法,不是人际关系,而是无法“入戏”。就去找zn老大,主动承担了对外有关的产品功能规划。起初各种开会。记得有个高端复杂的功能需求,花了大家很多精力,最后成果是:把这个需求砍掉,客户和我们暂时啥都不做。以前在哪里看过一句话说:给产品经理打分,不必看他引入了哪些新功能,而是要数数他砍掉了几个需求。如果这句话是真的,那我又加一分。后来又开始一个类一个类梳理ODPS SDK。平台发布出去的接口就像嫁出去的闺女、泼出去的水,再想重构不向前兼容就很难了。花了很多精力讨论、文档、编码。前两天有测试同学在reviewboard吐槽,说leheng是pd没资格审核ship别人的代码。俺只好上去解释:客户端的这个模块很多代码都是俺写的。测试同学回复:“算我没说,leheng牛的”……快乐指数稳步上升,开始“入戏”

  刚写好一份比较像样的产品规格说明,心情很好。看样子这次算挺过来了。旁人看来波澜不惊,自己的感受却很像pFind第一次被客户现场实用那回一样

把事做成

  前一阵参与组织阿里巴巴大数据暑期学校,自然会和参加的同学们聊起求职。我发现90%的同学都希望进数据建模团队,而不是数仓团队或分布式平台开发团队。我猜很多同学没踅摸过职业成长,仅仅因为数据分析师高端大气上档次,而程序员听起来很屌丝。

school
阿里大数据暑期学校,晓风正在和同学们讨论PCA和SVD算法

  怎么说呢,BI团队当然个个都是精英,但并不像很多同学想的那样高帅富:数据分析师负责阳春白雪的统计机器学习,剩下的编程、调BUG、看机器这种粗活自有旁人打理。事实上,无论哪个团队都没有“旁人”跑龙套擦屁股,你得挽起袖子把一件事从头做到尾,十八般武艺样样皆通。举几个我们阿里数据平台部门的几个人当例子:

  数据挖掘团队的晓风,数学功底当然不用多说,然而他也是一个C++和分布式编程老手,从当年的ACE、ICE、DCOM到现在的Hama、GraphLab都会。

  基础数据团队的市丸,数据仓库那些生产业务当然不在话下,同时他也用MR和BSP编程模型开发了不少能处理上亿行的数据样本的大规模分布式算法,例如SVD和Pagerank。

  产品团队老大玄澄,麾下一群古灵精怪的美女PD,做出淘宝指数、数据魔方、淘宝时光机、淘宝日历APP……他整天玩乐高玩具,体验各种新鲜玩意儿(例如基因测序),办公区供着乔布斯牌位,踅摸用户体验创新……其实,人家是北大数学系的。

  至于俺们ODPS团队,很多人也都是十项全能,我就不自吹自擂了。

  就我的经验,对个人成长最有帮助的职位,往往正是那些最苦逼的、点灯熬油、枯燥容易出错的活儿。例如我们这里专门负责半夜值班盯住数据生产基线的batman团队,那可不是随便什么新兵蛋子就能混进去的。报名上百人,只选了十几个,都是各团队最牛最靠谱的业务骨干,这些人正是公司的重点栽培对象。上次去杭州出差,我特意混进去和蝙蝠侠团队一起值了一次夜班,一晚上的收获比正常情况下几周都多。

batman
传说中的蝙蝠侠团队

  主动扎到最复杂的、接触全局的业务里去,耐心一点,挽起袖子做好水面以下的力气活,为团队提供独特贡献,把事做成。这才是最快的成功路径。想加入互联网公司的年轻人一定要弄清楚,这个行业的业务核心就是编程,你首先必须是个合格的程序员,再谈其他。这就和空军里没有开过飞机的人没资格升师长、海军里没在甲板上起降过飞机的人没资格升航母舰长一个道理。

  最后打广告,阿里数据缺人。数据分析师,数仓工程师,算法开发工程师,分布式平台开发工程师,测试和配置管理……欢迎找我内推。

产品经理应该怎么起步

  在知乎上回答了一个问题“想成为产品经理,应该怎么起步?”

  1.找到一个有意义的项目,跳进去;

  2.把开发和测试同学不想做的活儿都做了。比如写文档、出席无聊会议、收集客户意见、写部署和测试用的一次性python小脚本、团队熬夜加班的时候给大家买夜宵……;

  3.花大量的时间,系统深入地思考你们正在做的产品(警告你,大多数人在这一步会卡壳,停留在协调人和团队秘书的角色上),整理成文字;

  4.向团队展示自己的思考逻辑和结果,说服他们做某事,给项目和产品的未来带来好处。

  我进入现在在做的ODPS组的方法是,在他们都在客户现场加班的时候,参加进去每天一起加班到半夜。要来上百页的用户手册,把里面几百条指令一条一条动手试用了一遍。然后花两天时间写了一个教新用户上手的《入门手册》,并且提交了若干个测试中发现的bug。

  再早,还在pFind蛋白搜索引擎的时候,去生物学家的实验室收集软件需求。就陪着他们杀老鼠,熬夜做实验,每2小时闹钟叫醒添加试剂并记录数据,在高辐射或剧毒环境下处理试验样品。最重要的,和他们一起体会,因为生物信息数据软件设计考虑不周导致前面的一切都必须再做一遍时,那种巨大的愤怒和无奈。

  别以为自己是当诸葛亮,掐指一算,羽扇一指,千军万马就冲杀上去了。产品经理,是一线领头冲锋的工兵,要给身后的兄弟们搭桥、排雷、探路。

  最近算法平台产品推进好纠结,我得拜一拜乔帮主。

jobs

2013阿里大数据暑期学校开始报名了

  自主研发的ODPS是阿里数据交换平台(DXP)的重要组成部分,支撑着阿里金融淘宝指数数据魔方等关键业务。

  2013阿里大数据暑期学校的主题正是ODPS。我们将从ODPS底层的飞天大规模分布式系统讲起,为同学们分享研发ODPS平台的几项关键技术:平台框架和服务化、跨集群调度、Tunnel数据交换服务、BSP图编程模型、分布式SQL引擎、分布式数据分析和数据挖掘算法。授课的主讲人基本上都是ODPS开发团队一线的技术经理,并邀请了清华大学、中国科学院、浙江大学等知名高校的专家。欢迎相关专业的博、硕士研究生和高年级本科同学报名。名额有限,赶快点击http://102.alibaba.com/

  这次课程中,《分布式大规模数据分析和数据挖掘算法》的主讲人是我们算法平台团队的大牛品数(杨旭);而杭州站特有的《海量数据下数据挖掘实战》的主讲人是我们最主要的客户晓风(朱洪波)。强烈推荐!

阿里技术嘉年华要举行了,我们的主题报告和Workshop

  2013阿里技术嘉年华将于7月13-14日在杭州举行。好多牛人带来技术分享。这里面和我工作直接相关的内容有下面两个:

  13日上午,ODPS团队的高级产品经理 水易(汤子楠)会在大数据主题论坛上做一个报告,介绍ODPS的产品设计思路、主要功能和基础技术架构。开放数据处理服务 (Open Data Processing Service, ODPS) 是基于飞天平台构建的离线大数据存储与分析系统,以云计算服务的方式实现海量数据的存储、分享与离线处理,在数据仓库构建、海量数据统计、数据挖掘、数据商业智能等应用领域有着广阔的应用前景。

  14日下午,算法团队的高级专家 品数(杨旭)会在Tech Loft主持一个workshop,讨论分布式数据分析算法。MapReduce模式在很多算法上已无法达到高效,如何扩展模式并使之与MapReduce统一调度?如何高效实现大数据算法? 怎样定义数据结构? 如何保证开发测试的质量? 算法研发如何与业务紧密结合? 希望更多人参与分享和讨论。

  更多报告内容请参考这里,期待与大家交流。

平台需要生态系统

  ODPS Sprint8发布了。算法平台也随之发布了很多新功能。

  最近8个工作周累计只有1/4时间呆在北京,剩下的时间都在杭州。几乎每周都是周二飞到杭州,周末再飞回来。以至于偶尔在北京办公室露面,旁边同学们都问我:“这次到北京出差打算呆几天?”

  例外是上个月底。每次Sprint发布之前都有这么一个阶段:从Word、Excell、Outlook里,从飞机场和会议室里逃出来。静下心,ssh连上跳板机,svn checkout,vi……写代码、加UT、提review、加班熬夜,重新变成一个程序员。这往往是整个产品周期里,比较平静的一周。

  不过这次Sprint8我出错了,在逻辑回归的命令行指令里写出两个Bug来。不得不在发布后的几天里陷入煎熬,紧急打补丁。前天晚上HotFix折腾到23点。我离开办公室时,数据科学家团队还在继续加班。第二天3个基于我们算法的大数据模型按时上线。出自淘宝的工程团队,执行力很强悍。

  作为平台,拥有生态环境是至关重要的:你有没有冲进客户业务里去,理解并搞定关键问题?反过来,别人能否沉到平台里面来,贡献代码和数据?有多大的器量就有多大的空间。找到靠谱的业务伙伴,应该在旁边摇着扇子、八抬大轿伺候着。

  之前yy在客户现场呆了半年之久,帮客户重构了很多关键业务,获得了“数仓专家”的职业声誉。我去杭州,老大给我的指令是,像yy一样,扎进BI团队,成为合格的”数据科学家”。这事不容易,不过不会比杀小白鼠更难。

  工作上好久没这么发狠了。

  飞机上看完了《质数的孤独》。作者是个粒子物理学博士,处女作就获得斯特雷加奖。这本小说的页码不是连续的,而是质数序列:2,3,5,7……所有文艺作品都涉及孤独,因为孤独很普遍,这一部写得尤其彻底。

这一期《程序员》杂志……

  这一期《程序员》杂志是大数据专题,俺们alidata部门同学的文章好多呀。关于数据产品的那篇文章里,用淘宝指数举例:“周大福钻石搜索人群68%都是女性,而成交人群100%是男性。”

  悲剧的是,在华大基因的陈钢和余昶两位牛人写的《生命科学中的大数据》中,居然看到了俺的名字。实在愧不敢当。只是一个跳槽的小兵。影响不到行业大势。我目前在阿里数据的ODPS团队,近期的业务方向与生物信息基本无关。

  据说我面试时,以前的工作背景的确加了一点分。阿里关注生物信息领域对云计算技术的需求也很正常。Google对DNAnexus投资是风向标。但目前国内的生物医疗大数据的市场产业化尚处于萌芽期,要说“布局”可能为时尚早。

  这篇文章最后的描述是真的:目前生命科学和计算机两个专业的就业情况是“冰火两重天”,尚在产业化前期的生物信息公司招募人才遇到很大麻烦。但也像他们说的:“市场正在打开,资金正在进入,人才还是很缺乏,这似乎是个好消息。”

  上次说过,华大基因近期势如破竹,收购Complete Genomics成功,上市的进程丝毫没受金融市场的坏天气影响。这是一家值得尊敬的中国创新公司,基因组学领域的华为。

  说起来,最近有一篇吐槽生物信息的BLOG很热。是这篇A farewell to bioinformatics,对此news.ycombinator.com上讨论得很热闹。我仔细看了看这篇BLOG,很多对生物信息的吐槽其实挺中肯的。但生物信息仅是生物学家的工具之一。从孟德尔种豆子起,生物学就是一门面临复杂背景噪音的学科,要证明一个假设,往往需要综合各种手段相互验证。对生物学家而言,生物信息学不一定100%可信,但也绝不是最差选择。

  找个机会和生物信息领域的朋友们深入交流一下。

战斗一年,买房,滑雪,海底捞APP和欲望小火苗

  今天是ODPS sprint 7的Code Freeze。为了让xlib顺利通过,周日发着烧到单位加班到晚上21:30,今天就有底多了。也亏得俺没偷懒,可以提前check in然后跑出来办私事。

  今天又是买房面签、首付、公证……一大堆手续的时间点。下午16:00冲去朝阳门时,老婆已经精疲力竭了,然后折腾到晚上20:00。回来路上,经纪人小姑娘不断接电话,于是示意我们先走。她早上4点钟杀出来排号,还真不容易。

  对我个人而言,这是火热战斗的一年。查了查2012年初设定的重点,当时给自己列了3条:融入ODPS团队,留下点独特痕迹;协助照顾好刚出生的女儿;给孩子买学区房。

  前两天去南山滑雪,孩子出生以后就没有多少机会玩单板了。发现自己心态的确变了不少。一天中级、高级道滑下来,汗都没出。那天晚上海底捞,服务员太神奇了,演示推荐APP,就像产品经理一样了解所有细节。

  ODPS团队好几个人都换iMac本了,我也想要15000块以上的那种超薄的,结果被镇压。前两天luli说新买的滑雪板就要从西班牙寄到了。我很羡慕,回来求一块单板,谨慎思考后也被驳回。我这欲望的小火苗呀……

  2013年会更忙吗?先不想那么多,如果1月前10天能撑住,摆平几件重大的公私事项,就可以安心去泰国休年假喘口气了。

  祝大家新年心情好。

Base城市:首都机场T3航站楼

  昨天折腾到零点才到家。在机场遇到好多麻烦事,手机又没电,正在到处想办法借手机充电器,看到一帮同事旋风般冲去安检。恍惚……愣神……没来得及截住问有没有充电器。阿里应该包机每周定期往返。不过如果这架飞机挂了,会损失大量产品经理。

  前一阵在内部wiki上整理团队资料表格,给dh填base区域时恶搞地填了一个“首都机场T3航站楼”。到昨天为止,今年出差飞行已经超过30000公里了。现在看我自己也差不多base在航站楼了。

  xlib第一期随ODPS Sprint6发布,算是初步有成果出来。客户的更多需求也涌过来,sprint7要推出更多牛算法,争取在各个BI团队的数据挖掘end2end打通。

  淘宝时光机这个Big Data产品初露锋芒,产品经理是一个90后刚刚入职的小姑娘。电视台居然都来采访她,内网更是盖高楼。接下来alidata会推出更多好玩的东西,我们ODPS当然会是其中的重要支撑。

  大事一件件落停,打算给自己放个假,出去旅游一趟。

ODPS Sprint6发布

  今天xlib一期随着ODPS Sprint 6正式发布到生产。最后的回归测试马上就要跑完了。对北京和杭州两边而言,这都是漫长、疲惫又兴奋的一天。

  这两天在杭州不断和各个BI团队开会。满脑子都是“业务场景”、“E2E打通”和“产品落地”这样的话,感觉自己都有点强迫症。已经不知不觉深深沉浸在产品经理的角色里了。

  亲,最重要、最慢、最难、最不好实现的大数据算法让俺们来搞定!