Category Archives: 科技评论

唐世平的计算社会科学

  唐世平突然火了。因为他的数学模型准确预测出了乌克兰战争的爆发。他的计算社会科学的论文突然被很多人搜索。

  看过阿西莫夫的《银河帝国》系列小说的人,都有点发抖吧。

  预测战争爆发有点难,预测输赢就简单了。1886年之后的每一场国际战争,都是国防预算多的一方战胜预算少的。没有任何例外。乌克兰国土面积欧洲第二,人口5000万。其实并不弱。如果扛过第一波,全民动员不怕死人,欧美持续援助,俄罗斯会有很大麻烦。中文社交媒体上普遍觉得俄罗斯会轻松取胜,有点幼稚。关键在于,俄罗斯自己的经济和军事工业可能耗不下去。

  另外,看新闻,俄罗斯和乌克兰都有车臣营。都是恐怖分子归顺以后组成的炮灰部队,负责最血腥的扫荡和巷战。车臣营旁边都会有专门的部队监视督战。这次他们要在战场遇到了。

那批删除了CCR5基因的孩子3岁了

  世界上第一个做人类基因编辑的科学家贺建奎,今年该出狱了。这也意味着,被他修改过基因的那批孩子,今年3岁了。理论上,这批孩子删除了CCR5基因不会得艾滋病。但实际效果,包括CRISPR技术不完善导致的潜在风险,只能等他们长大后再观察。

  我认为,技术上只要能做到,人类社会最终一定会突破伦理和法律限制开始使用这项技术。

  Boss T推荐我读The Code Breaker,讲述了基因编辑技术的发现。Jennifer Douda及张峰两大阵营的竞争及基因编辑伦理问题。

关于开源的2条

  今年Linux内核维护者Qu Wenruo在内核维护邮件列表指出来自华为的开发者Leizhen等人提交的补丁有刷KPI嫌疑。热度迅速超过之前Linus关于疫苗的那一封。我看了一下,完善异常和日志格式,包括一些拼写错误。不像刷KPI,更像代码强迫症发作。不过最近中国企业有很多刷榜行为特别让人烦。比如大厂投资人突然把Github上的star当作一个指标,然后就各种造假。ym大虾回复我的朋友圈的时候,就这件事说:“应该不看动机看价值,该拒就拒,该收就收”。说得太对了。

  LoongArch对GNU Binutils的支持被合并了,共12个补丁。不过赶不上GCC 12了。Linux生态完整支持LoongArch要到2023年的GCC 13了。龙芯加油!顺便提一下,DataSimba已经支持龙芯CPU。刚做过正式测试,并拿到了信创认证。

关于“元宇宙”

  华盛顿邮报狠狠地批了“元宇宙”,说这是Facebook故意炒作概念,好转移公众对其侵犯隐私和撕裂民意相关指控的注意力。

  每次看到对“元宇宙”一本正经分析的文章,我就忍不住想:这些人10年前没看过《刀剑神域》,20年前没看过《黑客帝国》吗?

Ray Dalio采访

  下面这篇视频是Ray Dalio接受采访,和记者讨论欠两万亿债的恒大是不是中国的雷曼兄弟。他在一年内明显衰老。看起来儿子的去世对他打击很大。希望这位对中国相对友好的老人能挺住。Ray Dalio 说:“中国是一个战略游戏——你不可能突然进入或者退出。”

云原生数据中台的What、Why、Who、How和Where

WHAT:云原生是什么?它有啥前世今生?

简单说,云原生(Cloud Native)是在云上构建和运行系统的方法论。最早移植上云的“非原住民”应用程序,往往还沿用私有化部署的技术架构,无法充分发挥云基础设施的优势。随着客户应用的深入,系统必须按照IaaS和PaaS的原理进行重构,以便跟上业务的爆炸性增长。

按照CNCF(Cloud Native Computing Foudation)定义,云原生一般包含CI/CD(持续集成持续交付)、容器化、微服务、存储计算分离、跨云多域、元数据管理等技术要素。

图源:CNCF

老实讲,从我这种从业20年数据技术老兵看来,这又是一波buzzword,很多东西二十年前就有了,十几年前就已经成为互联网技术团队的标配。例如,2007年Google已向Linux内核社区贡献cgroup补丁;再如,2008年腾讯阿里招收计算机专业的应届生的面试题里就有CI/CD的问题;2013年我在阿里云ODPS团队时,ODPS的调度器和执行器已加上了cgroup能力。

WHY:投资人不傻,为什么这些概念在创投领域突然变火?

云原生暗合当前行业的发展逻辑,才会受“追捧”。我猜所有重要的创新都要被“发明”两次,一次是从无到有生出来,一次是出圈。

最近业界有个新闻,2020年,中国IT预算里超过50%的钱花在了云上。这是一个里程碑时刻,在中国这个喜欢私有化部署的市场里,云终于赢了。

大量的应用在云上,就遇到成本和效率的问题。举2个例子:

第1个例子,云和大数据运维技术含量较高,很多看机房重启机器的传统运维工程师无力承担。但是线上数据、计算和应用规模还在以每年N倍的速度增长。如果不采用CI/CD而是坚持传统的人肉运维,先别说这种运维工程师的薪酬很高,你可能都招不到这么多合适的人。

第2个例子,客户如果把Hadoop不加修改直接部署到ECS节点上,数据通过HDFS存在云磁盘上成本会非常昂贵。客户必须修改HDFS底层,把数据存到对象存储上去。

成本和效率问题推动智能数据平台必须走向云原生,从而为用户带来如下收益:

1. 提高研发效率通过微服务、CI/CD、对象体系、DevOps等一系列技术,提高代码开发、测试、发布效率,降低迭代成本。

2. 降低运维成本同样,上面这些技术也可以实现开发及运维高效协同,有效提升对故障的响应速度,实现持续集成和交付,使得快速部署应用成为业务流程和企业竞争力的重要组成部分。

3. 降低存算成本大数据基础设施的存储计算成本惊人。存算分离和容器化能够更高效地使用IaaS资源,降低存储成本。存储和计算节点分离后,可以在不对存储进行扩容的情况下快速增加计算资源。另一方面,单个容器的启动时间更快,占用空间更小,而且可以根据实际应用的大小来弹性分配资源,无需额外采购服务器。

4. 提高治理效率数据治理是非常重要但“脏”且繁琐的工作。使用跨云治理、元数据管理等技术,会大幅度提高企业积累数据资产的效率,降低安全风险,提高供应商的多样化。

WHO:所有人都在阐释云原生,哪个更符合客户诉求?到底是“谁的云原生”?

讨论云原生时,应该问清楚:“谁的云原生?”AWS、阿里云、微软云、腾讯云、华为云、京东云、Google云……每一家都推出了自己云原生技术,以吸引客户搬上自己的云。但技术接口的中立性和跨平台性被有意无意忽略了。

奇点云作为“AI驱动的数据中台”创导者,是标准的乙方数据智能技术供应商,服务于泛零售、金融、电信等行业,其中不乏各行业的头部企业。所以我们有动力做下面两件事:

1. 尽可能优化架构,降低数据应用在IaaS上的计算、存储成本。

2. 实现跨云数据治理,帮助客户摆脱某个特定云平台的绑定。

总而言之,和客户站在一起。

你会发现,在美国,尽管AWS的产品非常强大,但是snowflake和databricks依旧服务了很多世界五百强企业。原因就是这些头部企业需要把自己的IaaS供应商多样化。逻辑很类似。

所以“奇点云的云原生”,相比常规定义,多强调了几个因素:对象体系、跨平台、自主可控。我们的产品支持AWS、阿里云、微软云、腾讯云、华为云、京东云、Google云,并实现跨云的多workspace管理,能实现客户数据与应用的跨云治理和迁移。而且系统基本的架构体系设计更开放、更安全、更容易集成。

HOW:对于云原生,数据领域有什么倾向?具体通过哪些技术要素实现云原生?

我们先回顾一下数据技术的演进阶段:

阶段 #1 关系性数据库出现,SQL统一数据开发工业标准,开始区分OLTP和OLAP。问题:随着业务成长,数据量爆炸,尤其是互联网影响的深入,传统关系型数据库逐渐扛不住海量数据的压力。

阶段 #2 大数据技术出现,支撑海量数据的处理,OLAP本身又被分成了离线和实时。问题:针对不同场景的各种大数据引擎不断出现,反过来又刺激了更多数据的生成。海量数据的成本开始变成沉重的负担,如果不能把数据变成“资产”,帮助业务赚钱或省钱,就没法持续支撑大数据基础设施的持续投入。

阶段 #3 数据中台出现,提出一系列的业务方法论,强调积累数据资产。问题:数据中台在互联网公司的实践获得了相当大的成功。但是在其他行业,如果纯粹100%生硬照搬互联网的业务架构和产品形态,会遇到很多水土不服。举个例子,传统行业的企业有大量的线下场景,需要考虑很多数据集成、跨平台治理、数据安全、自主可控的问题。

阶段 #4 数据智能深入场景,AI成为数据中台的入口和出口,业务和数据上云趋势加快,多域数据治理成为刚需,国内用户愿意为自主可控技术买单。 

你可以看到,每一阶段技术都是为了解决上一代问题诞生的。 所以,大数据领域的业务特点会推导对云原生的一些倾向性:

1. 数据中台存储海量数据,且作业高吞吐高并发,对存算分离的各项指标要求明显高于其他领域的应用;

2. 大数据集群规模大进程多,天然需要微服务治理和其他智能运维技术

3. 客户对数据安全、数据确权极其关注,加上toB的分级多域数据治理场景非常复杂,产生了对跨平台技术、数据安全技术、合规数据合作技术的强烈需求;

4. 由于目前的国际政经形势,自主可控的大数据引擎,对国内企业而言是一个刚需。 

想清楚了这些,“奇点云的云原生”具体做了如下的研发:

# 容器化编排:容器化本质上是一种虚拟化技术,一台主机可虚拟出上千个容器。单个容器的启动时间更快,占用空间更小,而且可以根据实际应用的大小来弹性分配资源,无需额外采购服务器,加快研发速度。

# 对象体系:根据现有业务抽象出核心对象,以标准RESTful风格提供API服务,解耦核心对象与业务层服务,以应对不同环境、不同业务场景的需求。这一系列正交的核心对象就构成了平台对象体系,上层业务可在此基础上构建应用,高效演进。

# CI/CD:通过版本管理系统和DevOps基础设施,实现自动化测试和持续集成。一个典型流程是,程序员提交代码到特定的tag,触发测试接口自动化测试脚本+开发单测脚本(偏提交代码新功能的)执行并发送报告。由此实现测试、发布和部署自动化。在此基础上构建特定的数据环境,对重要接口和链路进行自动化检测。

# 存算分离:如果把Hadoop、Spark等常规开源大数据引擎直接应用于云主机,海量数据带来的存储成本和吞吐压力,会很快“压垮”客户。因此,必须引入中间缓存实现计算存储分离,将数据存储到对象存储上,同时兼容HDFS协议,能够根据业务需求进行弹性扩容,就能大幅度降低成本,提高集群性能。

# 跨云治理:在AWS、阿里云、华为云、腾讯云、京东云等平台,实现统一账号、权限和审计的多workspace的兼容管理,并进一步提供数据安全和可信计算方案,从而提高基础设施的可控性和安全性。

# 元数据管理:对数据的结构、指标、标签、权限、上下游血缘、生产作业等元信息进行规范化管理,建立智能数据治理体系,支持数据盘点、安全审计、血缘分析、关键分级等应用,最终实现数据资产化。

WHERE:客户在哪些场景用上了云原生数据中台?

简单举几个客户应用我们的云原生数据中台DataSimba的例子吧(均为真实案例,保密原因,不能指明):

案例 #1 某互联网APP,在海内外都很受欢迎。由于地域和法规的要求,他们必须在多个国家的多种IaaS上实现数据生产和合规隔离,例如:在印度部署1个workspace在孟买AWS上,在美国部署1个workspace在Oracle云上,在中国部署1个workspace在阿里云上……同时又实现账号权限、数据审计和安全策略的全局管理。

案例 #2 某大型电子设备制造公司,由于战略和业务的原因,必须把自己IaaS供应商多样化:部署1个workspace在华为云上,以便对接政企系统;部署1个workspace在AWS上,以便满足海外客户的审计需求;再部署1个workspace在阿里云上,以便支持和阿里云的战略合作……同时又要进行全局的数据资产管理。

案例 #3 某大型零售品牌集团,本身就有多个互相竞争的子品牌,彼此要求数据做必要隔离和客户隐私保护,同时总部又要进行全面的数据拉通。另一方面,该品牌商会对接多个流量电商平台:在阿里云放一个workspace支持双11,在京东云放一个workspace支持618。再加上几十个线上线下系统的数据的集成和拉通,形成了很复杂的分级多workspace的云原生数据治理体系。

案例 #4 某流通业的大型集团,各个分公司比较独立,IT经费充足。这时候总部上一个分级数据治理的多workspace数据中台,旗下比较大的分公司有自己独立机房的可以单独部署workspace,而小一些的公司在阿里云或华为云上开通workspace。总部对所有workspace拥有账号管理和审计的权利,同时控制住数据建模规范标准和指标的版本发布。
不同行业的不同企业,搭建出不一样的云原生跨平台数据治理体系,这其中的业务逻辑复杂微妙。我们再对比一下互联网大厂的数据平台——大一统式的数据打通,跑在几千台节点集群上,就可以发现两边产品上的着眼点并不相同。

最后回顾前面讲的几个关键点:奇点云的第三方立场,奇点云团队对大数据、云计算、人工智能技术的沉淀,奇点云对泛零售、金融、电信等行业的深入理解,以及最重要的——上面这些真实客户案例,都让我们能自信地说,奇点云是中国企业数字化转型的“must-have”供应商。

图源:PIIE

顺便打个广告:技术团队正在火热招聘中,欢迎数据工程师、算法工程师、后端工程师、DevOps工程师们投递简历:zhaopin@startdt.com

本期作者 | 王乐珩(地雷)

奇点云数据智能平台DataSimba总负责人,阿里大数据底层核心引擎ODPS初代产品经理。曾支持蚂蚁金服、菜鸟等算法与应用建设。

(了解地雷,戳→《大咖来了:地雷赌了两件事》)

2021年来了

  2020年,我们一起目睹了很多剧烈变化。除了疫情。地球上第一次出现钢产量突破十亿吨的国家。中国从2014年开始,每年生产的水泥,是美国10年以上的产量。

  前两天看到统计顶级富豪(TOP300),属狗的比例大幅度低于其他属相。中国和外国都如此。这是什么道理?另外,都说羊命苦,但富豪里属羊的比例相当高。乔布斯、比尔盖茨都属羊。《魔鬼经济学》里面提到的1955现象应该是真的。马云、雷军、马化腾那批人是中国第一个“1955”。

  大多数人没考虑过中国的“1955现象”与美国有啥不同。我们是超高速演进,或者干脆N次浪潮重叠。做成大事的机会窗口远远没有关闭。很多人现在回忆起20年前,后悔没没买房,后悔没加入互联网行业……其实就在此时此刻,他们也不知道该干啥,若干年后,他们还会后悔。

  逻辑其实挺明确的,从小黄车破产开始,大量烧钱铺分店扩张规模的toC时代结束了。需要精益操作,减少成本,增加效率。只要进入追求效率的阶段,toB的时代就终于到来了。但是toB也分很多行业和种类:你是做服务,还是做产品。做服务,卖人头外包,还是高端咨询?做toB产品更难,不像toC的敏捷迭代,需要长远布局,持续很多年惊人的投入,但是做成了就特别牛B,华为和芯片的故事让全国人民都懂这个道理了。

  像我这样做了20年toB产品的人,等了二十年,终于等到自己的时代了。我都以为等不到了。

数据中台的终局是将数据变现

如何真正理解数据中台?只有大厂才需要考虑数据中台吗?数据中台的出现会给企业现有的战略、业务、技术带来哪些挑战?

与其讨论什么是数据中台,泛零售企业对「如何利用数据中台解决业务问题并带来盈利」更感兴趣。因此,如何利用好数据中台成为新的增长引擎,正成为一门新课题。在实践过程中,我们发现很多泛零售企业不清楚如何真正用数据中台有效解决业务问题,想要盈利也变得愈加困难。

9月9日「数智·泛零售」03课,地雷老师的分享中提出了建议,在实施数据中台前,泛零售企业必须梳理3个问题:

1、数据中台在泛零售行业中是成本中心,那老板为什么要斥巨资投资做数据中台呢?

2、数据中台落地的每一步,能带来哪些业务收益?上数据中台不同于上ERP、CRM及内部管理系统,数据中台是非常底层,刚开始业务部门感受不到它的存在,需要老板有战略决心。

3、设想中的数据应用,涉及到哪些现有系统和数据?

从以上3个问题总结,其实需要从战略、业务、技术实现三个层面去考虑。

如果你是一位有着多年数据中台建设的老手,看到某些指标,可能你就可以感受到项目实施的成功率。比如说业务部门比IT部门着急,催着IT部门上线,那就对了。意味着有了清晰的战略和业务出口,最忌讳的是先做数据中台,将数据汇集并存起来,未来再进行数据挖掘及变现。

数据中台VS传统数仓

40年前就出现的数据仓库概念和今天盛行的数据中台有何差别?尤其在技术上又有什么差异性呢?我们听到最多的可能是以下这两种回答:

1、是IOE为代表的传统技术栈,转向Hadoop等开源大数据技术。

2、增加了类似离线计算/实时计算/数据资产/数据API这样的功能模块。

再仔细想想,仅仅是技术因素吗?技术当然会更新迭代,数据中台在技术上比传统的数仓在处理的数据量上大大提高,如果仅仅考虑至此,当被问到老的技术撑不住新的业务了吗?在传统的线下零售情形下Oracle就搞不定吗?这些问题是可能是矛盾的。

我们认为数据中台是业务概念,而非技术概念。相比传统数仓,数据中台离业务更近,能更快的响应业务和应用开发的需求。数据中台的首要出发点并不是数据,而是业务,帮企业解决业务问题,让企业的业务效率更高。

大数据时代,数据是一种「石油」,直白地讲,数据经过汇聚、生产、服务,是可以给企业赚钱的,也是所有业务的出发点。


数据中台的终局是什么?是将数据变现,让数据本身「生钱」。

同时,这也是数据中台兴起的初心,和传统的数仓不同在于,传统的逻辑上,这些都是成本中心,但数据中台是一门新的生意,将数据攒下来进行生产并变现。

意味着数据中台项目在一开始就要奔着生产数据中台产品并且能卖钱进行建设,这也是上一代和这一代在业务上最本质的区别。 如果实施几期之后,开始规划计量计费功能,那么就对了!因为正在朝着对外服务并进行收费的方向进行。 在划分数据中台的功能模块时,一种典型的思路,采用典型数据开发的技术导向,一级信息架构类似这样:离线计算/实时计算/数据资产/数据API……

不以技术划分,而是以数据生产的场景划分。如果开始按照数据开发、数据运维、数据服务、数据资产等岗位场景组织产品功能,事情就对了。

泛零售业务的技术挑战

一般泛零售企业没有阿里双11那样的场景,应将重点应放在哪里?产品形态又如何?

泛零售企业都是线上线下协同的,既有线下场景,又有线上场景,数据来源也极其庞杂。泛零售企业数据用的时候实际场景也是混杂的,需要跨域协同。

对数据治理来说,一方数据、二方数据、三方数据的依次处理,与业务都有强关系。光有数据而不能赋能业务的,都只能算是半吊子。

未来所有的企业核心都会变成加工数据的企业,虽然泛零售行业数智化转型不一定保证成功,但不做数智化未来注定失败。

当泛零售企业发现:数据问题导致变现出现困难时,就是该上数据中台的时候了。数据主动向业务前端靠近,这也是DT时代数据变现的发展大趋势。

疫情和经济

  疫情的确会导致经济衰退。不过还有其他解读的角度。

  例如,互联网和AI迎来一轮爆发。李佳琦直播年销售额大约30亿。薇娅直播年销售大约100亿。前两天罗永浩第一次抖音直播,观众四千多万,销售额1.7亿。AI独角兽都在愁交付和供应链。线上吃掉线下,先进生产力替代落后生产力,这个大趋势反而被疫情加强。

  再如,没有弯道,老板们就必须回复常识,老老实实提高效率降低成本。这对toB是利好。对接地气的供应商是利好。

  又如,没风口,踏踏实实积累的人才会更值钱。缺少突破性创新的阶段,行业Know How和SOP就很关键。

  个人而言,我实际上看到了很多机会值得赌一赌。

  BTW:隔离了这么久,十分想吃兰州牛肉面。

AI和股票、搔扰电话、P站

  《攻壳机动队》有一集,金融大亨独自死在别墅里。然而他的资产还在网络中继续增值。20年后,这预言终于变成常规了。这个季度,美国股市中由人工智能管理的股权资产(交易所交易基金、指数追踪共同基金和债券)达4.3万亿美元,首次超过由人类管理的资产。

  国内2/3的营销和客服电话,已经不是活人。为了逼真,还会让机器人带地方口音,背景播放呼叫中心嘈杂的人声……一直用“你贵姓”打断对方,来判断骚扰电话对面是不是机器人。今天第一次遇到,对面机器人回答“我姓宋”,但是再问“你贵庚”又晕了。各位,有件事尽管简单还是要做,给机器人建立私人画像话术:多少岁、哪里人、有没有孩子、在哪里上的大学……大多数产品很重视语音识别算法和自然语言理解算法,却对话术管理不太上心。

  世界最大的色情网站(P站)推出了一款视频识别引擎,可以通过机器学习去识别视频中的演员、特征、场景,甚至可以根据三围、姿势等标签进行细分归类,然后通过算法进行精准推荐。