Tag Archives: DataSimba

云原生数据中台的What、Why、Who、How和Where

WHAT:云原生是什么?它有啥前世今生?

简单说,云原生(Cloud Native)是在云上构建和运行系统的方法论。最早移植上云的“非原住民”应用程序,往往还沿用私有化部署的技术架构,无法充分发挥云基础设施的优势。随着客户应用的深入,系统必须按照IaaS和PaaS的原理进行重构,以便跟上业务的爆炸性增长。

按照CNCF(Cloud Native Computing Foudation)定义,云原生一般包含CI/CD(持续集成持续交付)、容器化、微服务、存储计算分离、跨云多域、元数据管理等技术要素。

图源:CNCF

老实讲,从我这种从业20年数据技术老兵看来,这又是一波buzzword,很多东西二十年前就有了,十几年前就已经成为互联网技术团队的标配。例如,2007年Google已向Linux内核社区贡献cgroup补丁;再如,2008年腾讯阿里招收计算机专业的应届生的面试题里就有CI/CD的问题;2013年我在阿里云ODPS团队时,ODPS的调度器和执行器已加上了cgroup能力。

WHY:投资人不傻,为什么这些概念在创投领域突然变火?

云原生暗合当前行业的发展逻辑,才会受“追捧”。我猜所有重要的创新都要被“发明”两次,一次是从无到有生出来,一次是出圈。

最近业界有个新闻,2020年,中国IT预算里超过50%的钱花在了云上。这是一个里程碑时刻,在中国这个喜欢私有化部署的市场里,云终于赢了。

大量的应用在云上,就遇到成本和效率的问题。举2个例子:

第1个例子,云和大数据运维技术含量较高,很多看机房重启机器的传统运维工程师无力承担。但是线上数据、计算和应用规模还在以每年N倍的速度增长。如果不采用CI/CD而是坚持传统的人肉运维,先别说这种运维工程师的薪酬很高,你可能都招不到这么多合适的人。

第2个例子,客户如果把Hadoop不加修改直接部署到ECS节点上,数据通过HDFS存在云磁盘上成本会非常昂贵。客户必须修改HDFS底层,把数据存到对象存储上去。

成本和效率问题推动智能数据平台必须走向云原生,从而为用户带来如下收益:

1. 提高研发效率通过微服务、CI/CD、对象体系、DevOps等一系列技术,提高代码开发、测试、发布效率,降低迭代成本。

2. 降低运维成本同样,上面这些技术也可以实现开发及运维高效协同,有效提升对故障的响应速度,实现持续集成和交付,使得快速部署应用成为业务流程和企业竞争力的重要组成部分。

3. 降低存算成本大数据基础设施的存储计算成本惊人。存算分离和容器化能够更高效地使用IaaS资源,降低存储成本。存储和计算节点分离后,可以在不对存储进行扩容的情况下快速增加计算资源。另一方面,单个容器的启动时间更快,占用空间更小,而且可以根据实际应用的大小来弹性分配资源,无需额外采购服务器。

4. 提高治理效率数据治理是非常重要但“脏”且繁琐的工作。使用跨云治理、元数据管理等技术,会大幅度提高企业积累数据资产的效率,降低安全风险,提高供应商的多样化。

WHO:所有人都在阐释云原生,哪个更符合客户诉求?到底是“谁的云原生”?

讨论云原生时,应该问清楚:“谁的云原生?”AWS、阿里云、微软云、腾讯云、华为云、京东云、Google云……每一家都推出了自己云原生技术,以吸引客户搬上自己的云。但技术接口的中立性和跨平台性被有意无意忽略了。

奇点云作为“AI驱动的数据中台”创导者,是标准的乙方数据智能技术供应商,服务于泛零售、金融、电信等行业,其中不乏各行业的头部企业。所以我们有动力做下面两件事:

1. 尽可能优化架构,降低数据应用在IaaS上的计算、存储成本。

2. 实现跨云数据治理,帮助客户摆脱某个特定云平台的绑定。

总而言之,和客户站在一起。

你会发现,在美国,尽管AWS的产品非常强大,但是snowflake和databricks依旧服务了很多世界五百强企业。原因就是这些头部企业需要把自己的IaaS供应商多样化。逻辑很类似。

所以“奇点云的云原生”,相比常规定义,多强调了几个因素:对象体系、跨平台、自主可控。我们的产品支持AWS、阿里云、微软云、腾讯云、华为云、京东云、Google云,并实现跨云的多workspace管理,能实现客户数据与应用的跨云治理和迁移。而且系统基本的架构体系设计更开放、更安全、更容易集成。

HOW:对于云原生,数据领域有什么倾向?具体通过哪些技术要素实现云原生?

我们先回顾一下数据技术的演进阶段:

阶段 #1 关系性数据库出现,SQL统一数据开发工业标准,开始区分OLTP和OLAP。问题:随着业务成长,数据量爆炸,尤其是互联网影响的深入,传统关系型数据库逐渐扛不住海量数据的压力。

阶段 #2 大数据技术出现,支撑海量数据的处理,OLAP本身又被分成了离线和实时。问题:针对不同场景的各种大数据引擎不断出现,反过来又刺激了更多数据的生成。海量数据的成本开始变成沉重的负担,如果不能把数据变成“资产”,帮助业务赚钱或省钱,就没法持续支撑大数据基础设施的持续投入。

阶段 #3 数据中台出现,提出一系列的业务方法论,强调积累数据资产。问题:数据中台在互联网公司的实践获得了相当大的成功。但是在其他行业,如果纯粹100%生硬照搬互联网的业务架构和产品形态,会遇到很多水土不服。举个例子,传统行业的企业有大量的线下场景,需要考虑很多数据集成、跨平台治理、数据安全、自主可控的问题。

阶段 #4 数据智能深入场景,AI成为数据中台的入口和出口,业务和数据上云趋势加快,多域数据治理成为刚需,国内用户愿意为自主可控技术买单。 

你可以看到,每一阶段技术都是为了解决上一代问题诞生的。 所以,大数据领域的业务特点会推导对云原生的一些倾向性:

1. 数据中台存储海量数据,且作业高吞吐高并发,对存算分离的各项指标要求明显高于其他领域的应用;

2. 大数据集群规模大进程多,天然需要微服务治理和其他智能运维技术

3. 客户对数据安全、数据确权极其关注,加上toB的分级多域数据治理场景非常复杂,产生了对跨平台技术、数据安全技术、合规数据合作技术的强烈需求;

4. 由于目前的国际政经形势,自主可控的大数据引擎,对国内企业而言是一个刚需。 

想清楚了这些,“奇点云的云原生”具体做了如下的研发:

# 容器化编排:容器化本质上是一种虚拟化技术,一台主机可虚拟出上千个容器。单个容器的启动时间更快,占用空间更小,而且可以根据实际应用的大小来弹性分配资源,无需额外采购服务器,加快研发速度。

# 对象体系:根据现有业务抽象出核心对象,以标准RESTful风格提供API服务,解耦核心对象与业务层服务,以应对不同环境、不同业务场景的需求。这一系列正交的核心对象就构成了平台对象体系,上层业务可在此基础上构建应用,高效演进。

# CI/CD:通过版本管理系统和DevOps基础设施,实现自动化测试和持续集成。一个典型流程是,程序员提交代码到特定的tag,触发测试接口自动化测试脚本+开发单测脚本(偏提交代码新功能的)执行并发送报告。由此实现测试、发布和部署自动化。在此基础上构建特定的数据环境,对重要接口和链路进行自动化检测。

# 存算分离:如果把Hadoop、Spark等常规开源大数据引擎直接应用于云主机,海量数据带来的存储成本和吞吐压力,会很快“压垮”客户。因此,必须引入中间缓存实现计算存储分离,将数据存储到对象存储上,同时兼容HDFS协议,能够根据业务需求进行弹性扩容,就能大幅度降低成本,提高集群性能。

# 跨云治理:在AWS、阿里云、华为云、腾讯云、京东云等平台,实现统一账号、权限和审计的多workspace的兼容管理,并进一步提供数据安全和可信计算方案,从而提高基础设施的可控性和安全性。

# 元数据管理:对数据的结构、指标、标签、权限、上下游血缘、生产作业等元信息进行规范化管理,建立智能数据治理体系,支持数据盘点、安全审计、血缘分析、关键分级等应用,最终实现数据资产化。

WHERE:客户在哪些场景用上了云原生数据中台?

简单举几个客户应用我们的云原生数据中台DataSimba的例子吧(均为真实案例,保密原因,不能指明):

案例 #1 某互联网APP,在海内外都很受欢迎。由于地域和法规的要求,他们必须在多个国家的多种IaaS上实现数据生产和合规隔离,例如:在印度部署1个workspace在孟买AWS上,在美国部署1个workspace在Oracle云上,在中国部署1个workspace在阿里云上……同时又实现账号权限、数据审计和安全策略的全局管理。

案例 #2 某大型电子设备制造公司,由于战略和业务的原因,必须把自己IaaS供应商多样化:部署1个workspace在华为云上,以便对接政企系统;部署1个workspace在AWS上,以便满足海外客户的审计需求;再部署1个workspace在阿里云上,以便支持和阿里云的战略合作……同时又要进行全局的数据资产管理。

案例 #3 某大型零售品牌集团,本身就有多个互相竞争的子品牌,彼此要求数据做必要隔离和客户隐私保护,同时总部又要进行全面的数据拉通。另一方面,该品牌商会对接多个流量电商平台:在阿里云放一个workspace支持双11,在京东云放一个workspace支持618。再加上几十个线上线下系统的数据的集成和拉通,形成了很复杂的分级多workspace的云原生数据治理体系。

案例 #4 某流通业的大型集团,各个分公司比较独立,IT经费充足。这时候总部上一个分级数据治理的多workspace数据中台,旗下比较大的分公司有自己独立机房的可以单独部署workspace,而小一些的公司在阿里云或华为云上开通workspace。总部对所有workspace拥有账号管理和审计的权利,同时控制住数据建模规范标准和指标的版本发布。
不同行业的不同企业,搭建出不一样的云原生跨平台数据治理体系,这其中的业务逻辑复杂微妙。我们再对比一下互联网大厂的数据平台——大一统式的数据打通,跑在几千台节点集群上,就可以发现两边产品上的着眼点并不相同。

最后回顾前面讲的几个关键点:奇点云的第三方立场,奇点云团队对大数据、云计算、人工智能技术的沉淀,奇点云对泛零售、金融、电信等行业的深入理解,以及最重要的——上面这些真实客户案例,都让我们能自信地说,奇点云是中国企业数字化转型的“must-have”供应商。

图源:PIIE

顺便打个广告:技术团队正在火热招聘中,欢迎数据工程师、算法工程师、后端工程师、DevOps工程师们投递简历:zhaopin@startdt.com

本期作者 | 王乐珩(地雷)

奇点云数据智能平台DataSimba总负责人,阿里大数据底层核心引擎ODPS初代产品经理。曾支持蚂蚁金服、菜鸟等算法与应用建设。

(了解地雷,戳→《大咖来了:地雷赌了两件事》)