Tag Archives: DataSimba

SimbaOS的发布会视频回放

  新年好!

  很多朋友找我要这次产品发布会视频。从这个链接进去,注册账号填写信息就可以了。

  SimbaOS的API/SDK/Schema目前仅供DataSimba R4及以上版本的老客户限期试用。

  DataSimba不是万能的,一般限于大规模OLAP场景。你可能首先需要靠谱的业务分析。我们提供收费的PoC(先期体验)、数据战略咨询、引擎压力测试和选型、数据迁移等服务。

  联系方式如下(工作日09:00 – 18:00):
  电话:400-080-0326
  微信号:Startdt001
  邮箱:business@startdt.com

BTW:2024年,把产品回款再增加一倍。市场方面拉开和竞争对手的距离。

恢复写Blog,梦想最终会奇怪地又带点遗憾地实现

  好久没写,被人催更。那就立一个目标:2024年写12篇BLOG。另外,12月份我会写点东西总结今年。也未必都写严肃的工作和行业,也可以转载朋友的好文章、贴点读书笔记、发点旅行照片什么的。

  前两天和别人聊天,自夸,吹的牛能落地。

  例子1:刚到Simba团队时找大家One on one:“半年后会发生什么,一年后、两年后会遇到什么困难……所以roadmap先做啥后做啥……到时候再回忆现在说的话”。前两天在部门大会上讲,尽管遇到了大环境的变数很多事拖延了,但我们日拱一卒拿下了当初计划的山头。(老板真懂且真心想做,公司上下一心,各种资源倾斜到Simba,这非常难得)

  例子2:邀请z博士来,给她认真写过一篇小作文:怎样才能平稳落地,接下来一两年的主攻什么,放弃什么。现在看来我没忽悠她,虽然遇到很多困难,基本上在按照当时的规划一步步实现。(当然,z博士强大的内心和超强的执行力是关键)

  我晚熟,三十多岁才明白一些道理。比如要专注。比如天助自助者。

  熟悉我Blog的人都知道,我习惯每年年初想清楚几个目标,其余皆可放弃。一旦专注起来,环境就只是跑道地形,不影响目标距离。队友和对手未必完美,也不重要,别阻碍我去终点就好(反过来,谁真挡路就动手铲平为止)。这十几年,有时定了4个目标居然都能达到,有时只定1个目标还不满意,运气弄人,但念念不忘必有回响。

  刘青云在颁奖仪式上讲的挺有趣:“如果大家真的有梦想,又努力又长命,梦想最终会奇怪地又带点遗憾地实现的。没关系,世事岂能尽如人意。” 

企业级领域专家的黄金时代开始了

  听到很多公司困难。可我们的Simba、Kun、Black量价齐升卖得不错。目前问题是客户越来越多,部署、升级、运维还不够完善。出事的时候,蝙蝠侠团队总是熬夜人肉运维很辛苦。我在完善运维SLA,提高平台RAS,建立企业级服务体系。

  目前中国工业产能利用率只有74.3%。也就是说,前些年大量借钱投资的生产线和基础设施,有4/1都闲着。盲目扩大产能满街铺小黄车的时代一去不复返了。老板们回过头开始精算成本和效率。数据基础设施正在变成企业最重要的核心系统。

  努力这么多年,企业级领域专家的黄金时代终于要开始了。再不来,我都要老了。

我团队在找高P架构师

  我在找P7及以上数据云平台的研发骨干,底线是:

  1. 吃苦耐劳、坦诚直接,逻辑清晰,沟通顺畅;

  2. 还在大量写代码。不要已脱离一线只会开会、写PPT和邮件的纯M。

  公司优势烦请自己搜索市场宣传稿。现金一般,往死里加班。尚在跌宕起伏的创业风险中。想清楚了再投简历。经济形势不好,HC其实是冻结的,我需要找老板哭求,别浪费彼此的生命。

  “你别太好,免得我耽误你;也别太差,免得你耽误我。”

  ——摘自十几年前Boss H主页上那篇著名的《给报考研究生的同学们》。

关于开源的2条

  今年Linux内核维护者Qu Wenruo在内核维护邮件列表指出来自华为的开发者Leizhen等人提交的补丁有刷KPI嫌疑。热度迅速超过之前Linus关于疫苗的那一封。我看了一下,完善异常和日志格式,包括一些拼写错误。不像刷KPI,更像代码强迫症发作。不过最近中国企业有很多刷榜行为特别让人烦。比如大厂投资人突然把Github上的star当作一个指标,然后就各种造假。ym大虾回复我的朋友圈的时候,就这件事说:“应该不看动机看价值,该拒就拒,该收就收”。说得太对了。

  LoongArch对GNU Binutils的支持被合并了,共12个补丁。不过赶不上GCC 12了。Linux生态完整支持LoongArch要到2023年的GCC 13了。龙芯加油!顺便提一下,DataSimba已经支持龙芯CPU。刚做过正式测试,并拿到了信创认证。

云原生数据中台的What、Why、Who、How和Where

WHAT:云原生是什么?它有啥前世今生?

简单说,云原生(Cloud Native)是在云上构建和运行系统的方法论。最早移植上云的“非原住民”应用程序,往往还沿用私有化部署的技术架构,无法充分发挥云基础设施的优势。随着客户应用的深入,系统必须按照IaaS和PaaS的原理进行重构,以便跟上业务的爆炸性增长。

按照CNCF(Cloud Native Computing Foudation)定义,云原生一般包含CI/CD(持续集成持续交付)、容器化、微服务、存储计算分离、跨云多域、元数据管理等技术要素。

图源:CNCF

老实讲,从我这种从业20年数据技术老兵看来,这又是一波buzzword,很多东西二十年前就有了,十几年前就已经成为互联网技术团队的标配。例如,2007年Google已向Linux内核社区贡献cgroup补丁;再如,2008年腾讯阿里招收计算机专业的应届生的面试题里就有CI/CD的问题;2013年我在阿里云ODPS团队时,ODPS的调度器和执行器已加上了cgroup能力。

WHY:投资人不傻,为什么这些概念在创投领域突然变火?

云原生暗合当前行业的发展逻辑,才会受“追捧”。我猜所有重要的创新都要被“发明”两次,一次是从无到有生出来,一次是出圈。

最近业界有个新闻,2020年,中国IT预算里超过50%的钱花在了云上。这是一个里程碑时刻,在中国这个喜欢私有化部署的市场里,云终于赢了。

大量的应用在云上,就遇到成本和效率的问题。举2个例子:

第1个例子,云和大数据运维技术含量较高,很多看机房重启机器的传统运维工程师无力承担。但是线上数据、计算和应用规模还在以每年N倍的速度增长。如果不采用CI/CD而是坚持传统的人肉运维,先别说这种运维工程师的薪酬很高,你可能都招不到这么多合适的人。

第2个例子,客户如果把Hadoop不加修改直接部署到ECS节点上,数据通过HDFS存在云磁盘上成本会非常昂贵。客户必须修改HDFS底层,把数据存到对象存储上去。

成本和效率问题推动智能数据平台必须走向云原生,从而为用户带来如下收益:

1. 提高研发效率通过微服务、CI/CD、对象体系、DevOps等一系列技术,提高代码开发、测试、发布效率,降低迭代成本。

2. 降低运维成本同样,上面这些技术也可以实现开发及运维高效协同,有效提升对故障的响应速度,实现持续集成和交付,使得快速部署应用成为业务流程和企业竞争力的重要组成部分。

3. 降低存算成本大数据基础设施的存储计算成本惊人。存算分离和容器化能够更高效地使用IaaS资源,降低存储成本。存储和计算节点分离后,可以在不对存储进行扩容的情况下快速增加计算资源。另一方面,单个容器的启动时间更快,占用空间更小,而且可以根据实际应用的大小来弹性分配资源,无需额外采购服务器。

4. 提高治理效率数据治理是非常重要但“脏”且繁琐的工作。使用跨云治理、元数据管理等技术,会大幅度提高企业积累数据资产的效率,降低安全风险,提高供应商的多样化。

WHO:所有人都在阐释云原生,哪个更符合客户诉求?到底是“谁的云原生”?

讨论云原生时,应该问清楚:“谁的云原生?”AWS、阿里云、微软云、腾讯云、华为云、京东云、Google云……每一家都推出了自己云原生技术,以吸引客户搬上自己的云。但技术接口的中立性和跨平台性被有意无意忽略了。

奇点云作为“AI驱动的数据中台”创导者,是标准的乙方数据智能技术供应商,服务于泛零售、金融、电信等行业,其中不乏各行业的头部企业。所以我们有动力做下面两件事:

1. 尽可能优化架构,降低数据应用在IaaS上的计算、存储成本。

2. 实现跨云数据治理,帮助客户摆脱某个特定云平台的绑定。

总而言之,和客户站在一起。

你会发现,在美国,尽管AWS的产品非常强大,但是snowflake和databricks依旧服务了很多世界五百强企业。原因就是这些头部企业需要把自己的IaaS供应商多样化。逻辑很类似。

所以“奇点云的云原生”,相比常规定义,多强调了几个因素:对象体系、跨平台、自主可控。我们的产品支持AWS、阿里云、微软云、腾讯云、华为云、京东云、Google云,并实现跨云的多workspace管理,能实现客户数据与应用的跨云治理和迁移。而且系统基本的架构体系设计更开放、更安全、更容易集成。

HOW:对于云原生,数据领域有什么倾向?具体通过哪些技术要素实现云原生?

我们先回顾一下数据技术的演进阶段:

阶段 #1 关系性数据库出现,SQL统一数据开发工业标准,开始区分OLTP和OLAP。问题:随着业务成长,数据量爆炸,尤其是互联网影响的深入,传统关系型数据库逐渐扛不住海量数据的压力。

阶段 #2 大数据技术出现,支撑海量数据的处理,OLAP本身又被分成了离线和实时。问题:针对不同场景的各种大数据引擎不断出现,反过来又刺激了更多数据的生成。海量数据的成本开始变成沉重的负担,如果不能把数据变成“资产”,帮助业务赚钱或省钱,就没法持续支撑大数据基础设施的持续投入。

阶段 #3 数据中台出现,提出一系列的业务方法论,强调积累数据资产。问题:数据中台在互联网公司的实践获得了相当大的成功。但是在其他行业,如果纯粹100%生硬照搬互联网的业务架构和产品形态,会遇到很多水土不服。举个例子,传统行业的企业有大量的线下场景,需要考虑很多数据集成、跨平台治理、数据安全、自主可控的问题。

阶段 #4 数据智能深入场景,AI成为数据中台的入口和出口,业务和数据上云趋势加快,多域数据治理成为刚需,国内用户愿意为自主可控技术买单。 

你可以看到,每一阶段技术都是为了解决上一代问题诞生的。 所以,大数据领域的业务特点会推导对云原生的一些倾向性:

1. 数据中台存储海量数据,且作业高吞吐高并发,对存算分离的各项指标要求明显高于其他领域的应用;

2. 大数据集群规模大进程多,天然需要微服务治理和其他智能运维技术

3. 客户对数据安全、数据确权极其关注,加上toB的分级多域数据治理场景非常复杂,产生了对跨平台技术、数据安全技术、合规数据合作技术的强烈需求;

4. 由于目前的国际政经形势,自主可控的大数据引擎,对国内企业而言是一个刚需。 

想清楚了这些,“奇点云的云原生”具体做了如下的研发:

# 容器化编排:容器化本质上是一种虚拟化技术,一台主机可虚拟出上千个容器。单个容器的启动时间更快,占用空间更小,而且可以根据实际应用的大小来弹性分配资源,无需额外采购服务器,加快研发速度。

# 对象体系:根据现有业务抽象出核心对象,以标准RESTful风格提供API服务,解耦核心对象与业务层服务,以应对不同环境、不同业务场景的需求。这一系列正交的核心对象就构成了平台对象体系,上层业务可在此基础上构建应用,高效演进。

# CI/CD:通过版本管理系统和DevOps基础设施,实现自动化测试和持续集成。一个典型流程是,程序员提交代码到特定的tag,触发测试接口自动化测试脚本+开发单测脚本(偏提交代码新功能的)执行并发送报告。由此实现测试、发布和部署自动化。在此基础上构建特定的数据环境,对重要接口和链路进行自动化检测。

# 存算分离:如果把Hadoop、Spark等常规开源大数据引擎直接应用于云主机,海量数据带来的存储成本和吞吐压力,会很快“压垮”客户。因此,必须引入中间缓存实现计算存储分离,将数据存储到对象存储上,同时兼容HDFS协议,能够根据业务需求进行弹性扩容,就能大幅度降低成本,提高集群性能。

# 跨云治理:在AWS、阿里云、华为云、腾讯云、京东云等平台,实现统一账号、权限和审计的多workspace的兼容管理,并进一步提供数据安全和可信计算方案,从而提高基础设施的可控性和安全性。

# 元数据管理:对数据的结构、指标、标签、权限、上下游血缘、生产作业等元信息进行规范化管理,建立智能数据治理体系,支持数据盘点、安全审计、血缘分析、关键分级等应用,最终实现数据资产化。

WHERE:客户在哪些场景用上了云原生数据中台?

简单举几个客户应用我们的云原生数据中台DataSimba的例子吧(均为真实案例,保密原因,不能指明):

案例 #1 某互联网APP,在海内外都很受欢迎。由于地域和法规的要求,他们必须在多个国家的多种IaaS上实现数据生产和合规隔离,例如:在印度部署1个workspace在孟买AWS上,在美国部署1个workspace在Oracle云上,在中国部署1个workspace在阿里云上……同时又实现账号权限、数据审计和安全策略的全局管理。

案例 #2 某大型电子设备制造公司,由于战略和业务的原因,必须把自己IaaS供应商多样化:部署1个workspace在华为云上,以便对接政企系统;部署1个workspace在AWS上,以便满足海外客户的审计需求;再部署1个workspace在阿里云上,以便支持和阿里云的战略合作……同时又要进行全局的数据资产管理。

案例 #3 某大型零售品牌集团,本身就有多个互相竞争的子品牌,彼此要求数据做必要隔离和客户隐私保护,同时总部又要进行全面的数据拉通。另一方面,该品牌商会对接多个流量电商平台:在阿里云放一个workspace支持双11,在京东云放一个workspace支持618。再加上几十个线上线下系统的数据的集成和拉通,形成了很复杂的分级多workspace的云原生数据治理体系。

案例 #4 某流通业的大型集团,各个分公司比较独立,IT经费充足。这时候总部上一个分级数据治理的多workspace数据中台,旗下比较大的分公司有自己独立机房的可以单独部署workspace,而小一些的公司在阿里云或华为云上开通workspace。总部对所有workspace拥有账号管理和审计的权利,同时控制住数据建模规范标准和指标的版本发布。
不同行业的不同企业,搭建出不一样的云原生跨平台数据治理体系,这其中的业务逻辑复杂微妙。我们再对比一下互联网大厂的数据平台——大一统式的数据打通,跑在几千台节点集群上,就可以发现两边产品上的着眼点并不相同。

最后回顾前面讲的几个关键点:奇点云的第三方立场,奇点云团队对大数据、云计算、人工智能技术的沉淀,奇点云对泛零售、金融、电信等行业的深入理解,以及最重要的——上面这些真实客户案例,都让我们能自信地说,奇点云是中国企业数字化转型的“must-have”供应商。

图源:PIIE

顺便打个广告:技术团队正在火热招聘中,欢迎数据工程师、算法工程师、后端工程师、DevOps工程师们投递简历:zhaopin@startdt.com

本期作者 | 王乐珩(地雷)

奇点云数据智能平台DataSimba总负责人,阿里大数据底层核心引擎ODPS初代产品经理。曾支持蚂蚁金服、菜鸟等算法与应用建设。

(了解地雷,戳→《大咖来了:地雷赌了两件事》)