云原生与数据智能

标签: 技术成长, 技术前沿

保留所有版权，请引用而不是转载本文（原文地址 https://yeecode.top/blog/91/ ）。

一、什么是数据智能

目前，数字化产业在国内发展迅速，渗透到了人民群众衣食住行的各个领域之中。从2005年到2020年，我国的数字经济占GDP的比重从14.2%提升到了38.6%，2020年数字经济增速是GDP增速的3倍多，数字经济为各行业的降本增效做出了重大的贡献。

而数字化的发展也经历了以下几个阶段。

数据智能化有利于充分发挥数据在商业、制造、政务、金融等各个领域的作用，推动相关领域的成本降低、效率优化。

“十四五规划”中明确指出，2035年中国要基本实现新型工业化、信息化。其中，推动数据资源开发利用成为重要命题之一。

在国家自上而下政策的推动下，本就十分广阔的中国企业服务市场，其潜力将会得到进一步挖掘。同时在由内而外的企业改革中，数字化与协作的理念将会进一步普及。

二、数据智能的意义

数据智能有着广泛的意义。

从国家层面看，数据智能能够促进数据在社会主义市场经济中的流动，便于国家更好地实施宏观调控，并对调控的反馈进行实时收集和监控。提升调控在微观和宏观层面的指导作用。

从产业层面看，数据智能能够实现数据价值化、数据资产化，助力产业结构调整和数据市场的良性发展。

从企业层面看，数据智能能够整合企业的供应链、财务、售后、库存、促销等各方面数据，提升企业的运营能力，助力企业降本增效。

因此，数据智能化是一个涉及上下各个层级的趋势。将对商业、制造、政务、金融等各领域带来深刻影响。

以制造领域为例，数据智能的实施将促进智能制造的发展。我们举例说明数据智能在这一过程中的重要作用。

如今，同一版本同一型号的手机，几乎是一模一样的。当我们说去选购商品，其实是在有限的型号中选择我们需要的那一款。可是，人的需求千变万化，为什么偏偏要归结到几个固定的型号上去呢？每个人不应该根据自己的需求，定义自己的产品么？

这很难。因为每个人的需求都是不同的，而工业化的生产却是标准化的。

如今，库存问题依旧困扰着商业流程，那我们能否直接对接消费者和生产者，从而消除库存呢？

这很难。因为生产者和消费者之间的信息还没有顺畅到可以直接打通。

库存

解决以上问题的答案就是数据智能。

在物资贫瘠的时代，人类通过屏蔽个性化的需求来创造出一个标准化的环境，从而能提升效率创造更多的物资；而当物资充盈的时候，人类终于有精力来满足每个人个性化的需求。

你再也不需要将自己的需求归结到几个特定的标准型号上，物资将被完全依照你的需求而生产。你不需要再购买XL的衣服，衣服将绝对贴合你的身材；你不需要再挑选合适的手机，工厂为你制造你的手机。

而数据智能的意义不仅于此。

当物资急剧匮乏时，提高生产力是最重要的。而当物资变得极为丰富时，哪怕不提高生产力，只要能让物资能被利用的稍微合理些，就能产生巨大的价值。例如，如果生产商的订单数据能够实时来自于市场，那库存问题不就解决了，这会避免巨大的资源浪费。而且，如果买卖双方之间的信息足够通畅，负责进行信息协调的中间商似乎也没有存在的必要了。

如今我们想购买一辆自行车，是到市场上选购一辆。而智能制造时代，我们可以直接登录自行车生产商的网站。然后根据自己的需求选取合适的车把、车架、车轮……然后全自动的生产设备按照你的选配组装一辆完全契合你需求的自行车。再进一步看，自行车生产商也会根据你的选取，去相应的车把生产商提交订单，获取完全符合你要求的车把，因此车把的参数你可以完全自定。而整个生产过程，完全为你进行，没有库存，没有中间商赚差价，没有生产力的浪费。

数据智能让我们渐渐地有能力实现上面描述的一切，也让我们渐渐地回到了遥远的过去，回到了买卖双方直接交流、物资协调更为便利的古代，毕竟，那时展露的才是我们需求的本质。愈发丰富的物资让着它们变得不可能，而数据智能又渐渐地使它们变得可能。

在制造业领域，数据智能是一个涉及信息、管理等多方面的革新，是对人类生产方式的又一次颠覆。像工业时代中的流水线给人类社会带来的冲击一样，数据智能也必将会给人类社会带来深远的影响。

当然，数据智能不仅可以在制造业领域发挥作用，在商业、政务、金融等各领域都大有可为。例如，在政务领域的智慧政务系统，便可以实现在线政务办理、自动事项审批、企业特征画像等众多功能，打造政务服务新模式，创建数字经济先行区。

三、数据智能的特点

不同于传统的信息化改造，数据智能需要收集被改造主体的多方面数据，并在此基础上进行智能分析，它具有以下特点。

首先，数据源多样。从来源上看，在数据智能系统中，其分析的数据可能来自于用户填入的数据，也可能来自于生产过程数据，还可能来自于供应链数据。从形式上看，在数据智能系统中，其分析的数据可能是传统数据库中的结构化数据，可能是网页中的半结构化数据，也可能是文本数据库中的非结构化数据。因此数据源十分多样。

其次，数据智能系统所分析的数据量巨大，且增长快速。不同于传统数据库中的高信息密度数据，这些数据的信息密度是低的，量是大的，并且会随着时间推移迅速增长。

再次，相比于数据应用阶段的以离线计算为主的数据分析方式，数据智能系统需要大量的实时性计算，其对增强性计算需求量较大。

第四，数据智能系统的程序异构性强。其可能包含提供网页服务的WEB程序，也可能包含提供分布式存储的数据库程序，还可能包含提供数据分析的流处理、批处理程序，等等。因此，其程序异构性强。

因为数据智能系统具有数据源多样、数据量大且增长迅速、需要大量的实时性计算、程序异构性强等特点，所以其搭建：

那数据智能的出路在何方？

那就是云原生。

四、云原生

云原生是一种方法，它用于构建和运行充分利用云计算模型优势的应用。它主要包含如下的技术：

其中的容器、容器编排、服务网格将所有的异构应用都抽象为相同的服务，这可以方便地将异构应用组成系统，统一地对外服务，降低了系统的搭建难度。

其中的不可变基础、DevOps使得系统能够更好的利用云上的弹性资源，能够更有弹性地应对存储空间、计算能力的需求变化。

其中的声明式API是相对于命令式API而言的。命令式API接受的是让系统直接执行的具体命令，例如”启动应用”、”更新数据源”等，而声明式API接受的期望系统达到的状态。在这个过程中，系统可以不断调整自身现有状态，以最终达到期望状态。这提升了系统运行的智能性、可靠性。

库存

可见，云原生是实现数据智能的途径。

五、云原生与数据智能

数据智能系统具有数据源多样、数据量大且增长迅速、需要大量的实时性计算、程序异构性强等特点，使得传统的应用架构无法实现。而云原生则为数据智能系统的落地提供了途径。

就以滴普科技提供的FastData能力矩阵为例，它基于云原生实现了对多数据源的支持，并为各类数据提供了统一存储。继而可以对各类数据进行流批一体的分析处理和湖仓一体的给出。

库存

基于以上能力，能够继续提供离线、实时的数据分析服务，提供数据资产服务，提供调度服务，从而服务企业中的各类角色。

下面的图中，展示了滴普科技的产品架构图。

库存

通过架构图我们可以看出，整个系统主要分为自下而上的三层结构：

最下层为新一代云原生数据智能平台FastData。整个FastData是搭建在云原生基础服务上的，每个子平台可以利用云原生提供的各项基础服务（权限验证等），实现了基础功能和子平台业务功能的解耦。这种设计确保了每个子平台的安全性，也提升了每个子平台的可拓展性。例如，在这种云原生的架构下，拓展湖存储引擎、流批计算引擎时的具体工作都仅限于业务子平台内部，而不用关系权限验证、数据安全等基础服。甚至这种拓展工作可以由全链路运维系统根据当前负载情况自动完成。

中间层为数据资产治理与运营平台。这一部分承载了主要的业务逻辑，可以根据需求实现商业、智能精益制造、智慧政务等不同领域的业务逻辑，而不需要关心存储、计算等底层信息。如果需要对业务逻辑进行更新、优化，则都只需要在这一层展开，这使得项目升级的过程更为简单和纯粹。

最上层则为交付服务，包括线上线下的交付。由于已经在最下层和中间层进行了逻辑梳理与隔离，这里的交付工作可以更为标准和快速的实现，可以大大减少系统的搭建时间和部署人员的工作量。

以上架构充分利用了云原生的优势，确保了整个系统的可拓展性、可靠性、可维护性。能够较好地应对机构的业务量增长，并能根据机构的需求增加各种特异性服务。例如为商业企业提供消费者运营分析、业财一体等服务，为智能精益制造企业提供质量追溯、EVA分析等服务，为政府机构提供数字双碳分析、经济大脑等服务。

云原生是数据智能落地的重要保障。它能在满足数据智能所需的多数据源、大数据量、实时计算、异构性强等要求的基础上，提升整个系统的可拓展性、可靠性、可维护性。因此，云原生是数据智能的发展方向。

可以访问个人知乎阅读更多文章：易哥（https://www.zhihu.com/people/yeecode），欢迎关注。

作者书籍推荐