流式处理引擎，颠覆50年未变的数据库内核
流式处理的概念
2023年9月11日，美国世贸大楼被袭击，美国国防部第一次将“主动预警”纳入国防的宏观战略规划。而ibm作为当时全球最大的it公司，承担了大量基础支撑软件研发的任务。其中2023年正式发布的ibm infosphere streams，就是全球最早真正意义上的商业化流数据处理引擎之一。
典型的流处理框架，如apache storm、spark streaming、flink等也都是基于ibm的设计理念，采用“请求发送+结果返回”的模式进行了研发，并大量应用于实时互联网类型的业务中，对前方产生的海量事件进行实时预处理。
gartner在《2022中国数据库管理系统市场指南》中，将流处理定义为：涉及对“事件”（event）的观察和触发，通常在“边缘”采集，包括将处理结果传输至其他业务阶段。并将在未来五年中，获得更多关注。
图：gartner对于流/事件处理的定义。
传统部署架构的痛点
但是，不论apache storm、spark streaming、还是flink等流处理框架的设计，都是将目光集中在“处理”本身。由于其自身不具备数据库的能力，当需要与其他数据进行关联、临时存储等互动时，则需要进行复杂的数据抽取。这使得大量的开发人员，还需要编写复杂的j**a/c++/scala**，用最传统的方式对记录进行一条条预处理，并且还需要经常从其他外部的缓存/数据库中实时调取额外数据进行手工关联，开发和运维的负担极大。
在亚信科技antdb数据库发展的十几年中，我们看到大量运营商对核心数据处理加工的业务场景。这些需求中，有些能够很容易地使用传统技术满足，但还有一些一定需要采用流式计算等实时处理能力才能支持。
数据库与流式处理的有机融合
流数据处理模式与传统数据库的内核设计有着极大的区别。其核心本质在于，传统数据库架构设计中，应用与数据库之间是“请求-响应“的关系，即业务发起sql请求，数据库随即执行请求并返回结果。
而流处理内核则是“订阅-推送“的模式。通过预先定义好的数据处理模型，对数据承载的业务“事件”进行处理，之后将处理后的结果推送给下游应用进行展现或入库。
图：antdb数据库流式处理引擎的基础架构。
因此在流式数据实时处理领域，亚信科技antdb数据库做了大量从零开始的创新性探索与研究，于2023年底推出antdb-s流处理数据库引擎，彻底将流式计算与传统交易、分析型数据存储进行了融合，让用户可以在数据库引擎内，通过标准sql自由定义数据的结构以及实时处理逻辑。
同时数据在数据库内部的流对象、表对象之间自由流转的过程中，用户可以随时通过建立索引、流表关联、触发器、物化视图等方式对数据进行性能优化、数据加工、集群监控、以及业务逻辑定制。
功能优势。
技术堆栈简化：在实时流事件的处理上，antdb数据库流式处理一体引擎将大量的实时数据处理做到数仓内部，更进一步向通用事务靠拢。
标准sql定义：传统流处理方式对于sql的处理很弱，还要写大量业务**，而antdb-s可以通过统一sql语句进行处理，在流的使用上更便捷。
统一数据接口：支持流批模式的转换，antdb数据库统一超融架构，实现了对外的接口统一，数据的采集与处理无需分开，流批都用sql即可全部搞定。
支持完整事务处理：传统流处理过程中不支持数据的修改，antdb-s支持流处理中对数据的修改和事务操作。
实时结果更准确：通过分布式事务的acid特性，解决实时流数据处理中，数据容灾和一致性的问题，可以精确判断数据故障点，完成流事件的矫正计算和重统计。
关于antdb数据库
antdb数据库始于2023年，在运营商的核心系统上，为全国24个省份的10亿多用户提供**服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔通信核心交易，保障系统持续稳定运行近十年，并在通信、金融、交通、能源、物联网等行业成功商用落地。
刘诗诗时尚与实力的完美融合！
近期，刘诗诗成为了娱乐圈的焦点人物。在短短一天内，她竟然穿足六套高级定制礼服，展现出她独特的时尚品味和迷人魅力。作为花第一个在年内登上五大杂志封面的女明星，她每一次代言都能引起轰动，而且在影视领域的表现也是高居榜首，让人不得不为她的实力和影响力点赞。刘诗诗的时尚表现力不仅让人惊艳，更展现了她对工作的...
牧光云链采用数实融合打造分布式光伏电站建设新生态
随着全球化石能源的枯竭和环境污染问题的日益严重，太阳能光伏发电技术作为一种清洁 可再生的能源，越来越受到人们的关注和重视。光伏技术能够有效减少碳排放，降低对化石能源的依赖，从而对环境和气候产生积极影响。根据我国 年前碳达峰行动方案 和 十四五 可再生能源发展规划 国家将完善分布式光伏发电市场体系，推...
数实融合 沉浸式旅游重塑文旅消费新场景
随着元宇宙技术的飞速发展，一个崭新的数字时代正在拓展着文化 旅游和艺术领域的边界。临场感 和 沉浸式体验 正不断的与文旅行业碰撞出火花，不仅为旅游业带来了新的机遇，也为文化传承 艺术推广 跨界合作等提供了新的途径。近年来，文旅行业开始积极拥抱数字化技术，将数字技术赋能产品创新成为关键手段之一。文旅元...