数字孪生业务场景目前广泛应用于各行各业。实时在线的数字化场景能够真正反馈物理实体的运行，让现实世界的运行更高效、更安全、成本更低。
但面对复杂的数字孪生场景，开发者往往无从下手。 高效数字孪生协同生产平台在智慧社区、智慧交通、智慧园区、智慧景区、数字新基建等5大行业应用场景率先上线，帮助开发者快速上手数字孪生场景建设。
创建项目时，可选择对应的行业场景，降低平台上手门槛。通过修改应用场景的接入数据和基础模型层，构建满足实际需求的数字孪生场景。
基于快速数字孪生场景构建，从营销、设计、开发阶段协助开发者提供新思路，实现低成本的业务创新和商机拓展。
五大数字孪生行业应用场景，一键搞定
高效的数字孪生协同生产平台提供丰富的内置素材，包括2D数据面板和3D场景等200+组件，帮助开发者通过平台构建丰富的数字孪生场景，满足90%的行业业务需求。
1个
智慧社区
智慧社区以数字孪生城市建设为基础，为城市社区居民建立安全、便捷的数字生活社区，从而形成基于数字化、智能化的新型社区管理模式。通过高效的数字孪生协同生产平台，实现社区场景的快速构建，真实还原建筑分布、路线走向、商圈分布等信息。
平台高度适应社区场景管理，为决策者提供住户信息、状态统计、实时车辆、流动人口、疫情监管等多重面板设计，建立社区智能化应用系统，提升社区治理和数字化管理。
2个
智慧交通
基于大数据基础，可快速接入海量交通数据，构建多种数据面板，满足各交通部门管控需求，快速构建基于城市规划的全仿真场景。应用开发设计全过程可视化，只需在PPT样式中拖拽点击即可实现2D、3D城情联动设计。还可以快速响应交通部门的政策要求变化，完成页面重组，从而降低需求变化带来的开发成本。
利用数字看点平台开发智能交通数字孪生场景，可有效解决数字孪生技术门槛高、开发成本高等问题，快速实现智能交通应用，开发的场景具有极佳的可扩展性。
3个
智慧园区
数字看点平台打造的智慧园区解决方案，底层大数据平台融合物联网设备和园区实时数据智慧园区ppt，无缝连接园区3D场景，实现2D和3D场景动态联动，突破物理空间的局限性，将“数字孪生+AI+大数据”集成应用于园区生活、园区生产、人员管理、停车管理等场景，可实现前端同步大屏显示和后台数据变化。
具备可自主运维实现平台产品化的后台，用户可在现有平台上进行后续的智慧园区场景设计。相较于传统的“线上、固定”的数字孪生开发模式，让客户更多地参与，让自己满意。构建需求。
4个
智慧景区
由于植物种类繁多、环境多变、管理复杂、服务对象来源多等特点，园林在管理维护方面存在诸多问题。无论是新建园区，还是园区、景区、园林管理、生态绿化等需要智能化升级的单位，都需要通过智能化手段，提升整体管理效率，降低安全风险。
一个高效的数字孪生协同生产平台，可以结合物联网设备，将园林“本体”、外部环境等信息的实时状态真实地再现给数字“孪生”，实现智慧园林的诊断、处理和辅助。决策，支持持续优化升级。
5个
新的数字基础设施
当前，新型基础设施建设正在全国加快推进。当数字新基建遇上“数字孪生+无码”，能有效赋能智能+项目，从局部试点逐步扩大应用范围和场景，发挥实效。
以智能桥梁为例：基于无代码运行，快速构建智能桥梁高精度数字孪生模型。通过桥梁状态动态分析、气象信息状态、传感器状态、传感器数量统计、异常告警分析等组成模块，对桥梁整体健康状况进行评价，预测其未来发展状况，实现桥梁评价与预测，使管理者可以制定相应的预案决策方案。
基于数字孪生行业多年的最佳实践， 开发了强大易用的工具链，有效解耦了数字孪生行业的开发和交付工作流程，改变了数字孪生行业传统的串行开发和交付模式。数字孪生产业升级为平行产业。同步开发和交付模式，让数字孪生应用场景的构建更加高效灵活。
作者| 许可嘉（叶默）
本文是阿里云SLS的徐克佳在GIAC 2022全球互联网架构大会上分享的题目内容。
云原生场景下数据总线需求的场景与挑战
数据总线介绍
数据总线作为大数据架构下的流量枢纽，充当着不同大数据组件之间的数据桥梁。通过数据总线，可以实时访问服务器、K8s、APP、Web、IoT/移动端等产生的各种异构数据，并进行统一的数据管理，从而实现与下游系统的解耦；之后可以异步实现数据清洗、数据分发、实时计算、离线计算等计算过程，然后将结构化的数据传递给下游的分析和归档系统，从而达到构建清晰数据流的目的。从广义上讲，数据的采集与访问、传输链路、存储队列、消费计算、传递等都属于数据总线的范畴，
通过数据总线，可以轻松实现以下目标：
举个简单的例子，在计算型广告检索系统中，广告的点击数据非常重要。一条点对点的数据往往会被多方订阅和消费，应用场景也各不相同。有精确到秒级的实时计算服务，也有类似的小时级或天级的批处理任务。如果数据直连，需要考虑各种异常场景，会使系统异常复杂。通过数据总线，可以大大降低系统的复杂度，提高系统的可靠性。这样可以保证任何一个数据订阅系统，即使经历了离线维护或宕机，再次上线后，也能从之前的断点处继续处理数据。处理。
云原生场景的技术挑战
面对每天百亿级的读写，近百PB的数据流量，数以万计的用户，构建高可用的数据总线将是一个非常具有挑战性的任务。以下是一些场景的交通场景的简要列表：
经过几十年的快速发展，整个开发模式、系统架构、部署模式、基础设施都发生了数次颠覆性的变化，带来了更快的开发和部署效率。然而，整个系统和网络环境变得更加复杂，部署方式和运行环境变得更加动态和不确定，数据源的数量和数据量显着增加，流量波动等不确定因素变得更大。原有结构的难度和差异变大了。这些都是云原生时代给数据总线带来的新需求。
综上所述，云原生时代数据总线的技术挑战可以从采集访问层、管道层、计算层三个方面展开。采集接入层关注数据源接入的丰富性、接入的易用性、资源开销、数据采集的可靠性；管道层关注网络质量、带宽和水平扩展能力、安全和隔离、生态丰富度等；计算层侧重于计算语法能力、流量处理带宽和可扩展性。
开源方案的选择与比较
目前业界主流的大数据架构大致可以分为五部分，其中前三部分构成了数据总线。
用户可以使用上述采集端、消息队列、计算提供的开源组件搭建数据总线。虽然基于开源组件构建数据总线在技术上是可行的，但整体实现复杂度较高，需要维护多个系统进行协调。此外，也无法完全应对上述云原生场景所面临的技术挑战。例如，网络质量和区域规划是一个难以逾越的鸿沟。
数据总线的总体架构
可观察平台不仅要解决数据如何获取和查询的问题，还要提供针对特定业务场景的应用能力，帮助客户从碎片化、低信息化的数据中挖掘更大的数据价值。一个典型的云原生可观察平台可以从下到上分为四层：数据总线、存储分析、工具和应用。其中，数据总线是整个可观察平台的数据基础，为数据分析和上层业务应用提供数据保障。正因为数据总线足够基础，就必须足够可靠和稳定，才能保证企业数字化过程中数据的畅通，能够灵活应对流量变化的需求。下一个，
在本文的第一部分，我们介绍了一个典型的数据总线可以分为三层：采集访问层、流水线层和计算层。相应的SLS数据总线架构也可以类似划分。
以上，我们对SLS数据总线有了一个整体的了解，接下来我们将从数据接入、流量中心、数据处理三个维度进行详细介绍。
数据访问技术架构与实践
数据访问能力概述
作为数据总线的核心流量枢纽，默认提供HTTP/HTTPS协议的API编写能力。同时还提供多种语言的SDK，简化接入场景，增强可靠性。SDK涵盖Java、Go、C++等服务端应用，、IOS等移动场景，甚至前端场景。
自研开源可观察数据采集器，承载了服务器场景和容器场景的可观察数据采集能力，覆盖Linux操作系统和X86、ARM架构。借助阿里云的优势，无缝支持阿里云上各种主流云服务的日志、指标、安全审计数据的采集。
对常用协议也有丰富的支持，兼容Kafka、JDBC等开源协议；支持很多开源的采集工具，如 , , , 等等。
针对Java、Go等大数据、高并发场景，我们在SDK的基础上提供了Java[1]和Go[2]；对于物联网/嵌入式设备，我们推出了 C [3]。
与直接通过API或SDK发送数据相比，使用提供了更高层次的封装，性能和可靠性都有了很大的提升。
可观察数据收集器
是数据总线数据访问的重要流量来源。它具有轻量级、高性能和自动配置等许多生产级特性。可以部署在物理机、虚拟机等环境中，用于采集遥测数据。其核心定位是可观察数据采集器，帮助开发者构建统一的数据采集层，辅助可观察平台打造各种上层应用场景。可以很好的解决数据总线数据访问的问题。
得益于阿里巴巴/蚂蚁集团在公有云场景的不断完善，相比开源Agent（如Beats，Beats），在性能、资源消耗、可靠性、多租户隔离、K8s支持等硬指标上更加先进，可以满足各种业务场景下的严格要求。目前已于2022年6月29日全面开源，受到众多开发者关注，2022年11月7日Star数也突破1K。
获得高性能和低开销是核心优势之一。作为Linux下文件监控的主要手段，提供毫秒级延迟的数据发现能力。同时，为了兼顾不同的操作系统，支持各种特殊的采集场景，采用了轮询作为数据发现的方式。通过使用轮询和事件共存的混合方法，创建了一种兼具性能优势和健壮性的文件发现机制。另外，采用了无锁的事件处理模型。不同于业界其他开源代理为每个配置分配独立的线程/读取数据，只配置一个线程进行数据读取。由于数据读取的瓶颈不是计算而是磁盘，单个线程足以完成所有配置的事件处理和数据读取。使用单线程使得事件处理和数据读取在无锁环境下运行，数据结构更加轻量级，从而获得比多线程处理更好的性价比。
在生产环境中，一个服务有上百个采集配置是很正常的。每个配置的优先级、日志生成速度、处理方式、上传目的地址可能不同。因此，需要有效解决如何隔离各种自定义。，保证采集配置QoS不受某些配置异常的影响。采用基于时间片的采集调度、多级高低水位反馈队列、事件无阻塞处理、流量控制/停止策略、配置动态更新等多项关键技术，实现隔离、公平、可靠, 具有可控性和性价比五个特点的多租户隔离解决方案。
毫不夸张地说，数据源的多样性可以成为数据总线的生命线，否则巧妇难为无米之炊。通过插件化设计，突破单纯的文件采集范围，有效拓展上下游生态，成为真正的可观察采集器。目前已经支持多种数据源的接入。数据源的类型包括Log、Trace和数据源。数据源除了文件采集，还包括对标准协议的支持，如HTTP、Mysql、、、等；它还支持 eBPF 来实现 提供非侵入式网络数据收集能力。数据输出生态已从SLS逐步扩展到Kafka、gPRC等，未来将通过开源社区共建支持。
面对众多异构数据的访问，数据总线的职责之一就是通过数据处理构建统一的数据格式。它还提供了强大的数据处理能力，可以预先完成数据格式调节、数据过滤、上下文关联等。在整体设计中，通过Input插件采集的数据会通过采集配置中设置的设置进行处理，再由插件打包，最后通过插件发送到存储系统。数据处理环境包括数据切分、字段提取、过滤、数据增强等，所有插件均可自由组合。
随着云原生的落地，已经全面支持，目前支持两种主流的容器运行时。通过实时监控容器列表并维护容器与日志采集路径映射，结合高效的文件采集能力，提供极致的容器数据采集体验。支持通过容器标签、环境变量、K8s标签、Pod名称、命名空间等方式进行容器筛选，为用户提供便捷的采集源配置能力。支持 、 、 CRD 等多种部署方式，针对不同的使用场景提供灵活的部署能力。此外，针对对CICD的自动化部署和运维有更高要求的用户，还提供了K8s原生支持，它支持通过 CRD 进行收集和配置管理。在此解决方案中，K8s 添加了一个名为 . 同时，-log-用于监控事件，自动创建采集配置，完成日志采集工作。
交通中心技术架构与实践
作为SLS数据总线的流量中枢，是支持海量可观测数据实时访问和消费的高吞吐数据通道。在可观察数据场景，可以使用Kafka等消息队列产品，在性能、易用性和稳定性上都比较好。
可以理解为一个-only的日志队列结构，通过多个分片的组合实现IO和存储的水平扩展。并且在队列的基础上创建多层索引，可以快速定位每条数据在队列中的位置，赋予队列模型随机查询的能力。
/是SLS可观测数据的收集、存储和查询单元。作为/的队列模型，提供实时数据写入和流式消费的能力。同时在此基础上对模型进行扩展，构建统一的可观察分析引擎。
全球化支持与智能加速
它是阿里云上的基础设施。借助阿里云等全球部署，优先与阿里云保持同步。这也是其他开源数据总线无法比拟的优势。可以保证全球业务就近选择，也可以满足一些国家或组织数据不能出境的法律要求。
联合CDN推出全球自动上传加速解决方案，基于阿里云CDN硬件资源（覆盖2800+节点，70+国家），全球数据访问就近边缘节点，通过内部高速通道路由，大幅降低网络延迟和抖动。
弹性和顺序处理
在生产中，我们经常面临流量高峰和低值。我们也会遇到业务层映射不均衡导致某个分区（shard）流量非常大的场景。弹性伸缩（Merge/Split）就是为了解决这个问题。问题的机理。
分片原理
分片操作是流量扩展的重要手段。就是将一个shard拆分成两个shard；同时，原来的分片成为一个状态，上面的数据可以继续被消费和读取。
合并操作与拆分操作相反。它将相邻的两个分片合并为一个分片，同时原来的两个分片成为状态。
负载均衡：根据峰谷值弹性扩容，控制成本。
下图中，一开始只提供了服务；后来由于晚上流量高峰，单个分片不足以支撑业务流量，拆分成两个分片提供服务；当流量再次稳定后，出于成本考虑，又合并成一个新的提供服务。
日志保序处理：将不同实例映射到不同分区，调整分区处理能力。
对于某些业务场景，有订单保全的需求。在写入数据时，往往会使用Hash规则将不同业务的数据映射到固定的分片上。
在下图的业务场景中，三个DB的流量不堪重负。这时候可以通过分片来平衡流量。拆分后，原来的变成只读的，数据还能消费，但是不再接收新的数据写入，新拆分的要对外提供服务。
如何保持分片调整前后边界数据的顺序？提供顺序消费的能力，即一个shard被拆分后，先消费原来的shard数据（即数据），然后同时消费该shard拆分后的shard数据（Hash策略保证同一业务落在一个分片上）。同理，在分片合并场景中，先消费原分片数据，再消费原分片合并后的新分片数据。当然，对于不严格保证顺序的场景，为了提高消费率，可以关闭分片的顺序消费功能，让所有分片同时消费。
稳定建设
粗粒度流控：level
全局流量控制的主要目的是限制用户整体的资源使用，在前端拒绝请求，防止流量穿透后端炸毁整个集群。
细粒度流量控制：分片级别
Shard级流控更细化，语义（错误码）更清晰，可控性更强。
数据处理技术架构与实践
从上面的数据访问部分我们可以看出，数据总线作为流量枢纽，承载着各种异构数据的访问。虽然它具有强大的数据前处理能力，但由于历史原因或访问方式的差异，一些数据往往具有不同的数据格式。很难做到统一的格式规范，给后续分析带来很大的挑战。困难。因此，数据总线往往还需要一个数据处理环节，所以我们提供基于数据处理服务和时序SQL（SQL）的数据处理能力。
此外，为了更好的支持开源生态，还支持通过自定义消费或Flink流式消费的能力。
数据处理
数据处理服务可以有效解决大部分处理和编排场景：
总体结构
数据处理服务基于实时消费组实现从源头消费数据的负载均衡，源头的分片数决定了数据处理任务的并发数上限。数据处理调度器在启动新作业时，会自动创建并绑定到源的一个消费组，消费组中的多个消费者独立负责处理不同分片中的数据。随着数据量的增加，源端需要拆分更多的分片，同时数据处理操作可以扩展更多的消费者独立工作。
当作业需要关联外部资源时，每个消费者独立维护一份资源副本，实现高性能的关联计算。
弹性机构
除了日志数据量巨大之外，另一个特点是数据量呈周期性波动，波动的峰值非常高且窄。例如，对于一个直播平台来说，其每天90%的流量都来自于21:00-23:00之间的休闲时间，这导致这段时间的数据量是平时的几十倍。面对这样的极端场景，数据处理需要能够实现算力的弹性伸缩，以保证用户操作的高性能运行，同时最大限度地减少资源浪费。
基于消费者组和K8s的HPA机制，实现了任务调度中数据处理的弹性伸缩。在系统中，采用存储和计算分离的方式，实现数据处理和计算能力的自由扩展和收缩。你在用户端看到的是一个按量付费的面向服务的计算平台楼宇自控信息采集器原理，你不需要关心复杂的细节。
原生的 K8S HPA 内置仅支持 CPU 和内存两个指标，足以应对大多数数据密集型作业。但是，在数据处理中，一些客户会跨区域整理数据和传输数据。面对这种网络/IO敏感的场景，内置的HPA指标无法满足要求。因此，我们引入了更全面的HPA指标来支持各种业务场景下的运行需求。此外，我们将通过智能算法不断升级优化HPA指标，例如根据作业的历史运行特征，提前分配资源，进一步提高作业运行的稳定性。
云数据 (DPL)
数据处理服务基于语法设计用户端接口，并提供完善的内置数据处理功能，我们在这里称之为云数据（DPL）。借助DPL，可以用极少的代码完成非常复杂的数据处理逻辑。
下面是一个信息丰富的例子： 在一个http请求中，通过RDS维度表的关联，在原始数据中加入请求状态码（字段）的详细描述（字段）。
数据库
随着时间的推移积累的基于时间的数据（日志、指标）的数量是惊人的。以Nginx访问日志为例，每一次HTTP/HTTPS访问请求都会记录一条日志。假设每天产生1000万条数据，那么一年就是36亿条数据。长时间大量的数据存储，不仅会占用大量的存储空间，还会对数据的分析和处理造成很大的性能压力。
SQL可以对数据进行定时聚合分析处理（支持标准SQL、SLS查询和分析语句），按照调度规则周期性执行，并将运算结果写入目标数据库。与自建调用API方式相比，具有以下优势：
云服务数据分发技术应用实践
数据分发技术概述
云服务（如OSS、SLB等）往往由云厂商托管，用户无法直接登录服务器查看日志。数据分发技术是基于SLS数据总线技术的关键服务模块。在用户授权的前提下，可以实现将可观察的数据从云服务端传递到各个用户端的目的。其实现机制是云产品服务端通过预采集和清洗（处理）过程将日志存储在集中式数据中心（），然后通过配送服务。它具有以下优点：
云镜头架构
数据分发技术只是解决了可观察数据从云产品的服务端流向用户端的问题，但是要实现云上服务日志的收集，还是需要一些上层服务来维护，例如云资产所有权和多账户系统认证。为此，我们构建了多项基础服务，包括资产同步、自动收款服务、多账户系统等，统称为统一接入服务。之后，在统一接入服务的基础上，进一步为各个云产品提供统一的交互和功能组件，构建更高层次的APP能力——云镜头。
Cloud Lens基于SLS构建统一的云产品可观测性，提供阿里云产品的使用分析、性能监控、安全分析、数据保护、异常检测、访问分析等服务。从成本、性能、安全、数据保护、稳定性、访问分析六个纬度，为云产品运维提供辅助分析能力，有效降低云产品可观察性门槛。
动态数据发现和收集
收藏链接的自动排列是Cloud Lens的一大特色。一键式、自动化资产发现和自动化数据采集（对用户端）可以通过图形化的方式实现，实际上是依赖DSL代码来实现采集逻辑的编排。
未来方向的思考与展望
未来已来，SLS数据总线技术将继续在采集接入、流水线、计算三个层面发力，持续为可观测平台提供稳定可靠的数据基础。
附录：
SLS：构建统一的可观察性引擎
五年双十一：SLS数据管道的发展之路
数字 IT 基础 - 数据采集总线：
将Kafka替换为日志服务：
日志服务（原SLS）新功能发布（1）--支持保序写入和消费：
日志服务（原SLS）新功能发布（二）--自动伸缩（Merge/Split）：
[1]
[2]
[3]
