“为了帮助用户构建优秀的智能计算基础设施，浪潮与英特尔在软硬件方面进行了广泛的合作。大数据分析与AI模型训练和推理计算的深度融合，也支持用户实现对IT基础资源的统一管理，从而进一步提升资源利用率和应用开发效率。我们将通过该解决方案帮助更多客户构建高效、敏捷的大数据分析与人工智能集成平台，推动数字化转型进程。”
魏建
浪潮信息解决方案与测试部总经理
总结
在数据爆炸式增长的今天，能否从海量数据中挖掘价值，构建智能应用成为影响组织竞争力的重要因素。在此背景下，越来越多的组织开始构建大数据和人工智能（AI）平台，不仅增强了海量数据的处理能力，也使得深度学习等创新技术的应用能够实现更高效、更高效的应用。准确的数据洞察力，推动数字化转型战略的成功实施。但与此同时，大数据和人工智能平台的建设也带来了算力优化、软硬件融合、资源管理和运维等复杂挑战。数字技术创新的巨大潜力。
为了帮助组织更有效地利用大数据和人工智能进行数字化转型，浪潮集团（以下简称“浪潮”）推出了基于英特尔®架构的大数据和智能计算一体化解决方案。该一体机基于浪潮SRDC集成平台，采用第三代英特尔®至强®可扩展处理器、英特尔®傲腾™持久内存（PMem）、英特尔®以太网适配器等高性能硬件，集成部署浪潮大数据平台、英特尔® BigDL [1]（Zoo）、智能存储管理（Smart，SSM）、优化分析包（OAP）等软件系统，旨在通过集成形成软硬件的紧密耦合软硬件一体化 构建计算、存储、网络、AI应用紧密结合的高性能大数据平台。
浪潮大数据-智能计算一体化解决方案帮助用户重构大数据、AI系统和传统IT系统的集成部署架构，提供一套高性能、高可靠性、高扩展性、和易于部署的大数据 AI 融合集成计算平台降低了 IT 基础架构的总拥有成本 (TCO)。
背景：大数据和人工智能应用在基础设施层面带来巨大挑战
目前，利用大数据技术和人工智能技术来激活数据元素的潜力已经成为工业数字化转型的方向。据 IDC 统计，到 2025 年，全球数据将达到 175 ZB[2]，年复合增长率为 26%[3]。如何提升大数据和人工智能系统的性能和效率，帮助客户高效处理海量不断增长的数据，满足客户对高性能、高可靠性、高扩展性、易管理性、兼容性等的需求。和应用系统智能化已经成为 IT 基础设施制造商面临的重要挑战。
在此背景下，组织开始普遍构建大数据和人工智能平台，提供文件存储、数据管理、硬件资源调度和高性能计算能力，以满足深度学习模型训练、深度学习推理、和数据分析。对计算、存储、网络等基础资源的应用需求。特别是在新基建行动计划实施和东西方计算等国家重大战略项目实施的推动下，建设大数据和人工智能平台已成为众多组织实施数字化转型战略的重要计划。
然而，在传统的 IT 基础设施建设中，大数据和 AI 平台往往是分开部署在不同的服务器集群中。 AI平台提供AI模型训练资源，大数据平台提供数据存储、数据管理、数据分析资源。这种施工方式在结构上比较清晰，有利于分阶段部署。然而，随着组织数字化转型战略的深入，其面临以下挑战：
▪ 如何实现基础资源统一管理，数据全共享：大数据和人工智能平台分散部署，通常会导致两个平台基础资源无法统一管理，导致资源利用率不足。此外，由于大数据和AI平台中的数据存储在不同的系统中，数据共享不易实现，影响数据价值的充分发挥。
▪ 如何实现便捷的产品落地：面对大数据平台组件、AI平台、服务器和网络配置的多样性，如何快速敏捷地交付大数据和人工智能，加速业务应用的快速上线，以及改善客户业务 对提高效率、增强客户竞争优势具有重要意义。但是，传统IT基础设施的实施涉及到硬件准备、网络配置、资源规划、软件部署验证等问题，需要较长的交付时间。
▪ 如何控制基础设施的TCO：大数据和人工智能系统的建设涉及到软硬件的系统设计、集成、安装、部署、调试和运维，以及大数据的调试和优化。数据和人工智能软件系统。这将带来巨大的资金和人力成本，并给IT基础设施和业务应用的运行带来未知风险。
▪ 如何实现数据存储自动化管理：由于数据量的快速增长，大数据平台面临着存储数据量大、数据增量高、数据类型混杂等问题。这就需要大数据平台提供强大的数据管理功能。 ，可实现数据生命周期冷、暖、热的自动分级管理，根据数据冷、暖、热的分类将数据迁移到相应类型的存储设备，如冷数据迁移到物理磁带库，暖数据迁移到高性能机械硬盘，热数据存储在SSD或持久内存中。
如何化解上述挑战，构建人工智能与大数据的深度融合平台，实现人工智能与大数据的资源和数据共享，成为当前面临的重大挑战。
解决方案：基于英特尔® 架构的浪潮大数据·智能计算一体化解决方案
浪潮新一代大数据与智能计算一体机解决方案，基于浪潮大数据平台，集成大数据和人工智能组件，通过SRDC集成平台实现工厂安装部署，旨在构建端到端人工智能深度学习管理系统为用户建立大数据分析和人工智能模型训练推理的深度融合平台，实现智能计算的集成部署和交付，降低用户大数据和人工智能平台的TCO .
图片1.浪潮新一代大数据·智能计算解决方案架构
一体机根据硬件特性对软件进行了深度优化，可大幅提升大数据业务场景的处理性能。提升系统稳定性，实现极致性能和一站式交付部署能力。此外，还可针对不同场景进行定制，为客户提供最具性价比的解决方案。
浪潮新一代大数据和智能计算机推荐使用第三代英特尔® 至强® 可扩展处理器、第二代英特尔® 傲腾™ 持久内存、英特尔® 傲腾™ 固态硬盘、英特尔® 以太网络和其他产品，可以提供高性能、高扩展性的基础资源支持。
▪ 第三代英特尔® 至强® 可扩展处理器：针对云、企业、HPC、网络、安全和物联网工作负载进行了优化，提供 8-40 个强大的内核以及广泛的频率、功能和电源选项；还集成了工作负载加速功能，包括英特尔® 深度学习加速技术、英特尔® 高级矢量扩展 512 技术和英特尔® 技术。第三代英特尔® 至强® 可扩展处理器基于平衡、高效的架构，可提高核心性能、内存和 I/O 带宽，从而加快处理从数据中心到边缘的工作负载。
▪ 第二代英特尔® 傲腾™ 持久内存：英特尔® 傲腾™ 持久内存 200 系列是英特尔的下一代内存模块，既支持安全功能，又可靠耐用。它提供高容量和本机持久性，有助于从更大的数据集中提取更多价值，同时还通过更快地访问更靠近 CPU 的更多数据来提高敏捷性。与第一代产品相比，第二代英特尔傲腾持久内存将内存带宽平均提高了 32% [4]。
▪ 英特尔® 以太网适配器 E810-DA2：具有 100/25GbE 性能，支持单端口或双端口连接，在 PCIe 4.0 x16 插槽中提供出色的性能，并支持应用设备队列 (ADQ)、动态设备个性化 (DDP)、RDMA iWARP 等高级功能可有效满足各种工作负载对带宽和延迟的严格要求。
浪潮新一代大数据智能计算一体机搭载浪潮云海大数据平台，具备智能数据分析挖掘、多数据源协同计算、大规模集群一键部署、异构平台混合部署和精细化资源管理等领先技术特性。平台提供“一键式”安装部署功能，让大数据和智能计算机达到“开箱即用”的水平，帮助用户加快应用系统上线时间，降低应用复杂度系统管理员的日常运维管理。
图2.浪潮云海大数据平台技术架构
浪潮和英特尔针对大数据和 AI 工作负载实施了广泛的优化
基于浪潮云海大数据平台和英特尔新一代软硬件产品和技术，浪潮与英特尔专注于智能存储管理、端到端智能计算统一管道的构建、优化大规模数据处理性能。进行了深入合作。
▪ 利用英特尔® SSM 释放智能存储管理的潜力
浪潮新一代大数据和智能计算一体机搭载英特尔® 智能存储管理组件（Smart，SSM），为用户提供存储优化和数据管理解决方案。 SSM 是由英特尔在生态系统中发起和维护的系统级存储管理方法。 SSM处于上层应用（数据引擎、流计算等）和存储系统（HDFS、AWS S3等）之间的中间层，上层应用通过SSM和存储系统实现数据访问。它提供对异构存储硬件的支持，例如 HDFS 可以通过 SSM 充分利用英特尔® 傲腾™ SSD 和英特尔® 傲腾™ 持久内存来实现动态优化的数据存储。此外，SSM还提供远程存储和HDFS本地备份的统一管理。
图3.SSM在大数据生态系统中的定位
在数据管理方面，SSM与浪潮云海大数据平台无缝结合，平台存储更强大。分布式存储的智能管理，不仅可以消除外部触发，完成数据管理，还可以进一步细化管理粒度。实现了一次规则定制即可完成数据全生命周期管理的高效解决方案。同时，浪潮云海大数据平台也为SSM提供了更大的舞台，支持根据客户需求优化SSM服务管理和运维能力，提高SSM的易用性和安全性，从而更好地释放智能存储管理的潜力。
▪ 集成BigDL，构建端到端的智能计算统一管道
浪潮新一代大数据与智能计算一体机为用户提供统一的端到端智能计算管道，可集成计算引擎、存储服务、数据服务、数据工作台、管理平台、构建端到端的大数据分析和深度学习应用管道，进而构建统一的大数据分析和人工智能平台，利用 Spark 中的各种框架模型简化和加速 AI 解决方案的开发。
为了简化端到端大数据分析和人工智能的集成开发和部署，浪潮新一代大数据与智能计算一体机集成了智能计算组件BigDL（Zoo），旨在集成整合大数据预处理、模型训练、模型推理和现有大数据处理工作流，构建端到端的大数据分析和深度学习应用管道，进而构建统一的大数据分析和人工智能平台。框架模型简化并加速了人工智能应用系统的开发。
图4.端到端大数据分析与AI融合开发架构
▪ 集成英特尔® OAP 以优化大规模数据处理的性能
为了提高 Spark 缓存、执行和机器学习性能，浪潮新一代大数据和智能计算机在 . OAP 是由英特尔和社区开发的开源项目，包括以下组件：OAP 数据源缓存、SQL 引擎、箭头数据源、OAP MLlib、RDD 缓存、RPMem 扩展和远程，旨在利用领先的英特尔® 处理器，内存利用数据源缓存、SQL索引、SQL引擎、MLlib优化等创新软件特性提升Spark性能，解决Spark核心及相关组件面临的计算和I/O挑战。
图5.英特尔® 优化分析包架构
浪潮云海大数据平台集成了基于英特尔® 傲腾™ 持久内存深度优化的Spark。与DRAM内存相比，英特尔®傲腾™持久内存在单位容量成本方面具有突出优势，帮助浪潮显着提升大数据平台的经济性。同时，优化后的 Spark 相比开源版本有效提升了性能。测试数据表明，Spark离线计算在大数据场景下，IO密集型和内存密集型任务的性能较传统方案提升2-5倍[5]。
同时，大数据平台对MPP、HBase、Redis、.、Nifi等组件进行了深度优化，使其在英特尔®傲腾™持久内存和英特尔® SSD上的性能得到了大幅提升，在帮助用户提升业务系统性能和用户体验的同时。例如，在 HBase 大数据量和高并发查询的场景下，英特尔® 傲腾™ 持久内存全缓存相比部分内存缓存可以提高 100% 以上的查询吞吐量 [6]。
浪潮新一代大数据智能计算机可以在浪潮的集成机架平台（Smart Rack Data，SRDC）上进行优化配置和交付。 SRDC专为智能数据中心设计，为用户提供服务器、交换机、PDU等一体化IT设备，以及配电单元、UPS、电池组、动态环境监控和基础资源监控（ISPIM）等配套硬件设备和软件。橱柜平台。 SRDC以整机柜为最小产品粒度，在厂内集成业务所需的机柜内设备，并根据用户需求集成预装的应用软件IBMS集成平台是什么，可实现IT设备的快速部署和快速启动业务。
好处：帮助用户构建大数据和人工智能的统一平台
通过部署浪潮新一代大数据-智能计算机，用户可以构建大数据和AI统一平台，有效解决大数据和AI平台的资源和数据无法统一管理的问题，并提高计算、存储、网络等资源的利用率，同时在软硬件配置、性能优化等方面节省时间和成本。它可以为用户带来的好处包括：
▪ 加速大数据和人工智能工作负载的卓越性能
浪潮新一代大数据智能计算机实现软硬件深度融合，可充分发挥第三代英特尔®至强®可扩展处理器和第二代英特尔®傲腾™的优势持久内存等产品。它同时支持端到端的数字智能和多AI框架，并集成了BigDL（Zoo）和Spark等深度学习和大数据集群融合框架。百万级IOPS和微秒级时延，全面提升端到端计算效率，提升平台在大数据和AI工作负载中的性能，大幅降低模型训练和数据分析时延。
▪ 提高 IT 基础架构交付效率
浪潮新一代大数据与智能计算一体机实现开箱即用，支持快速交付部署，通过软硬件深度适配、优化、预安装、预测试和预集成。 SRDC一体化机柜平台支持根据用户需求定制，实现服务器、PDU、网络等设备的工厂化集成，提升IT基础设施交付效率。
▪ 实现软硬件全生命周期管理
浪潮新一代大数据与智能计算一体机构建了软硬件一体化监控平台，可实现一站式、可视化运维管理，管理集群软硬件资源，实现全生命周期管理的硬件和软件。这有助于进一步提高资源利用率，简化运维。
▪ 确保数据安全
浪潮新一代大数据智能计算机具有出色的可靠性和可用性。全冗余硬件架构彻底杜绝单点故障，成熟可靠的多副本技术实现数据级冗余，保障数据安全可靠。
行业实践
目前，浪潮新一代大数据与智能计算机已在行业广泛应用，帮助行业用户构建卓越的智能计算基础设施。以交通行业为例，基于浪潮新一代大数据和智能计算机的智能存储与人工智能一体化解决方案，将智能存储、智能缓存、智能计算相结合，为交通行业用户提供端到端的-端数字化、智能化一体化解决方案。 基于统一数据工作平台，实现智能交通数据接入、数据开发、数据查询、作业调度、数据可视化。
通过该方案，交通行业用户可以将大数据与深度学习高效结合，在大数据集群上无缝运行AI+大数据等业务应用，构建端到端平台能力，实现数据智能融合与智能交通融合分析，为道路车辆行驶分析、区域交通分析、违规行为分析、区域测速分析等综合场景的实施提供完整的行业示范。
图6.浪潮新一代大数据智能计算机在交通行业的应用
展望：人工智能与大数据深度融合，助力数字化转型
基于Intel®架构的浪潮大数据与智能计算一体机解决方案融合了浪潮自主创新的智能计算基础设施和浪潮云海大数据平台，充分利用第三代Intel® Xeon®可扩展的处理器和第二代英特尔® 傲腾™ 持久内存等硬件，以及英特尔® SSM、英特尔® BigDL、英特尔® OAP 等软件技术，为客户提供基于全栈大数据和人工智能的解决方案在英特尔® 架构上，不仅可以加快大数据分析和 AI 的部署，降低开发门槛，还有助于提高模型规模和模型训练速度，降低 TCO。
未来，双方计划就未来智能计算基础设施的异构参考架构进一步广泛合作。以及各种数据库、人工智能平台和开发工具，我们构建优化的端到端全栈大数据和人工智能解决方案，帮助用户更快地处理大规模数据，加速大数据和人工智能的开发和应用。
关于浪潮
浪潮集团是中国领先的云计算和大数据服务提供商。旗下拥有浪潮信息、浪潮软件、浪潮国际3家上市公司。主营业务涉及云计算、大数据、工业互联网、下一代通信等多个应用场景。已向全球120多个国家和地区提供IT产品和服务。浪潮是中国最早的IT品牌之一。一直秉承创新的理念。在中国信息产业发展的重要历史阶段，浪潮通过提供领先的技术和提升竞争力，全面服务经济社会，成为新一代信息技术的引领者。数字化转型与高质量发展。
关于英特尔
英特尔作为行业领导者，创造改变世界、推动全球进步和丰富生活的技术。受摩尔定律的启发，我们继续推进半导体设计和制造，以帮助我们的客户应对最重要的挑战。通过将智能整合到各种云、网络、边缘和计算设备中，我们释放了数据的潜力，使商业和社会变得更美好。有关英特尔创新的更多信息，请访问英特尔中国新闻中心和官网。
实际性能因使用情况、配置和其他因素而异。有关详细信息，请参阅。
性能测试结果基于配置信息中显示的日期，可能无法反映所有公开可用的安全更新。有关详细信息，请参阅配置披露。没有任何产品或组件是完全安全的。
确切的成本和结果可能会有所不同。
英特尔技术可能需要启用硬件、软件或激活服务。
英特尔不承担所有明示和暗示的保证，包括但不限于对适销性、特定用途的适用性和不侵权的暗示保证，以及在性能、交易过程中产生的任何保证，或贸易实践。
英特尔不控制或审核第三方数据。请查看此内容，咨询其他来源，并确认提及的数据准确无误。
©英特尔公司。版权所有。英特尔、英特尔徽标和其他英特尔商标是英特尔公司或其子公司在美国和/或其他国家/地区的商标。其他名称和品牌可能是其他所有者的财产。
[1] BigDL 2.0 合并 BigDL 和 Zoo
[2] 国际数据中心。 “从边缘到核心的世界。”经过 。 2018. /files/www-/our-story//files/idc---.pdf.
[3]IBM。 “3D NAND - 到。” 2015 闪。 2014.
////2015/.pdf.
[4] 基于英特尔在 2020 年 4 月 27 日（基线）和 2021 年 3 月 23 日（新）的测试。请参阅工作负载/配置信息。结果可能会有所不同。
基准配置：Neon City 上的 1 个节点、1 个 Intel Xeon 8280L 处理器（28 核，2.7 GHz），带有单个 Intel PMem 模块配置（6 个 32 GB DRAM；1 x {128 GB， 256 GB，512 GB} Intel PMem 模块），ucode 版本：，运行 29 个内核5.1.18-200.fc29. 和 Intel®（Intel MLC） 3. 版本 8，处于应用模式。
新配置：City 上的 1 个节点、1 个预构建的 Intel Xeon ICX-XCC 处理器（38 核，2.0 GHz），采用单个 Intel PMem 模块配置（8 个 32 GB DRAM；1 x { 128 GB、256 GB、512 GB} Intel PMem 模块），ucode 版本：，运行 RHEL 8.1 内核4.18.0-14 7.el8.，英特尔 MLC 3. 版本 9，使用 App 模式。
[5] 2021 年 6 月 25 日浪潮测试数据。测试配置： 和大数据集群 - 2* Intel® Xeon® Gold 6240 处理器@2.60GHz，18 核； 12*32G DDR4 RDIMM； 12*8T硬盘； 8*256 GB 英特尔® 傲腾™ 持久内存； 2* 双口 10 千兆网卡，2* 双口千兆网卡。
[6] 2021 年 2 月 22 日浪潮测试数据。测试配置：和大数据集群 - 2* Intel® Xeon® Gold 6240 处理器@2.60GHz，18 核； 6*32G DDR4 2666 MHz RDIMM； 12*8T硬盘； 4*512 GB 英特尔® 傲腾™ 持久内存； 2* 双口 10 千兆网卡，2* 双口千兆网卡。
