OceanStor大数据存算分离方案助力联通集团加速数字化转型

本篇文章2153字，读完约5分钟

经济日报-中国经济网8月3日讯近日，中国联通基于华为海洋存储太平洋系列的大数据平台正式上线，标志着中国联通和华为技术有限公司在大数据计算和存储分离架构的大规模技术创新上取得了全面突破。

数据中间站的建设对数据基础设施提出了新的挑战

据悉，中国联通已经建成了全球电信行业技术领先、规模领先的集中式综合大数据平台。目前，中国联通正在推进台湾数据战略，实现全球数据共享、跨来源、跨领域的整合与分析，快速释放数据价值。这也意味着数据中心的建设对数据基础设施提出了新的挑战。

我们第一次需要一个可以灵活调度的数据基础架构，它具有独立的计算和存储资源池、统一的存储基础和各种计算引擎，可以根据业务需求快速调度并支持快速业务创新；

其次，存储成本较低，在5g时代，运营商的数据量预计将增加5倍以上。在当前加速和降低费用的环境下，有必要更有效地利用存储资源，节省资本支出和运营支出投资；

此外，数据共享和数据内容变得越来越多样化。为了避免数据孤岛和支持bome四域数据融合分析，非结构化和结构化数据的统一存储已经成为数据基础设施的新标准；

最后，数据可靠性和数据分析可以支持企业改善用户体验和寻找新的业务机会，并从边缘业务转向核心系统。作为其基础设施，它需要能够同时容忍多节点故障，支持亚健康检测和故障快速修复，并有效延长维护周期。在保证系统高可用性的前提下，降低了海量数据的维护复杂度。

华为大数据存储与计算分离方案的五大创新

2019年3月，中国联通集团信息技术部数据中心与华为公司成立联合工作组，共同推进大数据系统集约化建设和本地化技术创新。

基于大数据存储和计算分离技术的运营支撑平台总体架构

华为大数据存储计算分离方案创新性地实现了存储层本地hdfs的语义，打破了大数据平台计算和存储紧密耦合的传统部署架构，不仅大大降低了大数据平台的建设成本，而且通过存储层的全分布式架构和协议集成互操作能力，提高了数据分析效率，完全满足了中国联通对大数据平台的期望和要求。据报道，华为的大数据存储和计算分离方案有五大创新。

首先，计算和存储根据需要进行分离和扩展

本机hdfs功能内置于存储层，存储从服务器的本地磁盘剥离，形成了一个完全独立的计算和存储解决方案，既满足了灵活的业务扩展需求，又避免了资源浪费，为统一的大数据分析平台奠定了技术基础。

其次，大比例的ec算法可以提高存储资源的利用率

在大数据存储与计算分离方案中，采用存储层成熟的ec技术代替hadoop的多副本，存储资源利用率提高到91.6%。在数据量相同的情况下，机柜数量减少了45%，这大大节省了操作和维护成本。

第三，全分布式命名节点，统一管理海量数据

采用存储层提供的全分布式命名节点架构，每个节点既是数据存储节点，又是元数据管理节点。单个命名空间可以支持数十亿个文件的存储，为大数据平台提供坚实的数据存储基础，并很好地支持集团的数据中间平台战略。

第四，本土hdf，新旧共存，保护投资

元数据网关是hdfs的纳米管理功能，内置于大数据存储层。通过对已部署在现有网络中的hdf进行纳米化管理，实现了应用层数据访问的统一录入，并支持先在存储层写入hdf、基于配置选择写入hdf、负载均衡写入hdf等多种写入策略，实现了无意识服务的平滑演进。

第五，企业级存储数据保护技术提高了可靠性

存储层采用多故障域技术，每个故障域允许4个节点同时发生故障，数百个存储节点集群可以容忍12个节点同时发生故障，大大延长了维护周期。当硬盘或节点出现故障时，存储层提供比传统hadoop快得多的数据重建速度，并将修复时间从数天减少到数小时，进一步增强了数据层的可靠性。

由于是新技术，中国联通和华为制定了非常全面的测试计划，搭建了存储与计算一体化和存储与计算分离两种测试环境。利用现有网络不敏感的真实业务数据，从功能、性能、可靠性和可扩展性等多个维度论证了该方案的可行性和价值。经过几个月的联合测试，测试结果得到了中国联通集团信息技术部数据中心的认可，最终促成了中国联通大规模采购华为海洋存储太平洋系列。

目前，基于存储与计算分离技术的运营支撑平台已经正式上线，承载了15pb的互联网分析、物联网、日志等系统数据，实现了联通省级公司2/3/4/5gxdr、网络信令、互联网日志、物联网等数据的访问分析，日导入数据超过70tb。

同时，存款与结算分离的方案给中国联通带来了巨大的价值。例如，它可以大大降低采购和运营维护成本，提高运营效率和可靠性。据报道，项目投产后，分析效率将提高20%，每年将带来1000多万的收入增长。此外，通过多故障域、快速重新配置和亚健康检测等技术，存储层的可靠性将提高30倍以上。

展望未来，华为将继续为中国联通的数据基础设施创新注入动力，结合华为海洋公司存储太平洋系列多协议集成和开放数据分析生态的能力，实现bom多域数据融合，突破生产系统和分析系统之间的壁垒，构建统一的数据存储基础，降低数据存储成本，加快数据流动；在无状态计算的基础上，引入了更加多样化的计算引擎，如bi、深度学习、图形计算、时间空分析等。，以快速创新和支持应用系统的快速创新。通过不断创新，我们将共同构建一个能够被很好地保存、流动和管理的数据基础设施，并释放海量数据的价值。