- · 《能源与节能 》栏目设置[06/29]
- · 《能源与节能 》投稿方式[06/29]
- · 《能源与节能 》征稿要求[06/29]
- · 《能源与节能 》刊物宗旨[06/29]
东方金信海盒MPP数据库,助力大型能源央企超大
作者:网站采编关键词:
摘要:项目背景:超大规模数据库迁移带来性能、可用性等挑战 为提升数据中心服务化能力,推动大数据技术与业务的深度融合,进一步释放数据价值,该大型能源央企根据《数据中心云化建
为提升数据中心服务化能力,推动大数据技术与业务的深度融合,进一步释放数据价值,该大型能源央企根据《数据中心云化建设工作指引》要求,启动了数据中心云化建设项目。同时,公司致力于逐步将公司企业级与专业级战略运营管控应用、各分子公司个性化运营管控应用集中至总部数据中心,以满足公司向智能电网运营商、能源产业价值链整合商、能源生态系统服务商转型的总体战略要求。
为了保障该项目的成功实施,该企业设计了《云数一体分布式数据中心技术方案》,数据中心是企业数字化转型的基础数据底座,与企业云共同组成 “云数一体”的弹性架构。方案中,采用分布式MPP(大规模并行处理)数据库承担数据湖及核心数据仓库建设。该企业之前部署的MPP数据库并非针对大规模业务环境所设计,存在无法实时接入kafka数据,无法与Hadoop、Hive、Hbase等大数据组件实现数据交互等问题,导致有数据交互的应用场景实现困难。同时,该数据库缺乏原厂技术支持以及租户资源隔离机制,存在一定的运维风险。因此,数据库替换变得迫在眉睫。
通过对多个同类产品的POC场景测试、产品成熟度分析等比较,该企业最终选用北京东方金信科技股份有限公司海盒MPP数据库(简称:SeaboxMPP)产品作为数据底座核心存储计算组件。
图1. 解决方案架构
海盒MPP数据库是一款运行在通用架构或云平台上,具备强大分析能力的分析型(OLAP)集群数据库软件,可提供 MPP 并行计算、支持按行/列存储数据库、数据库内压缩、高性能向量计算引擎、在线扩容、多级容错等功能,能够带来高性能计算、高可用性、多租户隔离、高集成性、强安全性、统一运维等优势。
图2. 海盒MPP数据库技术架构
海盒 MPP 数据库作为该公司大数据平台的重要组成节点,能够保障数据仓库/集市的高效运行。同时,海盒MPP数据库与大数据平台其它组件如Hadoop、Hive、HBase的联邦能力,保证了对上层运营管控、决策分析等服务类应用的充分支撑。
在性能层面,海盒 MPP 数据库提供了“节点间并行 + 节点内并行”机制,可执行向量计算引擎,具备超强的计算能力。海盒 MPP 数据库在列存场景下,聚集类运算获得了量级的性能提升。在东方金信开展的TPC-H测试中,海盒 MPP 数据库相较于对比的开源数据库,获得3~5倍的领先优势。
图3. TPC-H测试结果对比
在东方金信 MPP 解决方案的助力下,该大型能源央企成功将各级运营管控应用迁移到数据中心中,并实现了流畅稳定的运行。具体而言,该解决方案提供了如下价值:
●高并发支持应用流畅运行:由于东方金信海盒MPP数据库的向量计算引擎等技术,以及第二代英特尔至强可扩展处理器的强劲性能,可以在月末、年末等业务高峰期的高并发环境下,依然保证各级运营管控应用的流畅运行。
●消除数据中心云化障碍:东方金信海盒 MPP数据库提供了云原生支持,使数据中心的云化建设彻底消除技术障碍,整个升级过程十分顺利。
●确保面向未来的敏捷扩容:东方金信海盒 MPP 数据库线性扩展的能力使其能够根据业务发展需求,对于系统性能进行敏捷扩展。
●提升数据安全防护能力:该数据库支持透明数据加密,支持开发人员使用 AES 和加密算法来加密数据,同时可以与大数据组件安全认证;
●支持统一的运维管理:东方金信海盒 MPP 数据库可提供统一的可视化监控,以及统一的告警策略和对外告警发布,以保证数据库的稳定、可持续运营,降低运维压力。
展望:为超大规模业务构建数据处理能力基座在数字化创新的推动下,能源、金融、运营商等行业用户的业务与数据正在快速转移到云端,云数据中心普遍往大规模乃至超大规模方向发展,并且扩张速度有加快的趋势,这有助于发挥资源统一管理、统一交付、统一调度、统一运维等方面的优势,也有助于更好地对成本进行敏捷控制。但同时,超大规模的云业务也会在数据库等层面带来性能、管理、扩展性等方面的挑战。
文章来源:《能源与节能》 网址: http://www.nyyjnzz.cn/zonghexinwen/2021/0611/1706.html
上一篇:我国能源发展成就综述:迈向清洁低碳!
下一篇:依威能源完成超3.5亿元D轮融资