“新基建”赋能大数据中心演进及布局思考

2018年国家提出了新型基础设施建设(“新基建”)，并将其列入了2019年政府工作报告；2020年4月，中央明确“新基建”范围，包括5G建设、大数据中心、人工智能等七大领域，受到业界的普遍关注。尤其在新冠肺炎疫情期间，线上办公、远程会议、远程医疗需求再次爆发性涌现，业务上云迎来新的发展期。

在信息技术快速发展的背景下，数据中心作为各行各业的信息基础设施，为数字经济转型提供了重要支撑，也是未来云网融合发展的战略性基础资源，是决定移动、宽带用户体验的内容资源和云计算、大数据等新兴业务的基础承载设施，进而数据中心的规划布局将成为行业关注的重点。同时，资本市场也对“新基建”跃跃欲试，有助于数据中心实现规模建设。

国内数据中心的发展经历了由运营商主导的以通信机楼为主的分散、小规模化发展阶段，逐步向市场驱动的规模化、标准化、高密度、绿色节能方向发展。尽管国内数据中心发展有一定的基础，但数据中心整体布局仍然存在东部资源紧张、西部资源空闲等问题，如何在现有数据中心布局的基础上进一步优化结构、提升效益、精准投入，以应对未来新兴业务发展需求是大数据中心发展演进的关键环节。

大数据中心布局驱动力

5G与云计算、IoT、AI、边缘计算等新兴技术的互促发展，使大数据中心成为未来核心的信息基础设施载体可提供强有力和广泛的基础设施保障。算力、数据存储量以及PUE能效等问题都对数据中心布局提出了新的要求，超大型和大中型数据中心服务采用远端部署，降低成本，处理“冷温数据”和非时效性较高的业务；边缘计算数据中心采用分布式部署，满足超低时延、高实时性、高安全性、本地化等需求场景，这种两极分布将成为未来数据中心产业新形态。

5G、物联网、云计算等新兴技术将带动数据量爆炸式增长，引领数据中心需求猛增。根据思科预测，2025年全球数据流量将会从2016年的16ZB上升至163ZB，带动数据中心总体建设规模持续高速增长，并且集约化建设的大型数据中心比重将进一步增加。新兴技术催生数据量的爆炸式增长，数据中心大型化、园区化、集群化趋势明显。随着云计算技术的规模商用，大型云基础设施要求在相对集中的区域内部署多个大型数据中心园区，满足其超大规模计算和数据存储的需要。

海量的数据处理能力和能耗要求影响数据中心的总体布局。自2012年以来，业界规模的人工智能训练(如2012年的AlexNet、2014年的GoogleNet、2017年的AlphaZero等)使用的计算量成指数级增长，过去的六七年间计算量已经增长了30多万倍。因此，未来满足人工智能领域激增的计算需求，作为计算能力主要提供者的数据中心相关技术也面临新的挑战。AI服务器引入新的计算核心和架构以满足人工智能计算负载的需求，将直接关系到与之相匹配的供电、散热、功耗等关键技术。而随着政策对一线城市能耗限制逐渐严格，考虑到中西部地区电价远低于东部地区，使得大型和超大型数据中心需在更大地域范围内布局，以降低综合成本和能耗水平。

2020年国民经济和社会发展计划草案明确实施全国一体化大数据中心建设重大工程，布局10个左右区域级数据中心集群和智能计算中心；十三五规划明确了13个城市群，以及“京津冀协同”“长江经济带”“大数据综合试验区”等多项政策使得区域间的协同发展更加紧密，产业和资源随着人口而聚集，由都市圈引领城市群发展、城市群带动区域发展将是数据中心发展的新模式。

总之，政策引领、行业数字化转型发展以及信息技术的迭代演进将成为数据中心布局的核心驱动力。

大数据中心布局思考

整体布局架构

低时延、高带宽、高并发的业务需求驱使数据中心层次化布局。面向未来，依据服务区域用户分布、业务承接模型、建设运营成本等差异，打造层次化的数据中心布局架构，如图1所示。

大数据中心整体布局架构

国家级数据中心的定位及布局要求

国家级数据中心主要面向全国性经营业务、大型客户托管类业务，且主要为冷数据、离线计算分析以及其他对网络时延要求较低的业务；以建设超大型数据中心园区或集群为主，考虑到建设运营成本，园区优先选择政策利好、能源充足、土地成本低、自然气候适宜、自然冷源充沛、地质稳定的区域规划布局。

网络互联要求方面，国家级数据中心应具备建设骨干网节点的传输、光缆资源及安全可靠性要求，同时需具备多个直连骨干网链路，实现全国性业务的快速转接。国家级数据中心彼此间互为备份，进一步提升数据中心的安全可靠性。

区域级(省级)数据中心的定位及布局要求

区域级(省级)集中数据中心主要面向区域集中经营业务，以温数据为主；建设规模以大中型园区或集群为主，需统筹考虑国家及地方相关政策、市场业务驱动、网络能力、灾备等多种因素。

首先，受市场和业务驱动力因素的影响大，重点布局需求旺盛、发展潜力大或信息产业集群区的省级/市及周边。

其次，网络能力需考虑所服务区域内用户访问、业务时延、安全可靠性等要求。

在用户访问方面，要满足区域内用户业务访问需求，其数据中心出口主要与省内城域网出口、IDC汇聚、骨干网节点互联实现流量省内本地化转接，对于主要服务外省客户可实现IDC出口与省外骨干网节点直连；区域内数据中心间组建MESH网络。

在业务时延方面，为了保障区域间数据中心的时延，通过区域内各主要数据中心与骨干网直连，减少数据中心间跳数，保证不同区域间数据中心互访的网络时延要求。区域内数据中心考虑到云业务跨数据中心的调度、迁移、互访、同步等时延要求，采用数据中心间光缆直驱互联方式。

在安全可靠性方面，区域级数据中心的建设布局还需考虑可用性和容灾管理的需求，两地三中心、分布式多活将是未来区域数据中心布局与架构演进的方向。

最后，考虑到未来云计算业务将成为大数据中心的主要业务，区域内将部署多个大中型数据中心园区，以满足计算、存储的要求。如亚马逊区域级数据中心集群通常包含多个大型数据中心单体建筑组成，可满足数十万规模服务器部署需求。为了更好的匹配云计算业务的承载需求，区域数据中心布局应考虑云Region(以区域内的核心城市为中心布局云的地域)和AZ(Region内布局多个可用区)规划要求。

如图2所示，Region之间完全隔离，保证不同Region间程度的稳定性和容错性。可用区(AZ)为电力和网络互相独立的物理区域，同一AZ内实例之间的网络延时最小，AZ之间内网互通，故障隔离，不出现故障扩散，使得用户的业务持续在线服务。

云Region和AZ架构图

Region间考虑跨域备份，保证高速传输带宽系统容量超过10TB.AZ间可利用低延迟光纤网络互联，同时保证超大带宽互通能力，通常两点间容量超过20TB。对于多AZ间以及AZ内部既满足灾备建设与业务联系的要求，多个数据中心在建设上可以循序渐进地展开，又彼此保持一定的独立性，未来扩容升级可与现有架构保持良好兼容，同时多中心之间地位均等，并行地为业务访问提供服务，合理的布局能够实现对数据中心资源的充分合理利用。

边缘数据中心

超低时延的5G 、AI和工业物联网应用需要具备近端构建算力、本地化处理业务和可定制化等特定能力，促使云端数据处理能力下沉，海量轻量化边缘数据中心的需求涌现。边缘数据中心部署靠近信息源，具有属地化(地级市及以下)部署特点，分布极为广泛，满足属地用户需求，具有规模小、数量多、分散部署等特点。而运营商拥有大量的边缘机房，在边缘数据中心的部署中具有天然的优势。边缘数据中心更多面向5G、人工智能、物联网等新兴技术的落地部署，需保障用户业务体验的同时兼顾安全可靠性。因此数据中心布局既要尽可能地靠近用户端保障用户业务体验要求，又要满足边缘数据中心机房资源和配套、网络的安全可靠性要求，基于上述要求，边缘数据中心部署的业务匹配流程如图3所示。

边缘数据中心的业务匹配流程

考虑到用户的移动性，受限于边缘数据中心规模和可提供算力的限制，边缘之间、边缘与云数据中心之间的数据、业务迁移将更加频繁。而这对边缘数据中心与云数据中心间，以及边缘数据中心彼此之间的网络提出了更高的要求。为了更好地适应边缘业务需求，边缘数据中心与云数据中心间依靠现有城域网或骨干网的物理链路，借助SR、EVPN等技术实现边—云间的点到点业务转发路径；边缘数据中心彼此间依靠现有本地网光缆传输环，同样借助SR、EVPN、OTN等专线技术，以及行业主推的以算力为目标的快速转发策略，建立点到点、点到多点的业务转发路径。

用户端节点

用户端节点主要满足园区企业内、用户个性化场景等更加切近用户端的业务需求，业务规模通常较小，以单台或多台服务器为主，可部署于综合局站、基站、接入局所等多场景。用户端机房的配套设施、出局光缆的可用性和可靠性通常差异性较大，机房环境较差，宜采用定制化设备，如扩宽设备正常运行温度范围以适应周边环境要求，集成自备电池提升运行等手段，提升业务的可靠承接。

大数据中心的发展演进

当前国内数据中心相互分离，“烟囱”效应明显。在新一轮数据中心大发展中，需要在国家、区域、省市等多个层面统筹数据中心的共建共享，按照统一战略、统一方向、统一规划、统一标准等方式进行协同布局和建设，才能有效支撑新兴数字化业务的蓬勃发展，发挥信息基础设施基石的关键作用。

建设模式多样化、标准化和模块化是重要抓手

·建设模式的多样化

数据中心因其重资产属性，建设周期长，受市场因素影响大，存在一定的风险。传统的单一自投自建的数据中心建设模式，将随着“新基建”、公募REITs试点等支持政策的持续推出，逐步向多样化转变，如基金合作、股权、合作建设合作运营、租赁等模式，实现布局优化和资源高效利用。

·建设标准化、模块化

数据中心建设趋向标准化和规范化，包括数据中心选址、布局、结构、内部规划的建筑和环境层面，以及IT设备和供配电制冷层面的设备的选型、节能优化等相关的国家标准、行业标准、以及相关组织(如OCP、ODCC、GCC等)，都在大力推进数据中心建设的标准化和规范化。

同时针对不同的需求场景，建设方式也呈现多样化，如仓储式、集装箱、微模块等标准化的模块化，可以实现快速搭建组装，程度地降低基础设施对机房环境的耦合，提高数据中心的整体运营效率，实现快速部署、弹性扩展和绿色节能。

数据中心的绿色节能是关键举措

大数据中心本质是电力转换为算力，算力转换为IT服务，随着计算能力不断提升，数据中心节能也成为了行业关注的焦点，建设绿色、节能成为数据中心必然趋势。伴随着国家政策引导，IT设备的技术与效率的不断提高，制冷和供配电等基础设施技术的不断改进，相对于算力的快速增长，数据中心能耗增长呈现放缓的趋势，与2010年相比，2018年全球数据中心计算实例增加了550%，而同期耗电量仅增加了6%。然而未来3~4年数据中心计算实例翻倍，因此，数据中心节能将成为行业关注的重中之重，下面笔者将从IT设备和运营、制冷和供配电维度进行探讨数据中心的研究趋势。

·IT设备和运营的绿色节能

传统的计算能力遵循摩尔定律，单位芯片面积的计算能力在稳步提升；同样根据 OpenAI研究显示，从2012年以来，用于AI模型训练的计算能力每3.4个月将翻倍，这很大程度上降低了IT设备的单位计算实例能耗。另外借助AI和大数据技术，实现不同应用场景、不同站点、不同时间的协同节能，在保证正常性能的基础上，使节能效果化，实现能耗与性能的平衡。如谷歌采用AI技术，将数据中心服务器、供配电、冷却设备综合考虑，依据数据中心设备的运转状态与天气等因素，优化冷却设备的设定、服务器休眠等举措，使整体功耗达到最小，为行业应用推广提供了很好的借鉴。

·供电方式和制冷的主要节能方式

在数据中心能耗中，制冷和供电系统能耗仅次于IT设备；如PUE=1.5的数据中心，制冷和供电系统消耗约占整体能耗的40%左右。探索低能耗提升效率，优化制冷和配电系统成为业界研究的重点。如在设备供电方面，高压直流(HVDC)供电相比交流的UPS减少了整流逆变环节，其工作效率有较大程度的提升，但却面临现有存量改造规模大、成本高等问题，亟待解决。

随着设备功耗的逐步提升，传统的风冷面临着效率低、难于满足需求的问题；借助自然冷却技术存在依赖周边环境，难于广泛推广；浸没式液冷技术将IT设备浸没在绝缘冷却液中，借助冷却液吸收IT设备产生的热量，具有静音效果好、机柜放置设备密度高、占地空间小的优点，可以很大程度上节省TCO成本。

在国家“新基建”战略引导以及5G、云计算、AI、大数据等新兴技术的驱动下，大数据中心将迎来新一轮的发展，并随信息技术发展而不断演进。如何在现有数据中心布局的基础上进一步优化结构、提升效益、精准投入，以达到战略性信息基础资源储备的需要，是整个行业关注的重点。本文探讨了大数据中心背后的业务驱动力，并对数据中心布局的关键因素、面向云业务场景的数据中心布局思路进行了梳理和思考，提出了面向未来数据中心发展演进的趋势和方向，为后续数据中心行业的规划建设和发展提供参考依据。相信在国家战略及相应政策的支持下，伴随着数字化技术的快速发展，大数据中心将向着更加理性、智能、绿色、节能的方向规模发展。