东数西算
2022.2.17
一石激起千层浪,2022年2月17日,国家发改委、中央网信办、工业和信息化部、国家能源局联合印发通知,同意启动建设国家8个算力枢纽节点,正式布局完成“东数西算”总体设计。这8个算力枢纽节点包括京津冀、长三角、粤港澳大湾区、成渝、内蒙古、贵州、甘肃、宁夏。消息一出瞬时起各大相关厂商均发表相关看法,早就进行了布局,也有很多解析此政策的资料涌现出来。
通过解析东数西算战略,我们不希望“东数西算”仅仅是一时热点,而如何成为一项长期的策略。多思考一步不禁发问:
东数西算适合适合哪些场景?
在实施过程中会遇到哪些挑战?
对于不同企业又会有哪些机遇?
1. 背景和现状
首先东数西算的背景现状是东部、西部算力需求不均衡。东部在市场、技术、人才等方面有更多优势,西部在资源、电力、自然条件等方面有更多优势,两者进行结合。算力需求和市场在东部、西部不均衡,资源等自然条件上东部、西部也不均衡,东数西算能够在一定程度上东部捉襟见肘的资源困境和成本压力,也能够将“西部计算的结果赋能给包括东部在内的全国用户”,此时西部提供的是智能化决策数据。
早在2018年信通院和开放数据中心委员会联合发布的《数据中心白皮书》就揭示了北京、上海、广东三个数据中心聚集区的机架数在逐年降低,但是全国对算力的需求在持续增长、服务器使用量在持续增长,已经说明了使用需求逐渐转向北上广之外的数据中心。
数据中心需要消耗大量电力来为了给服务器冷却降温,并且整个数据中心的运行也需要消耗大量电力,电力是数据中心的核心成本之一,如何降低电力消耗和成本是数据中心面临的主要挑战。其实早在几年前云厂商、IDC企业已经从西部地区寻求突破建设了数据中心。比如在宁夏中卫有AWS等云数据中心,在贵州有腾讯在山洞中建设数据中心,仅仅在内蒙古乌兰察布有UCloud优刻得、快手、苹果、阿里等厂商建设数据中心。
2. 场景
东数西算,背景是东部、中部、西部计算需求和计算能力不均衡,东部计算需求量大,较多的数据中心也建设在东部地区,而东部的数据中心建设成本、运营成本高居不下,这些成本最后都会分摊到用户头上,将东部数据转移到西部地区进行计算是需求来驱动的。政策虽出,但并非一股脑抛弃东部数据中心而冒进转向西部地区。
2.1 部分行业、部分数据
还有一部分就是离线分析的数据,企业中有非常多需要离线分析的数据,可转移到西部进行计算。这里主要是利用西部数据中心算力便宜的优势。离线数据,比如软件系统中的日志分析、每日每月报表分析、用户千人千面算法分析、后台加工、视频渲染、超算等计算能力密集度要求高的场景。
这中间增加了数据传输的过程,可计算价格便宜的优势足以抵过数据传输带来的成本。
东部枢纽处理工业互联网、金融证券、灾害预警、远程医疗、视频通话、人工智能推理等对网络延迟有高要求的业务。
2.2 场景-AI训练、视频渲染、超算场景
以UCloud优刻得为例,AI平台提供训练、在线推理等服务,用户可选择在西部云数据中心中运行算力密集度高的AI模型训练任务,将原始数据上传至西部云数据中心对象存储平台并通过AI训练平台调度底层CPU、GPU资源完成模型训练,训练出的模型再同步至东部云数据中心的镜像Hub中并用于推理服务。
视频渲染也是算力密集型任务,将需要渲染的数据存储至西部云数据中心,充分利用计算资源充足和价格优势完成视频渲染,将最终视频推流至用户端。用户会分布在全国各地并且在东部地区集中,这时以西部云数据中心为中心云节点,东部地区采用边缘计算节点来缓存加速视频文件和相关数据,实现就近访问。
同样对于科研计算中的流体力学、物理化学、生物信息等高性能超算场景,也同样适合在西部地区云数据中心中进行计算。
2.3 场景-托管
在企业上云过程中不仅仅是把所有业务和数据“All in”全部迁移至云平台,因为企业IT历史原因会有物理服务器集群等状况,可选择在企业本地物理服务器集群和公有云之间构建混合架构,也可以选择将物理服务器集群托管至云平台。选择东部云数据中心,还是会有资源容量、价格等因素的影响,随着西部数据中心的建设和配套服务的完善,需要有服务器托管的用户有了更多选择。之前中西部地区用户将物理服务器跨城托管至东部云数据中心的确不便捷,现在中西部地区用户可就近选择云数据中心进行托管。
金融等行业根据合规要求需要采用与其他用户物理隔离的机柜,甚至需要对这些机柜物理上锁锁住,在西部云数据中心中将会有更大空间和自由度来为这类托管需求的用户提供资源支撑和运维服务。
2.4 数据归档
是否还记得2020年7月GitHub把代码封存到北极,将保存1000年,可以说是将数据进行了一次长期的归档存储。直播带货视频根据合规要求要至少保存三年,医院医疗影像、医疗诊断记录也要根据合规要求进行长时间保存,存储这些数据一方面是对容量的挑战,另外一方面就是价格的挑战。这些就是我们说的冷数据、归档数据,存储时间长、存储容量需求急速增加是亟需解决的问题,而东部数据中心存在天然价格高的短板,因此将冷数据存储至西部数据中心是非常好的选择了。
2.5 中西部省市建设政务云、当地上云选择
前面已经介绍了,在东部地区数据中心比较集中,不同省市建设政务云以及企业上云时会选择位于东部地区的数据中心,因为东部数据中心配套的网络建设、运维服务、方案成熟度相对更高,但这样也让东部数据中心可扩展的资源空间捉襟见肘、提升了整体业务所需的成本,云厂商、IDC厂商等都在西部地区寻找替代方案。在西部集中建设数据中心,能够让企业更关注在每个数据中心的网络质量、运维服务能力等。中西部地区的企业、组织、政府机构就能够将之前在东部的业务和数据迁移至西部地区,对于内蒙古当地企业就近选择乌兰察布等地数据中心即可,对于贵州当地企业选择本地区的数据中心,能够拉动本地数据中心以及配套服务的发展、也能充分利用当地电费便宜带来的整体业务耗费成本降低的利好之处。
个人观点
在整个策略上,需要将位于东部数据中心的部分可离线计算的数据一步步转移至西部,另外就是部分行业场景新产生的数据直接存储至西部数据中心,我的理解这也都是东数西算的范畴。
3. 挑战
3.1 需求至上
避免资源浪费,节能减排是长期策略,2022年1月17日发布的冬奥会践行碳中和方案已经公布,西部数据中心建设本身就因为会采用清洁能源、更多的依靠自然条件进行降温,同时近些年发展积累的低碳环保数据中心建设经验积累都将会在西部地区一展抱负。因此可以相信底层数据中心的建设和运营是符合碳中和发展理念的。
但在业务和数据迁移时我们还要保持头脑清晰、避免盲目跟风,需要根据需求来建设数据中心、迁移业务和数据。
将计算任务和数据汇聚在集中的数据中心进行计算,达到较高的数据中心上架率和服务器运行率就是数据中心运营者需要关注的核心点了。在东数西算工程中、在践行碳中和理念中,绝不能仅仅依靠西部的自然环境,人为运营决策也要在提升资源使用率中多思考。
3.2 技术底座挑战-更通畅的网络
无论是数据传输到西部地区进行计算,还是传输到西部地区进行存储,对数据传输能力都是极大的挑战。因此在东数西算的整个布局中除了西部的数据中心建设,必不可少的就是建设数据中心之间的高速网络通道。
从单个云数据中心部署业务的模式,也会逐渐向中心云+边缘云、分布式的混合架构部署模式进行转变,也会成为技术挑战,比如分布式协同的要求高、数据实时一致性要求等。不过在部署业务上云原生能够帮助业务基于不同资源的无差别部署。
3.3 更近的接入点,“中心云+边缘云”
之前的模式是东部作为源站,中西部作为CDN节点、边缘计算节点,现在可以反其道而行之。将西部作为中心云进行数据计算,将全国各地的边缘计算节点串联起来,也能够将用户本地的服务器集群统一纳管起来,形成统一的混合架构。
在这个过程中,搭建混合架构是融合架构的过程,对于企业用户来说既使用东部的数据中心、也会使用西部的数据中心,对于还有自行运营的机房或服务器集群也将会通过网络连通至东部、西部数据中心。整体是混合架构的模式。
核心部分是网络的连通,包括专线、SD-WAN、VPN的方式,当然可以寄希望于国家整体的网络建设,国家主导联合企业建设网络大通道,多租户的方式也会降低边际使用成本。另外,通过混合架构,能够充分利用混合架构的优势,扩展本地计算能力不足、存储备份能力不足、安全防护能力不足、产品不够丰富等短板,都可以通过云平台进行补充。
东西部数据中心、边缘节点的混合架构,能够让用户请求按照距离就近、按照访问质量较优线路选择数据中心接入,再通过数据中心、边缘节点之间互联互通的线路通信和数据传输。
3.4 更安全
东数西算显然会让数据实现东西部数据中心之间迁移或传输,那跨越千山万水中间安全问题也成为其挑战。不过在西部建设的数据中心在物理层面的安全问题并不用担忧,数据中心在建设、验收等过程中有严格的国标来把关,比如GB50462-2015《数据中心基础设施施工及验收规范》、GB50174-2017《电子信息系统机房设计规范》。
安全防护方案模块概览
在数据传输过程中被窃取和篡改的风险、数据中心的服务器是否会遭受各种病毒入侵,还有网络层经常见到的DDoS攻击、cc攻击、SQL注入攻击、XSS跨站攻击等都让业务和数据面临业务中断、数据损坏的窘境,紧接着导致各种经济损失和企业名誉受损。因此在数据中心建设的物理层安全之上,还要多加关注应用和数据在主机层、网络层、应用层等各层会遇到的安全风险并针对每种风险准备安全措施。
除了安全,还有业务和数据的合规、审计等需求。需要审计的数据正好大部分是离线数据,适合放在西部进行存储和离线分析。
云端安全知识云图,微信联系获取高清原图
3.5 更有的综合服务能力
不仅仅是硬件数据中心,还有上面的软件服务,也就是云计算、技术服务、云数据中心运维、根据客户需求进行方案设计的软实力,以及帮助用户优化架构提升效率、降低使用成本等最佳实践的应用,需要更高效的综合服务能力。
在云端实现业务数字化转型、提升效率需要经过良好设计的架构方案,我的新书《云端架构》提炼了架构设计中要遵循的6大架构设计原则,也有架构设计中的41种设计模式,可作为模板来组合成为解决方案,对解决方案架构的适用性、成熟度、健壮度提出了评估模型。《云端架构》内容贯穿架构设计的构建、重构、评估整个流程,相信能够帮助相关人员快速掌握云计算各项服务、架构方案并实现业务合理上云。
图: 源自《云端架构》,购买或咨询请微信联系
4. 机遇
4.1 云厂商
部分云厂商已经提前几年布局西部地区建设云数据中心,比如前面提到的UCloud优刻得、阿里云、华为云、腾讯云、AWS等。东数西算的国家战略工程释放的不仅仅是在西部进行数据存储和计算,带来更多的是政务、传统企业、制造企业等企业的上云,之前对云怀迟疑态度的企业、机构会再次审视上云的可行性,并且能够在上云的过程中实现成本节约、加快实现数字化转型、提升运营效率等上云带来的好处。
云厂商在东部地区,尤其是北京、上海、杭州、广州等地云数据中心运营业务积累的雄厚的技术经验,以及支撑超大规模电商平台促销活动、高并发大型游戏等互联网场景支撑经验,还有在金融、教育、医疗、交通等各行业需求场景经验和最佳实践,这都为全行业、全场景上云提供可参考的范本。
云厂商在最近几年中竞争愈演愈烈,不仅中小云厂商,包括云计算头部的企业也都面临着新的行业突破、新的客户填补增长空白等新的挑战,而东数西算战略布局能够促使企业、政府更愿意上云,也能够为云厂商带来业务战略方向的转移、降低现有白热化竞争带来的焦虑。
云厂商之间有竞争,合作模式也并不容易寻找,但是站在用户角度上,其实需要更多考虑并采用多云策略。单个云平台在数据中心布局、产品丰富度、计价模式、服务效率等方面各有差异,用户采用多云策略可以分担在这些因素中的风险,并且还可以减少单个云厂商技术锁定、商业绑定带来的风险。
4.2 IDC厂商
IDC企业在西部地区的数据中心基建过程中有非常多机遇,2017年前后不少云厂商、IDC厂商已经选择了西部地区建设数据中心作为战略方向突破。经过这几年验证和国家东数西算布局,这还仅仅是一个新的起点。
在建设符合标准的数据中心之上,IDC企业也不是没有积极探索更好的商业模式,比如自行运营云平台,能够面向To B用户推出基础数据中心和增值服务并获得一些关系稳定的用户,但在这个方向上并没有和云厂商竞争的太多优势。但在建设和运维运营数据中心上,云厂商反倒要多借鉴IDC企业丰富的建设、运营经验,比如万国数据在2021年4月推出了数据中心智能驾驶仓成熟度分级评估模型,来评估数据中心建设运维成熟度。
在东数西算过程中,IDC企业能够关注政府统一安全的数据中心基建,也能承担部分自建自用的数据中心,也能在西部省市政务云和当地企业上云过程中提供数据中心资源支持,也就是避开云厂商直接向这些用户做生意。在2022年之后,云厂商竞争已经加剧到白热化阶段,即便东数西算带来很多利好,云厂商也都会选择在西部自建数据中心而非找IDC厂商代为建设。 IDC建设企业会有很大利好,售卖给直接企业用户或者云厂商。虽然有竞争,但IDC厂商和云厂商的合作关系优于竞争关系。
4.3 安全中心、灾备中心
除了云厂商和IDC厂商,在技术方面层面,也有很多机遇。比如可考虑在西部地区建设政务云、交通银行等垂直行业统一的灾备中心。比如在西部地区整合资源建设统一的安全防护中心,比如DDoS流量清洗中心。在东部数据中心上部署的业务遭受DDoS攻击时将所有流量牵引至西部的统一DDoS流量清洗中心,将清洗后的正常用户请求再转发至东部数据中心并提供正常服务。
4.4 隐私计算
东数西算将数据汇聚在西部多个算力枢纽,也为数据隐私计算和交叉计算提供了“物理距离近”的优势。数据隐私计算就是在保护数据本身不对外泄露的情况下实现数据交叉分析计算的技术。建设智慧城市需要大量授权数据进行交叉分析,比如城市建设基础数据、交通数据、学校数据、商圈人流量数据、市民消费水平数据、店铺分布数据等,数据分布在不同的大数据中心,为了统一的上层智慧城市建设,需要将不同部门、不同领域的数据融合起来进行分析,当然是在有授权、合规使用的前提下。值得一提的是,UCloud优刻得提供有安全可靠的隐私计算平台--数据安全屋。因此对于数据隐私计算、算法提供、基于数据的二次开发应用也是机遇之一。
4.5 人才
在西部进行数据中心、网络的基建,以及提供数据中心运维服务、面向业务的交付和技术支持,还需要专业的技术人才。数据需要东数西算,经验可从东部进行借鉴,人才可从中西部当地进行发展和培养,为当地带来更多人才和就业。
5. 挑战与机遇并存,时刻准备着
东数西算工程,能够进一步促使产业向数字化进行转变、能够为业务降本增效、能够使用新的技术和思路解决之前棘手的业务问题。在这个长期的过程中会有更多的挑战,同时也并存有机遇,机遇留给每一个有准备的人,我们拭目以待。
我个人在前面十多年工作中总结了基于云平台进行架构设计的经验,准备了两年完成《云端架构》新书的写作,现已上架京东、当当、淘宝,关注并联系我们,等待下周的首发仪式。
与你一起,做有准备的人。
注:部分图片和数据源自网络,侵删