在之前的《大话中国骨干网（上）》中，小枣君给大家介绍了国内骨干网的诞生过程。今天，我将继续介绍国内运营商 IP 骨干网的发展历史与现状。▉中国电信 上篇文章中，我们提到，中国邮电部在 1995 年建立了 ChinaNet（中国公用计算机互联网），也就是大家俗称的 163 网。 这张网，当时是国内普通网民接入互联网的主要通道。 因为当时中国邮电还没有实行 ＂邮电分营＂，所以这张网是邮电部电信总局负责建设和维护。 1997 年，邮电部实施 ＂邮电分营＂，这张网的责任主体，变成了 ＂中国电信＂（老电信）。 同年，中国电信各省公司开始独立建设省内 IP 骨干网（省网）。建成之后，整个 ChinaNet 分为骨干网、省网和城域网三级结构。其中，骨干网分为核心层、汇聚层两层。 某省组网范例 1998 年 7 月，ChinaNet 骨干网第二阶段建设开始。八个大区域的骨干带宽被扩展到 155M，且所有节点路由器被替换为千兆路由器。 到了 2000 年的下半年，中国电信借助 DWDM（波分复用）和千兆路由器技术，再次对 ChinaNet 进行大规模升级和扩容。网络节点间的路由中继，由 155M 提升到 2.5Gbps，提速 16 倍。 截至到 2000 年底，ChinaNet 在国内总带宽已达到 800Gbps。2001 年 3 月，ChinaNet 的国际出口总带宽突破 3Gbps。 从 2002 年开始，ChinaNet 逐步进入 10G 时代。ChinaNet 的数据传输能力，达到国际先进水平。 2003 年，ChinaNet 进行优化整合，推行扁平化，取消省网，网络结构调整为骨干网和城域网两级。 与此同时，中国电信启动了多厂商 MSTP（多业务传送平台）的互通测试，推动 TDM 向以太网的转型。 再后来的故事，大家应该都比较熟悉了，就是往 OTN 和单波大容量演进，朝着 40G、100G（2015 年）的方向发展。 目前的骨干网，正在逐步普及单波 400G。如果按 60 波算，单光纤的传输容量能达到 20T 以上。 除了容量之外，就是 OXC 全光交叉、IPv6、SRv6、SDN 等新技术的引入、改造和普及，此前小枣君都做过详细的介绍。 接下来，我们再深入了解一下 ChinaNet 的整体情况。 一般来说，运营商的骨干网架构和技术细节属于秘密信息，不对外公开。但是，如今在互联网上，这些信息基本上都能查到。我就基于能公开查到的信息，大致介绍一下（可能有所变动，仅供参考）。 从架构来说，ChinaNet 分为骨干网和城域网（前面有说，干掉了省网），骨干网又分核心层、汇聚层和接入层。 北京、上海、广州，是 ChinaNet 的超级核心。除了超级核心之外，ChinaNet 还有天津、西安、南京、杭州、武汉、成都等普通核心。所有核心之间，采用 Full-Mesh 连接。国际出入口，以及运营商之间的互联互通，基本上都在核心层 。 找到一张老图，仅供参考 汇聚层一般都在各省省会或第二大城市，采用双方向互联，分别连到一个超级核心和一个普通核心，有的省份会三方向互联。 接入层，就是汇聚层到各个地市城域网。 除了 ChinaNet 之外，中国电信还有一张非常重要的骨干网——CN2。 2004 年左右，为了满足高品质业务的需求，中国电信启动了 CN2 网络的招标建设。 CN2，全称 Chinatelecom Next Carrier Network（中国电信下一代承载网络），简称 CNCN，又称 CN2，刚好符合它作为中国电信第二张承载网的身份。 中国电信将 CN2 定位为 ＂精品网络项目＂，非常有前瞻性。后来的事实证明，CN2 在抢占政企高端市场方面，确实发挥了重要作用。 CN2 的基本建网特点，就是扁平化、大容量和轻载运行。建网初期的核心技术，是 IP/MPLS。 从架构上来看，CN2 和 ChinaNet 有很大区别。CN2 一共是 7 个核心节点，分别是北京、上海、广州、南京、武汉、西安、成都。 同样是一张老图，供参考 此外，CN2 还在香港、新加坡、东京、伦敦、法兰克福等国际大城市设立了 POP 节点，提供国际 Internet 接入和网间互联业务。 CN2 作为高端网络，面向客户的时候，也进行了进一步的产品等级划分，例如 CN2 GT、CN2 GIA。 CN2 GT：GT 是 Global Transit 的简称，是 CN2 中的中端产品，在 CN2 里的等级比较低，但是相比于传统 163 骨干网依然有不少的提升。 CN2 GIA：GIA 是 Global Internet Access 的简称，是目前 CN2 中的最高端的产品，在 CN2 中的等级最高，线路表现最好、最稳定，价格也是最高。 2015 年，中国电信为了加强数据中心之间的节点互联，满足云服务日益增长的需求，还启动建设了 ＂第三张＂全国骨干网——CN2-DCI（Data Center Interconnection）。关于这张网，网上目前公开的信息极少。 以上就是中国电信 IP 骨干网的大致情况。▉ 中国联通 接下来，我们再看看中国联通的骨干网。 1994 年 7 月 19 日，中国联通经国务院批准，正式挂牌成立，主要经营 GSM 移动通信业务。 随着 2G 向 3G 的演进，有了 GPRS 数据业务，中国联通也建设了 UNINET 骨干网，作为自家 GPRS 网络的接入点，也是面向全国提供互联网服务的载体。 因为 UNINET 的拨号上网接入号码为 ＂165＂，所以这个网也被称为 165 网。 1999 年 10 月 22 日，中国网通（小网通、老网通）由中科院、广电总局、铁道部、上海市政府四方出资成立，在全国 17 个城市开通互联网服务。 网通也建设了一张自己的骨干网，就是 ＂中国网通公用互联网＂（CNCNET）。 此外，邮电部当年除了 163 网之外，在 1997 年还建设了一张中国公众多媒体通信网。这张网络很特别，完全独立于 163 网，采用私有地址 10.0.0.0/8，只能国内互相访问，相当于是一张 ＂国内局域网＂。如果需要访问 163 网和 Internet 的话，需要找专门的代理服务器跳转。 因为这张网络的接入号码为 169，故又称 169 网。 169 网有一个很大的优势，就是价格便宜。当时 163 的使用费是每小时 10 元，而 169 只需要每小时 4 元。因此，169 受到很多普通网民的喜爱。 2002 年，国内电信行业重组，中国电信 ＂南北分家＂。北方九省一市电信公司从原中国电信剥离，与小网通、吉通合并，成立新的中国网通（大网通、新网通）。 于是，中国网通在既有 CNCNET 的基础上，得到了中国电信从 163 网拆出来的部分精华骨干网。为了区别于中国电信的 163 网，网通带走的这个网被称为 ＂CHINA169＂。 值得一提的是，当时吉通并入中国网通，CHINAGBN（中国金桥网）也随之并入 CHINA169 中。 2008 年，中国电信业再次重组，中国联通和中国网通合并，变成新的中国联通。 新的中国联通，自然而然地接管了 CHINA169。 此外，网通最初的骨干网 CNCNET（主要承载原网通 NGN 软交换、DCN 等业务）也交给联通运营。这个 CNCNET（自治域为 AS9929，经常被称为 9929 网络）保持相对独立，后来被称为 ＂联通 A 网＂。 与之相对应的 ＂联通 B 网＂，就是原联通建设的 IP 承载网，主要承载 2G/3G 移动网业务的那个网。后来好像逐渐没用了，业务迁到了 A 网。 2018 年，联通将 IP 承载 A 网改名为 CUII，中国联通工业（产业）互联网。CUII 的定位有点像中国电信的 CN2，主要提供国际和国内跨地市 MPLS-VPN 和大客户互联网专线任务的承载，常用于企业宽带和 IDC，极少用于家用宽带。 总之，联通主要就是 ＂China169+CUII＂的双网格局。 说了半天，大家可能有点晕。小枣君画个图，一看就能明白了： 由于历史原因，联通 China169 的网络流量存在较大的南北差异，北方 10 省的业务流量明显大于南方。 早期的时候，China169 全网分为四个大区，分别是北方大区、华东大区、南方大区、西部大区。设置了北京 1、北京 2、上海、广州四个核心节点，并将陕西、四川、山东、辽宁设为区域核心节点。 ▉ 中国移动 最后再来说说中国移动。 中国移动的骨干网发展史没有电信和联通那么复杂，这家公司本身的历史就很简单。 2000 年 4 月 20 日，中国移动正式成立，5 月 16 日挂牌。 中移成立初期，也是主要以移动语音业务为主。后来，随着业务的发展，才逐步建设了较为完整的 IP 骨干网，名为 CMNET（China Mobile Network，中国移动互联网），自治域为 AS9808，也称 9808 网络。 当时，CMNET 是中国移动 GPRS 网络的两大接入点（另一个是 CMWAP）之一。通过 CMNET 接入点，中国移动手机用户可以接入 CMNET 网络，访问 Internet。 虽然 CMNET 起步比较晚（相对来说），但发展速度非常快。尤其是这些年中国移动拼命拓展固网宽带业务，流量增长迅猛，扩容招标也是非常频繁。 CMNET 为骨干网和省网两级自治域、多层结构。骨干网分为核心层、汇聚层和接入层。 北京、上海、广州 3 个节点为核心节点，它们与相连链路共同构成骨干核心层。骨干核心层提供大区内省份流量的交换，并负责全网与国际 Internet、国内其他运营商的互联。 汇聚层负责汇接各省到骨干网的连接。南京、武汉、成都、西安、沈阳等节点为汇聚节点，负责本大区内省份流量之间的交换。 接入层负责汇聚本省省际流量和出网流量。接入节点一般双上联核心节点，部分流量较大的省份，会采用多上联。 国内和国际网间互联方面，节点都设置在北京、上海、广州。 除了 CMNET 之外，中国移动还有 IP 专用承载网，简称 IP 专网。当时建设这个网的主要目的，是为了承载高价值客户业务，如话音，流媒体，信令，网管，大型客户的 VPN 等业务。 IP 专网为三层结构，分别为核心、汇聚和接入三层，采用单一自治域，目前已经延伸到国内 330 多个主要地市。大致架构如下： ▉ 中国广电 最后再说说新入坑的中国广电吧。 2018 年，中国广电的广电宽带获批骨干网运营资质，启动全国骨干网建设，并将其命名为 CBNNET。 CBNNET 的主要建设单位，是中国广电的子公司中国有线。 2019 年，广电骨干网已经与中国电信的骨干网进行了互联互通。 按照规划，CBNNET 将是一张 ＂五纵五横＂的全国性 IP 骨干网，全网 100G OTN 起步，部分关键链路 400G/1T OTN。 小枣君拍摄于 2020 年北京 PT 展（下同） 未来，CBNNET 将采用三层架构，即国干层、省网 / 接入层、互联层，覆盖 337 个地市，逐步形成双平面网络，直接提供宽带出口，互联网总出口带宽将达到 5T。 ▉ 结语 好啦，以上就是目前国内运营商骨干网的大致情况。简单画个表，如下： 值得一提的是，包括中移在内的运营商，针对现有骨干网容量不足的情况，普遍建设了所谓的 ＂第二平面＂。＂第二平面＂属于扩容，并不是新建独立的第二张网络。 除了上述骨干网之外，我们国家还有几张针对特定用户的骨干网，分别如下：