关于杭州四家独角兽企业网络架构剖析

　　本篇文章主要是作为我职业经历中的四家企业内部网络架构分析和总结，作为我职业生涯一个阶段的所做的项目经验和知识的梳理。下面将展开说明这四家企业的网络架构，以A、B、C、D代表公司名称。
　　接下来按照几个模块进行说明网络架构全域： 公司规模  业务场景  网络拓扑  优化方向  A公司
　　公司规模：
　　两栋楼，当初两栋楼大概容纳办公人员1000多人，主要是研发人员为主；三个机房（其中一个机房是和另外一个小伙伴共同负责建设的），物理服务器共700多台，承载内部测试和公司内部信息化相关业务。
　　业务场景：
　　两栋楼办公人员有线网络和无线网络，三个机房的服务器业务网络；阿里云测试环境，机器很少，办公网没有直接和阿里云打通，业务方直接公网访问；内网数据安全管控DLP和流量管控Panabit，出口边界防火墙华为USG6500；北京办公区域专线连接杭州区域。
　　网络拓扑：
　　网络拓扑图分为出口层和核心层、汇聚层、接入层，传统园区网络部署架构；主要设备以华为交换机为主，Panabit流控透明网桥部署，IXCache牵引模式部署，DLP旁挂核心。
　　出口层设备
　　型号
　　数量
　　作用
　　前置交换机
　　华为S5720
　　2
　　出口链路分担
　　防火墙
　　华为USG6500
　　2
　　安全、NAT
　　Panabit
　　PB-1200
　　2
　　流控、缓存
　　天融信DLP
　　TOPEDR-100
　　2
　　数据防泄漏
　　出口层拓扑图如下：
　　USG做双机热备主备备份模式，需要注意链路聚合其中的成员口down造成主备切换，注意HRP状态和链路聚合成员口的监控。
　　Panabit一台做流控，一台做缓存，流量透明网桥部署，缓存牵引模式部署。
　　天融信DLP两台旁挂核心，作为内部网络DLP，以及终端DLP和邮件DLP的网关Server。
　　核心（CE12804E）、汇聚（CE6800和S系列）、接入（S5700系列）拓扑如下：
　　MR AG代表三个机房汇聚，Level AG代表2栋楼的楼层汇聚。核心和汇聚之间起OSPF，接入直接默认路由。
　　无线网络：无线网络主要是12层楼的AP部署，AC旁挂核心，架构图就不展示，比较简单。
　　所用技术：静态路由、OSPF、PBR、iStack、CSS、VRRP、VLAN、ACLDHCP、DNS、ARP、NAT、MSTP/RSTP、MAD、CAWAP等等
　　不足之处&优化：  单点故障的区域多，并且链路层的单点故障也多 网络线路标签混乱或无 历史遗留问题综合布线惨不忍睹 VLAN trunk 裁剪做的不够，有些端口直接放开所有vlan ID 网络规划很乱，网段使用随意，没有标准 端口描述不清晰或无描述，不能直接看描述就可明白上下拓扑情况 OSPF设计可引入stub和nass区域、减少LSDB和路由条目，减少硬件内存消耗 OSPF的选路并没有按照实际的链路带宽，应该按照参考带宽调整cost 组建堆叠或者虚拟化为了防止设备脑裂应加上脑裂检测（华为MAD） B公司
　　公司规模：
　　刚到该公司刚好进新大楼，办公区域共7层，后续在园区扩展为一层楼，以及在另外一个省份的地级市（L市）有个办公区域，杭州总部办公人员在1000多人；杭州有个IT内部机房，并租赁了某个IDC的几个机柜，物理服务器在100台内。
　　业务场景：
　　杭州新大楼无线网络、有线网络，IT内部机房网络，租赁IDC机柜的业务网络；阿里云线上环境网络，因内部办公网需要和阿里云线上直接互通，故也直接拉云专线到阿里云，通过阿里云云企业网打通杭州办公区、IDC、以L市办公区等环境；内部云桌面网络，以及出口边界防火墙。
　　网络拓扑：
　　网络拓扑图分为出口层和核心层、汇聚层、接入层，传统园区网络部署架构；主要设备以锐捷交换机为主（办公都是锐捷）、华为交换机为辅（IDC都是华为），出口由华为路由更换为锐捷防火墙。
　　出口层设备
　　型号
　　数量
　　作用
　　前置交换机
　　锐捷RG2910系列
　　2
　　运营商链路分担
　　防火墙
　　锐捷RG-WALL 1600 X8600
　　2
　　安全、NAT
　　出口层拓扑如下：
　　出口移动互联网专线1根和电信2根作为内部办公网出口带宽，锐捷X8600防火墙作为边界出口安全和NAT，防火墙作为双活主备备份模式，核心交换机下联口和汇聚层上联口组成OSPF骨干区域，锐捷核心做VSU虚拟化并BFD脑裂检测，办公无线网络的AC旁挂核心，两台AC组建VAC，采用本地部署模式。
　　核心汇聚接入拓扑如下：
　　汇聚主要以机房汇聚和8个楼层汇聚组建OSPF骨干区域，每层汇聚两台组建VSU，并使用BFD作为脑裂检测，链路层核心和汇聚都是四线链路捆绑；接入直接默认路由抛给核心，网关下沉汇聚，AC旁挂核心，AP管理网关核心，AP业务下沉汇聚；汇聚 核心 防火墙是万兆互联。
　　无线网络：
　　地域互联和云互通：
　　杭州办公区通过两根100Mbps MSTP专线和阿里云互通，IDC机房内的几个机柜服务器网络通过两根10Gbps云专线和阿里云云企业网建立EBGP，L市办公区网络通过IPSec和云网络互通，三地网络通过阿里云云企业网进行路由转发，阿里云云上网络后续单独讲讲。
　　所用技术：静态路由、ECMP、OSPF、BGP、PBR、VSU、iStack、VLAN、ARP、NAT、DHCP、DNS、MSTP、MAD、BFD、CAWAP、IPSec、ACL等等。
　　不足之处&优化：  链路高可用和设备高可用改造优化 边界安全把路由器更换为防火墙 VSU和堆叠加上脑裂检测 网络高可用，针对机房电力安全更换PDU，网络设备和服务器实现市电和UPS双重保障，可保证公司停电，网络不中断，实际情况是停过几次电，而员工网络还是正常（估计很多人喷我，停电都不让人好好休息下） CIDR重新规划 因天花板太高、无线网络的AP加上支架，重新调整位置 OSPF的router-id可以改为lookback口，而不是直接使用设备管理接口地址 OSPF只是单区域，可以改为多区域，汇聚和接入连接的非骨干区域只需要默认路由，可引入totally nssa或者totally stub C公司
　　公司规模：
　　杭州办公区域共6层，以及在另外一个省份的地级市（H市）有个办公区域，总体人员也在900多人；杭州有个IT内部业务机房，物理服务器在50台内，正式业务都在腾讯云上。
　　业务场景：
　　大楼无线网络、有线网络，IT内部机房网络，到腾讯云的业务网络。
　　网络拓扑：
　　网络拓扑图分为出口层和核心层、接入层，传统园区网络部署架构，只分为二层了；主要设备以华三交换机为主，出口层使用深信服设备。
　　出口层设备
　　型号
　　数量
　　作用
　　前置交换机
　　华三 5130
　　2
　　运营商链路分担
　　防火墙
　　深信服 AF 1000E-C620
　　2
　　安全、防病毒
　　行为管理
　　深信服 AC 1000E-600
　　1
　　行为管控
　　负载均衡
　　深信服 AD 1000E-800
　　2
　　链路负载、NAT
　　出口层拓扑如下：
　　出口层电信3根和联通1根，直连交换机，AD、AF、AC互联，其中AD和AF两台做主备，AC一台做行为管控分析，AC单台开启bypass，核心交换机两台华三S7503E-M做IRF，两台无线控制器做IRF，两台联软准入HA模式。
　　核心汇聚接入拓扑如下：
　　核心接入二层互联，未使用动态路由，都采用静态路由或默认路由互联，网关都放在核心交换机上，无线和有线接入都需要联软准入客户端身份认证通过，并对终端安全和终端软件安全基线准入做好策略。
　　无线网络：
　　无线网络接入，需要通过联软准入控制，这里面涉及到结合AD域控体系。
　　地域互联和云互通：
　　杭州通过深信服防火墙和腾讯云建立了3个IPSec（tunnel）隧道，分别和H市与S市建立了一条通道，利用感兴趣流建立隧道。
　　所用技术：静态路由、ECMP、PBR、IRF、VLAN、ARP、NAT、DHCP、DNS、MSTP、MAD、CAWAP、IPSec、ACL等等。
　　不足之处&优化：  前置交换机单点故障隐患 IRF脑裂未考虑 网络设备电力不间断 无线网络部署位置和体验优化待提升 地区互联根据业务重要程度，可适当利用其他方式，如SD-WAN、或者异地专线（成本高就不考虑） D公司
　　公司规模：
　　杭州共2栋楼，以及在B有个办公区域，容纳办公人员1000多人；杭州有个IT内部自建机房，物理服务器在100台内，B市也有自建机房，物理服务器在50台内；
　　业务场景：
　　杭州两栋楼无线网络、有线网络，IT内部机房网络；阿里云线上环境网络和测试环境网络，因内部办公网需要和阿里云测试环境网络直接互通，利用SD-WAN打通互联，带宽需求不大，通过阿里云云企业网打通杭州办公区、杭州自建机房、以B市办公区等环境网络。
　　网络拓扑：
　　网络拓扑图分为出口层和核心层、汇聚层、接入层，传统园区网络部署架构；主要设备以华三交换机为主，出口层使用深信服设备。
　　网络拓扑图分为出口层和核心层、接入层，还是传统园区网络部署架构，只分为二层了；主要设备以华为交换机为主，出口层使用深信服设备。
　　出口层设备
　　型号
　　数量
　　作用
　　前置交换机
　　华为 S5735S
　　2
　　运营商链路分担
　　防火墙
　　深信服 AF 2000-I484
　　2
　　安全、防病毒
　　行为管理
　　深信服 AC 1000-I442
　　1
　　行为管控
　　负载均衡
　　深信服 AD 1000-G642
　　2
　　链路负载、NAT
　　出口层拓扑：
　　出口层电信2根和联通1根、移动1根，直连交换机，AD、AF、AC互联，其中AD和AF两台做主备，AC一台做行为管控分析，利用bypass设备互联AC，AC网关模式，双网桥部署，核心交换机两台华为S12700E-4做CSS，无线控制器两栋楼各一台旁挂汇聚。
　　核心汇聚接入拓扑如下：
　　核心汇聚OSPF骨干区域，汇聚和接入非骨干区域，核心组建CSS，汇聚堆叠，接入POE堆叠，有线单台双联路互联，其中机房内的机器根据业务需求进行堆叠。无线都需要进行mac准入认证通过才能访问外网。
　　无线网络：
　　无线AC单台旁挂核心，本地转发，POE两台堆叠。
　　地域互联和云互通：
　　杭州办公区与阿里云云企业网通过阿里云智能接入网关(SD-WAN)服务接入，打通办公网和云上网络以及B市办公区网络。
　　所用技术：静态路由、OSPF、BGP、ECMP、PBR、iStack、VLAN、ARP、NAT、DHCP、DNS、CSS、MSTP、MAD、CAWAP、IPSec、ACL等等。
　　不足之处&优化：  优化汇聚单点故障问题，优化机房单点故障问题 历史遗留问题，导致网段使用混乱，云上云下网段CIDR重新收回和规划 OSPF重新规划，路由汇聚 添加交换机堆叠脑裂检测配置和线路 历史遗留无用配置清理 无线网络重新规划和部署，调整位置和垂直空间以及平面空间的信道、功率、漫游等参数调整，优化无线网络体验 网络监控告警重新规划和精细化监控 无线网络控制器目前单台旁挂汇聚，存在单点故障，后续可优化放在S12700E-4上做总体的无线控制器（需要单独买授权） 办公网到阿里云可更改为MSTP专线上云，替换SD-WAN（后续看实际业务情况是否更改） 总结
　　学网络需要不断实践和试错，如果学到的东西没有在实际的环境中应用，永远都是镜花水月，不明所以；
　　目前研究方向NetDevOps、Prometheus监控以及微软生态相关等等欢迎交流。