为了构建GPT4，微软这次下了血本

　　3月13日，微软推出了NDH100v5VM，该VM使用英伟达目前最先进的GPU芯片的H10080G，性能比采用A10080G的NDA100v4虚拟机提高数倍。
　　微软部署新的超算平台，图片由微软提供
　　以下是NDH100v5VM的配置：8xNVIDIAH100TensorCoreGPU通过下一代NVSwitch和NVLink4。0互联每个虚拟机带宽3。2Tbs，每个GPU400Gbs，使用NVIDIAQuantum2CX7InfiniBand构建的非阻塞胖树网络。（这里解释下这个特性，可能之前你看到的大部分文章都是翻译软件翻译的杂乱语句，NVIDIAQuantum2CX7InfiniBand，指的是利用英伟达的Quantum2交换机、ConnectX7网络适配器、BlueField3数据处理单元（DPU）以及所有支持新架构的软件构建的非阻塞胖树网络。每个GPU400Gbs，这里有8个GPU，因为是无阻塞，所以是400Gbsx83200Gbs（3。2Tbs），也就是前面说的每个虚拟机带宽3。2Tbs的由来）NVSwitch和NVLink4。0在每个虚拟机中的8个本地GPU之间具有3。6TBs的分割带宽第四代英特尔至强可扩展处理器PCIEGen5主机到GPU互连，每个GPU带宽为64GBs16通道4800MHzDDR5内存
　　AI深度学习主要考验是GPU计算能力和数据传输带宽，从上面NDH100v5VM的特点看出已经全部性能拉满，而这一切正是为了适应GPT4和以后版本的超算需求。
　　2019年，微软和OpenAI建立了合作伙伴关系，并于今年延长，以合作开发新的AzureAI超级计算技术，加速AI的突破，兑现大型语言模型的承诺，并帮助确保AI的优势得到广泛分享。
　　两家公司开始密切合作，在Azure中构建超级计算资源，这些资源旨在使OpenAI能够训练一套不断扩展的日益强大的AI模型。该基础设施包括数千个NVIDIAAI优化的GPU，这些GPU在基于NVIDIAQuantum2CX7InfiniBand的高吞吐量、低延迟网络中连接在一起，以实现高性能计算。
　　微软已经部署了基于H100的超算平台，图片由微软提供
　　GPT4是OpenAI正在开发的一种新的语言模型，可以生成类似于人类语言的文本。它将进一步提升ChatGPT的技术，后者目前基于GPT3。5。GPT是生成式预训练变换器（GenerativePretrainedTransformer）的缩写，是一种使用人工神经网络来模仿人类写作的深度学习技术。GPT4的多模态运行能力可以同时处理文本、图像、语音和视频等多种输入和输出类型。这意味着它可以从文本生成图像或视频，也可以从图像或视频生成文本或语音。
　　为了满足OpenAI的超算需求，可以说这次微软下了血本，动用上亿美元构建升级超算平台，迎接人工智能的革命。参考资料：
　　微软对Azure的押注如何开启了一场人工智能革命来源（microsoft。com）