世界上最大的芯片CerebrasCS2，解锁人脑AI模型

　　【美国华人网综合报道】CerebrasSystems今天宣布，他们已经创造了第一个人脑级的人工智能解决方案一个可以支持120万亿参数AI模型的单一系统，击败了人类大脑中存在的100万亿突触。相比之下，用于人工智能工作负载的GPU集群通常最高可达1万亿个参数。Cerebras可以通过单一的85万内核系统实现这一行业首创，但它也可以将工作负载分散到多达192个CS2系统，以解锁更多性能。
　　作为人类已知的速度最快的人工智能处理器，CerebrasCS2无疑是地球上最独特的半导体设备之一。凭借46，225平方毫米的芯片，2。6万亿晶体管，以及85万个人工智能优化核心，所有这些都封装在一个7纳米晶片大小的处理器上，其计算能力是无与伦比的。
　　然而，每个巨大的芯片嵌入一个CS2系统，即使它有足够的内存，可能会限制人工智能模型的大小。该芯片拥有40gb的单片SRAM内存，但增加了额外内存的外部机柜，可以运行更大的人工智能模型。
　　可扩展性也是一个挑战。由于20pb的内存带宽和220pb的总结构带宽，使用在处理器之间共享全部工作负载的传统技术在多个芯片之间进行通信具有挑战性。该系统极高的计算能力也使得跨多个系统的扩展性能尤其具有挑战性尤其是考虑到该芯片的功耗为15kW。这需要定制的散热和供电系统，这使得在单个系统中植入更多晶片大小的芯片几乎是不可能的。
　　Cerebras的多节点解决方案采用了不同的方法：它将模型参数存储在MemoryX中，同时将模型保存在芯片上。这不仅允许单个系统计算可以运行比以往任何时候都更大的AI模型，而且还可以解决典型的延迟和内存带宽问题，这些问题通常会限制GPU等较小处理器的可扩展性。另外，Cerebras公司表示，这项技术允许系统在192个CS2系统中以近乎线性的方式扩展性能。
　　该公司使用其SwarmXFabric在节点之间扩展工作负载。这种互连结构由该公司的人工智能优化通信结构组成，该结构在PHY层上有以太网，但运行定制协议，在结构上传输压缩和减少的数据。每个SwarmX交换机支持多达32个CerebrasCS2系统，为每个节点提供近1万亿比特的带宽。
　　交换机将系统连接到MemoryX盒，该盒具有从4TB到2。4PB的内存容量。这款内存包含了闪存和DRAM，但该公司没有发布闪存与DRAM的比例。这台设备可以存储多达120万亿的数据，还拥有少数x86处理器来运行系统的软件和数据。
　　当然，世界上只有几百个客户可以使用这种系统，但Cerebras的目标是简化运行的人工智能模型，使其规模轻松超过任何现有模型。包括军事和情报部门的许多客户，他们可以将这些系统用于多种目的，包括核建模，但Cerebras不能透露客户信息。我们知道该公司与阿贡国家实验室合作，他们对新系统进行了评论：
　　阿贡国家实验室副主任RickStevens说：过去几年向我们表明，对于NLP模型，性能与参数直接相关参数越多，结果越好。Cerebras的发明将提供100倍的参数容量，可能有潜力改变整个行业。这将是我们第一次能够探索人脑级的模型，为研究开辟广阔的新途径。
　　欢迎到FuninUSA论坛讨论