文心一言发布在即寒武纪思元590将迎首秀百度一定程度可替代A100

　　《科创板日报》3月15日讯（记者 郭辉）科技产业的＂大哉问＂——从去年的＂我们距离英伟达有多远＂到今年＂我们距离ChatGPT又有多远＂，一直缺乏极具事实性的有力回答。而随着百度即将于明日（16日）推出文心一言，百度方面关于国产最先进AI算力芯片思元590的使用体验也一并曝光，或为市场判断进一步提供依据。
　　日前网络流传的一份百度集团交流纪要显示，＂文心一言＂将调用超大规模算力，并且尝试使用寒武纪思元590替代英伟达A100。
　　截至发稿，百度方面并未就纪要内容置评。但据《科创板日报》记者与百度一位业务人士的交流了解，该项布局属实。寒武纪方面称思元590未正式发布，产品在百度相关项目中的应用需向公司业务部门了解，不过截至记者发稿，并未获得进一步回应。
　　纪要内容显示，疑为百度相关业务负责人回答称，同时选用英伟达与寒武纪等公司产品，是不愿被某一家供应商卡脖子。同时百度也希望进行一些备货，＂除了英伟达A100和寒武纪思元590，其他性能差一点的替代品也考虑＂。
　　对于供应商选择，该人士称在已经量产的情况下，会考虑到供应商自身业务体量和软件编程生态，并且在问答中详细比较了不同的国内厂商及其产品。
　　云端推理芯片方面，＂从性能表现上，以算力功耗密度为比较的参数，第一梯队是阿里，第二梯队是百度、寒武纪、遂愿，第三梯队是依图。从量产的成熟度考虑，已经量产并且已经对外独立商业输出的就是阿里、百度、寒武纪。＂不过百度没有选用阿里AI芯片，据称是由于市场反馈后者牺牲了通用性，导致使用场景相对较窄。
　　其中，百度方面以英伟达T4为标尺，认为百度、寒武纪、遂愿的云端推理芯片达到了英伟达T4性能水平。据了解，英伟达A100 GPU 在BERT训练和推理上的性能分别较前代v100提升了6倍跟7倍，但英伟达t4推理能力只有v100的60%。
　　图｜英伟达Tesla T4及A100在BERT上训练和推理性能比较
　　思元590是寒武纪最新一代云端智能训练芯片，该产品目前尚未正式发布。但在2022年世界人工智能大会上，寒武纪董事长陈天石在演讲中透露了该产品信息。
　　据介绍，思元590采用MLUarch05全新架构，实测训练性能较在售旗舰产品有大幅提升，能够提供更大的内存容量和更高的内存带宽，其IO和片间互联接口也较上代实现大幅升级。
　　如今看来，百度成为寒武纪思元590的首批尝鲜者，并且曝光产品首份＂开箱＂体验。纪要显示，百度人士认为思元590能够在一定程度上代替A100，但在软件适配度、稳定性方面仍显不足。
　　＂当时还没有出思元590的时候，我们认为（华为）昇腾910是国内唯一可以接近A100的卡。＂但从思元590目前在内部导入测试一些模型任务的完成进度来看，＂优于昇腾910＂。纪要显示百度相关人士表示，尽管思元590和A100不好直接去点对点的对比，但在整体性能上——至少在AIGC这种业务对于算力的需求上，＂可以一定程度上代替A100＂。
　　＂寒武纪基础软件平台的研发实力和相应的解决方案能力，是有大幅度提升的。在推理的加速引擎方面，从百度的视角来看，寒武纪所谓的MagicMind这套东西，可能觉得还是班门弄斧了，和百度相对比较健全的软件架构以及稳定性还有差距。＂
　　寒武纪芯片究竟能否代替英伟达A100的问题，当事人怎么看？
　　在今年的一场AI行业公开论坛中，寒武纪联合创始人、执行总裁王在曾表示，公司创新性架构已经在手机等硬件设备上得到了应用和验证，尤其是在2016年前后，寒武纪产品较英伟达更加高效。
　　但随着寒武纪有针对性地推出云端芯片，英伟达还是在过去几年中近乎独占了AI训练、推理市场。王在称，原因一方面是用户的使用习惯和迁移成本，另一方面还有易用性的问题。
　　＂基于我们本身架构的稳健性，其实我们潜力是有的。这几年寒武纪积累最多的，还是软件方面客户给予的反馈。＂王在表示：＂我个人认为，现阶段寒武纪相关产品已经可以达到包括A100等产品的水平。＂
　　市场调查机构TrendForce此前公布的报告指出，如果以英伟达A100显卡的处理能力计算，运行ChatGPT将需要使用到3万块英伟达GPU。有消息显示，刚刚发布的GPT-4将会达到100万亿参数，较ChatGPT所基于的GPT-3.5有着600倍的提升，对高性能算力芯片的需求将进一步提升。
　　百度方面则为支持文心一言的超大规模计算需求，已于今年3月完成百度阳泉智算中心升级。
　　鲸平台智库专家、方融科技高级工程师周迪表示，通过降低成本、服务器响应时间，一定程度上能够换取算力芯片可控性。＂由于GPU并行算力的特点，当算力不足的时候可以通过堆叠GPU数量的方式来提高算力。不过积极进行GPU堆叠并行的研究，寻求替代产品才是解决之道。＂