矩阵乘法无需相乘，速度提升100倍MIT大佬的新研究引发热议

　　机器之心报道
　　机器之心编辑部
　　在一篇被 ICML 2021 接收的论文中，MIT 的一位计算机科学博士生及其业界大佬导师为矩阵乘法引入了一种基于学习的算法，该算法具有一个有趣的特性——需要的乘加运算为零。在来自不同领域的数百个矩阵的实验中，这种学习算法的运行速度是精确矩阵乘积的 100 倍，是当前近似方法的 10 倍。
　　矩阵乘法是机器学习中最基础和计算密集型的操作之一。因此，研究社区在高效逼近矩阵乘法方面已经做了大量工作，比如实现高速矩阵乘法库、设计自定义硬件加速特定矩阵的乘法运算、计算分布式矩阵乘法以及在各种假设下设计高效逼近矩阵乘法（AMM）等。
　　在 MIT 计算机科学博士生 Davis Blalock 及其导师 John Guttag 教授发表的论文《 Multiplying Matrices Without Multiplying 》中，他们为逼近矩阵乘法任务引入了一种基于学习的算法，结果显示该算法显著优于现有方法。在来自不同领域的数百个矩阵的实验中，这种学习算法的运行速度是精确矩阵乘积的 100 倍，是当前近似方法的 10 倍。这篇论文入选了机器学习顶会 ICML 2021。
　　此外，在一个矩阵提前已知的常见情况下，研究者提出的方法还具有一个有趣的特性——需要的乘加运算（multiply-adds）为零。
　　这些结果表明，相较于最近重点进行了大量研究与硬件投入的稀疏化、因式分解和 / 或标量量化矩阵乘积而言，研究者所提方法中的核心操作——哈希、求平均值和 byte shuffling 结合可能是更有前途的机器学习构建块。
　　论文链接：https://arxiv.org/abs/2106.10860 代码链接：https://github.com/dblalock/bolt
　　对于研究者提出的无需相乘的矩阵乘法，各路网友给出了极高的评价。有网友表示：「这是一篇不可思议且具有基础性意义的论文。训练 ML 来寻找快速做 ML 的方法。」
　　也有网友表示：「这篇论文为实现更高效的 AI 打开了一扇门。」
　　对于有网友提到的「该研究在硬件实现方面似乎很有发展前景」，一作本人现身 reddit 并给出了回复：「我们的编码表示是密集矩阵，所以布局和访问模式看上去基本与 GEMM 内核相同，也就意味着可以很容易地使用脉动阵列或修正张量核心来实现。在 x86 上，一般只需要一个 vpshufb-add 指令和一个 4-bit 解包指令就可以了。」
　　下面来看这篇论文的技术细节和实验结果。
　　技术细节
　　具体来说，该研究专注于 AMM 任务，并假设矩阵是高的（tall），并且相对密集，存在于单个机器内存中。在这种设置下，研究者遇到的主要挑战是在给定保真度水平下最小化近似线性运算所需的计算时间。这种设置会很自然地出现在机器学习和数据挖掘中，当一个数据矩阵 A 的行是样本，而一个线性算子 B 希望应用这些样本，B 可以是一个线性分类器、线性回归器，或嵌入矩阵，以及其他可能性。
　　举例来说，考虑一个近似 softmax 分类器的任务，以预测来自神经网络嵌入的图像标签。在这里，A 的行是每个图像的嵌入，B 的列是每个类的权值向量。分类是通过计算乘积 AB 并在结果的每一行中取 argmax 来执行的。图 1 结果表明，在 CIFAR-10 和 CIFAR-100 数据集上，使用该研究的方法及其最佳性能竞争对手的方法近似 AB 的结果。
　　该研究所用方法与传统方法背离，传统的 AMM 方法构造矩阵 V_A,V_B ∈ R^(D×d) , d<

太阳系为何像个牛角包科技日报实习记者张佳欣太阳系存在于一个气泡中，空间物理学家称这个气泡为日光层。去年3月，总部设在波士顿大学的研究团队揭示了日光层的形状其模型就像一个牛角面包。最近，该团队解释了为什SpaceX将发射全世界首个太空加油站飞船可对接加注燃料马斯克的SpaceX公司准备利用猎鹰九号火箭发射月球着陆器，为美国宇航局重返月球计划做准备，作为SpaceX登月计划的一部分，美国两家太空公司Spaceflight和OrbitFa600光年外的行星，会是我们下一个家园吗？专家宜居带上的星球曾经你是否怀疑过，浩瀚的宇宙中难道只有人类生命的存在吗？在数以亿计的行星中，难道只有地球处于宜居带上吗？纵然，人类已经探索到太阳系内适宜生命存活的星球，例如土卫二，那么在太阳系外的恒星是母，行星是子原创马也Maye牛弹琴NTQ202112082156收录于话题恒星1个内容行星1个内容统一场论27个内容大统一理论26个内容量子生物与化学原理23个内容第二节，恒星，行星与卫星1。科学家发现永冻土层是另一个强效温室气体的新排放源它可能不是气候变化讨论中的头条明星，但一氧化二氮（N2O）仍是一种强大的温室气体并且现在看来，我们可能低估了正在释放的数量。一项新研究发现，西伯利亚永久冻土层的融化是一个巨大的以前第九大行星浮出水面根据玛雅历法它是灾星还是太阳之子不久以前，科学家在外太阳系柯依伯带中，发现了一些异样，一些小行星的轨道明显发生了变化。根据计算，这种变化只有在它们周围有大行星运动时才会产生。难道这颗大行星就是传说中的第九大行星尼太空通信的革命激光通信下面这张美国宇航局激光通信中继演示图，展示了如何使用不可见的红外激光在太空任务和地球上的地面站之间进行通信的状况。太空中激光通信在太空中使用隐形激光听起来可能像科幻小说里的东西，但美国宇航局正在测试太空激光器，以便将数据发射回地球在太空中交流可能是一项挑战。但在12月7日凌晨，美国宇航局启动了激光通信中继演示（LCRD），该演示计划使用一种流行的科幻概念隐形激光来改善空间对地通信。基于NASA2013年月球SpaceX成功发射美国宇航局IXPE马斯克的SpaceX越来越成熟，SpaceX今年再次打破自己的商业火箭发射记录，届时猎鹰9号将新的NASA航天器从佛罗里达州送入轨道。埃隆马斯克的spacex在2020年总共完成了已知时间如何结束，求时间如何开始？科幻网12月9日讯（朱曦薇）河水向下游流，树叶落在地上，热水变凉这些自然现象固有的方向性被称为时间之箭。时间就像一只箭，射向未知的前方，把过去永远留在后面。19世纪中期，物理学家们神舟十三天宫课堂开课，太空不存在基站，如何和地球打视频？神舟十三号的升空，对我们的太空旅行有着浓厚的色彩，更是拥有着浓厚的意义，这标志着我们国家的太空实力也在不断的增强，而在神舟十三的三名宇航员中，分别为是翟志刚王亚平叶光富，这三位航天
<<<<<<－>>>>>>