【CNMO科技动静】近日，于特斯拉CEO埃隆·马斯克公然点赞中国AI公司Kimi的最新研究结果后，Kimi官方账号在3月17日以诙谐口气回应：“你的火箭造患上也不错！”

据CNMO相识，事务的因由是3月16日，月之暗面（Kimi）发布了一项关在年夜模子基础架构的研究，提出“Attention Residuals”（留意力残差）机制，对于深度进修中沿用近十年的残差毗连举行了从头设计。传统残差毗连采用固定、匀称的累加方式，而Kimi的新要领让每一一层可以或许选择性地存眷此前各层的输出，从而晋升练习效率。据Kimi官方披露，于48B参数的模子上，该机制使练习效率晋升了1.25倍。

该研究迅速引起了学界及业界存眷。马斯克于社交平台X上转发并评论：“Impressive work from Kimi”（Kimi这项研究干患上美丽）。随后，前OpenAI研究科学家Andrej Karpathy也发文称，该研究真正践行了“Attention is All You Need”的理念；被誉为“推理模子之父”的前OpenAI研究副总裁Jerry Tworek更是直言“深度进修2.0来了”。这些来自全世界顶尖AI专家的承认，凸显了Kimi这次技能冲破的份量。

版权所有，未经许可不患上转载

【CNMO科技动静】近日，于特斯拉CEO埃隆·马斯克公然点赞中国AI公司Kimi的最新研究结果后，Kimi官方账号在3月17日以诙谐口气回应：“你的火箭造患上也不错！”

据CNMO相识，事务的因由是3月16日，月之暗面（Kimi）发布了一项关在年夜模子基础架构的研究，提出“Attention Residuals”（留意力残差）机制，对于深度进修中沿用近十年的残差毗连举行了从头设计。传统残差毗连采用固定、匀称的累加方式，而Kimi的新要领让每一一层可以或许选择性地存眷此前各层的输出，从而晋升练习效率。据Kimi官方披露，于48B参数的模子上，该机制使练习效率晋升了1.25倍。

该研究迅速引起了学界及业界存眷。马斯克于社交平台X上转发并评论：“Impressive work from Kimi”（Kimi这项研究干患上美丽）。随后，前OpenAI研究科学家Andrej Karpathy也发文称，该研究真正践行了“Attention is All You Need”的理念；被誉为“推理模子之父”的前OpenAI研究副总裁Jerry Tworek更是直言“深度进修2.0来了”。这些来自全世界顶尖AI专家的承认，凸显了Kimi这次技能冲破的份量。

版权所有，未经许可不患上转载