2026 年 3 月 16 日，Kimi 团队把一篇叫 Attention Residuals 的论文挂上了 arXiv，然后事情迅速失控。马斯克转发了，Karpathy 评了一句“我们还没有真正把 Attention is All You Need 的标题当回事”，前 OpenAI 联合创始人 Jerry Tworek 直接给了四个字，deep learning 2.0。一篇来自中国团队的架构论 ...

近日，Kimi团队发布了名为《Attention Residuals》的论文，引起了业界的广泛关注。该论文提出了一种新的技术，旨在提高算力效率，为人工智能领域的发展注入新的动力。 随着人工智能技术的不断发展，算力成为了制约其进一步发展的重要因素之一。Kimi团队深知算力的重要性，因此在研究中一直致力于探索如何提高算力效率。此次发布的论文中，他们提出了一种名为“Attention Residuals ...

机器之心编辑部2025 年 4 月，Sand.ai 开源了 MagiAttention v1.0.0，定义了下一代分布式 Attention 的全新设计和系统框架。历经一年的深耕，今天 Sand.ai 正式发布：MagiAttention ...

Transformer已满8岁，革命性论文《Attention Is All You Need》被引超18万次，掀起生成式AI革命。 Transformer，八岁了！ 开创如今这场生成式AI革命的论文《Attention Is All You Need》迎来了第8个年头。 Transformer催生了ChatGPT、Gemini、Claude等诸多前沿产品。 更重要的是，它让人类 ...