Transformer

Transformer 架构虽仍主导当前 AI 发展，但其局限性促使 postTransformer 路径探索；未来智能可能来自混合架构与更高效推理机制，而非单一范式。

Apple发布TIDE模型，通过分层上下文感知机制，显著提升长序列建模能力，推理延迟降低37%，内存占用减至45%。

GPT-1 提出通过无监督生成式预训练加任务微调的两阶段方法，显著提升自然语言理解能力，奠定大模型发展基础。

实测显示，MiniMax M3在多模态长程任务上显著优于M2.7，推理速度提升约30%，准确率提升约15%。

从TF-IDF到Transformer，文章通过四个阶段展示了语义搜索的演变过程，揭示了现代系统如何从手动设计特征转向直接从数据学习抽象意义。

即使假设实现通用人工智能(AGI)需要新的范式，基于林迪定律推算其出现时间仍可能落在未来3至5年内，因此不应低估当前AI发展的风险。

GenCAD 是一种基于图像条件的 CAD 生成模型，能够生成参数化 CAD 命令序列和 3D 固体模型。

预测极其罕见的太阳耀斑事件具有挑战性但意义重大，文章探讨了如何通过 Transformer 模型解决尾部事件预测问题。

文章探讨了测试时计算和链式思维对模型性能的提升机制。

AI发展受物理基础设施制约，普通人通过数据中心审批获得对AI发展的否决权，成为对抗科技巨头的新力量。

Unified Neural Scaling Laws 提出了一种统一的神经网络缩放定律，适用于多种神经架构，包括 CNN、RNN 和 Transformer。该定律揭示了神经网络性能与参数量之间的关系，为模型设计和优化提供了理论依据。

神经符号系统正在崛起，通过将深度学习与符号推理结合，如在80万参数Transformer中嵌入逻辑求解器机制，可在仅1500万训练计算量下实现极端数独100%准确率，标志着AI推理能力的重要突破。

AI算力成本持续下降，推动更多行业应用落地。

本文提供了现代大型语言模型中的注意力变体的视觉指南，包括自注意力和多头注意力，并展示了几个代表性模型。