T
traeai
登录

概念

Mixture-of-Experts

别名:MoE

一种模型架构方法,通过专家网络的组合实现计算效率与性能的平衡。

已跟踪 11 条高相关材料

TraeAI 观察

相关材料

已收录 11 条与 Mixture-of-Experts 相关的内容,按评分排序。

ollama(@ollama) 图标

@thinkymachines Model page: https://t.co/6V0FYri3x8

ollama(@ollama)51 字 (约 1 分钟)
85

ollama发布594B参数的Mixture-of-Experts模型,支持图像输入和1M上下文,专为代理编码和知识工作设计。

入选理由:inkling-2-small模型参数量达594B,采用17B激活专家架构

精选推文#AI模型#Mixture-of-Experts#图像输入#长上下文英文
来自:https://t.co/c0J98gds7s

来自:https://t.co/c0J98gds7s

AI Will(@FinanceYF5)81 字 (约 1 分钟)
85

当前20个最佳开源模型中18个采用Mixture-of-Experts架构,密集模型已基本被淘汰。

入选理由:Mixture-of-Experts(MoE)架构已占据当前20个最佳开源模型中的18个

精选推文#AI模型#Mixture-of-Experts#开源#深度学习英文
Hugging Face Blog 图标

Welcome Le Chonk: Mistral Large 4 on Hugging Face

Hugging Face Blog2615 字 (约 11 分钟)
85

Mistral Large 4模型在网络安全和多模态处理方面表现突出,参数达49B,支持1M上下文窗口,提供FP8和NVFP4两种版本。

入选理由:Mistral Large 4在网络安全测试中得分82%,远超其他封闭模型。

精选文章#Mistral Large 4#多模态模型#网络安全#Hugging Face#Mixture-of-Experts英文
The sleep framework: A new way for LLMs to retain knowledge in continual learning

The sleep framework: A new way for LLMs to retain knowledge in continual learning

Google Research Blog1332 字 (约 6 分钟)
85

Google提出睡眠框架,通过模拟人类睡眠机制让LLM在持续学习中保留长期知识,实验显示可保留10M tokens上下文并提升推理能力。

入选理由:睡眠框架通过活跃阶段与睡眠阶段交替,使LLMs保留长达10M tokens的长期知识

精选文章#LLM#持续学习#睡眠框架#Google Research英文
Inside the Model Factory — Eiso Kant, Poolside AI

Inside the Model Factory — Eiso Kant, Poolside AI

Latent Space27049 字 (约 109 分钟)
85

Poolside AI通过模型工厂技术实现高效训练,其Laguna S 2.1模型以118B参数规模超越竞品,揭示AGI研发路径与工程实践细节。

入选理由:模型工厂支持每月10,000–20,000次实验,实现8周内完成模型从预训练到发布的全流程

精选文章#AI模型#模型工厂#AGI#Poolside AI中英混合
Hugging Face Blog 图标

Introducing North Mini Code: Cohere’s First Model For Developers

Hugging Face Blog2871 字 (约 12 分钟)
85

Cohere 发布 North Mini Code,一个 30B 参数的 Mixture-of-Experts 模型,专为开发者设计,在多个代码生成基准测试中表现优异。

入选理由:North Mini Code 是 Cohere 首个专为开发者设计的模型,参数量为 30B,其中 3B 为活跃参数。

精选文章#Cohere#模型#代码生成#Mixture-of-Experts#AI英文
Nemotron 3 Ultra is coming.

Nemotron 3 Ultra 即将推出

NVIDIA Developer395 字 (约 2 分钟)
85

Nemotron 3 Ultra是NVIDIA推出的开源AI模型,基于SSM和Mixture of Experts混合架构,推理速度比现有最佳开源模型快5倍,运行成本降低30%。

入选理由:Nemotron 3 Ultra采用SSM与Mixture of Experts混合架构,推理速度比现有最佳开源模型快5倍。

精选视频#NVIDIA#AI模型#开源#SSM#Mixture of Experts英文
Scaling the Next Paradigm of Heterogeneous Intelligence — Adrian Bertagnoli, Callosum

扩展异构智能的新范式

AI Engineer2811 字 (约 12 分钟)
78

异构智能是未来AI发展的关键范式,通过融合不同架构、规模和硬件的模型协同工作,提升复杂问题解决效率。

入选理由:当前AI发展正从同质化向异构化演进,如Mixture of Experts和多代理系统已初现端倪。

精选视频#AI#异构计算#多代理系统#模型架构#硬件加速英文

跨材料问答 · Mixture-of-Experts

回答基于:Mixture-of-Experts 相关 11 条材料
    0 / 500

    AI 可能会生成不准确的信息,请核实重要内容