TLMs: Tiny LLMs and Agents on Edge Devices with LiteRT-LM — Cormac Brick, Google
AI Engineer1303 字 (约 6 分钟)
72
Google 提出 TLMs（Tiny Language Models）与 LiteRT-LM 框架，支持在边缘设备上高效部署轻量级 LLM 和自主 Agent，兼顾低延迟、隐私保护与离线能力。
入选理由：TLMs 是专为边缘设备优化的 sub-100M 参数 LLM，通过结构压缩与量化实现毫秒级推理。
精选视频#LLM#edge computing#Google#LiteRT-LM#TLM英文