TLMs: Tiny LLMs and Agents on Edge Devices with @cormacb https://t.co/u0fHD7j5kZ Function Gemma s...
AI Engineer(@aiDotEngineer)168 字 (约 1 分钟)
85
本文介绍了Tiny LLMs和Agents在边缘设备上的应用，特别是Function Gemma模型在Pixel 7上的性能表现，以及开发者在设备上实现AI的两种路径：基于Gemma 4的技能框架和Eloquent生产转录应用。
入选理由：Function Gemma模型在Pixel 7上以270M参数运行，预填处理速度达到近2000 token/秒，出厂时在固定应用意图上准确率达到46%。
精选推文#Tiny LLMs#Edge Devices#Function Gemma#AI on Devices#Machine Learning中文