How lemonflow built real-time agents for EV charging using Gemma and TPUs

TL;DR · AI 摘要
Lemonflow利用Gemma和TPUs构建实时代理,解决电动汽车充电中的高延迟和API瓶颈问题。
核心要点
- 使用TPU将对话延迟控制在800ms以内,避免用户中断
- 自研Gemma模型解决30种CPMS系统碎片化问题
- 定制化代理需适配不同运营商的费率、支付方式和客服流程
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- 实时代理构建方案
- 技术挑战
- 延迟阈值
- API瓶颈
- 碎片化系统
- 解决方案
- TPU部署
- Gemma模型
- 动态工具调用
- 实施成果
- 90秒/用户
- 90+语言支持
金句 / Highlights
值得收藏与分享的关键句。
测试显示延迟超过800ms会导致用户中断对话
使用TPU后API延迟从1.7s降至稳定0.8s
需适配30种CPMS系统各异的API和数据模型
使用 Gemma 和 TPUs 为电动汽车充电构建实时代理 | Google Cloud 博客
初创公司
Lemonflow 如何使用 Gemma 和 TPUs 为电动汽车充电构建实时代理
2026年11月11日
##### Lukas Fieber 博士
Lemonflow 联合创始人兼首席技术官
##### Konstantin Huneke
Lemonflow 联合创始人兼首席执行官
##### 今天就试用 Gemini
职场人工智能的入口
立即试用
欢迎回到《蓝图》,这是我们的定期专栏,重点介绍 Google Cloud 客户如何利用最新的人工智能和云技术,在各个行业中应对独特和常见的挑战。我们希望为那些寻求在工作中进行创新的人带来启发。
随着欧洲电动汽车革命的加速,每一次充电都是一次关键时刻,对驾驶员和整个转型进程而言都是如此。在 Lemonflow,我们构建了专为电动汽车充电设计的 AI 代理:面向驾驶员的支持代理和面向充电网络的监控代理。我们的支持代理全天候用超过 90 种语言为驾驶员提供服务,目前每 90 秒就能帮助一位电动汽车驾驶员。
挑战
在创立 Lemonflow 之前,我们与欧洲领先的出行企业密切合作,亲眼目睹了充电失败的频繁发生:在欧洲,15% 到 25% 的电动汽车充电尝试以失败告终。在欧洲快速增长的电动汽车市场中,2025 年电池电动汽车销量增长了 30%,数千家充电桩运营商运营着公共充电桩,遇到充电中断的驾驶员常常被困或陷入缓慢的客服排队系统。
我们决心通过实际行动改变这一现状:将人工智能的前沿技术引入电动汽车充电领域,并打造全球最佳的分布式硬件对话式人工智能平台,通过电话、聊天、电子邮件和 WhatsApp 实时解决充电问题。然而,处理实时语音支持带来了多项技术要求:
- 严格的延迟阈值:沮丧的驾驶员希望立即获得帮助。我们的测试证实,延迟超过 800 毫秒会导致对话中断,使驾驶员打断代理并破坏交互流程。
- 管理 API 瓶颈:最初依赖托管 LLM API 时,我们在高峰时段面临延迟波动(从 1.0-1.2 秒激增至 1.7 秒以上),并在全球使用高峰时遇到 HTTP 429 速率限制错误。
- 计算密集型对话:每个代理都基于一个全面的提示,配合动态工具调用,读取并操作实时充电桩数据。这种设计在通话期间会产生强烈的计算需求,使得在高峰负载下保证共享托管容量的吞吐量变得困难。
- 高度碎片化的生态系统:我们需要一个标准化的对话引擎,能够连接约 30 个不同的充电桩管理系统(CPMS),这些系统是运营商用来运行充电桩的后端系统,每个系统都有自己的 API、数据模型和特殊性。
- 数百个定制代理:没有两个运营商的支持方式是相同的。每个运营商都有自己的费率、支付方式、升级路径和人工支持时间,大多数运营商运行多个代理,例如按国家、品牌或热线划分,其行为可能随时间变化。每个代理的提示都是唯一的,必须在不破坏其他代理的情况下实现全速服务和持续优化。
为了实现超低延迟的语音交互和保证的服务容量,我们需要对模型托管环境进行直接控制。
解决方案
我们希望每一名驾驶员都能获得无缝且近乎魔法般的顶级支持:无需排队,无需菜单,只需一次简短对话,最终实现车辆充电。想象一位驾驶员在长途跨境旅行中,于凌晨11点驶入高速公路服务区。她插上充电枪,但充电器无法启动:上一次会话未能正确关闭。她拨打充电器上的号码,电话立即用她自己的语言接通。几秒钟内,我们的客服人员在充电器日志中发现卡住的会话,远程重启充电器,并持续在电话中陪伴直至电力开始流动。
为实现这一目标,我们解决了延迟瓶颈并确保了专用计算资源。我们从托管API迁移至在欧盟的Google Cloud TPU v6e硬件上自托管开放的Gemma 4模型。
与许多使用Gemma的初创公司一样,这些开放模型与Gemini的兼容性使我们能够以最小的修改过渡到现有提示基础设施。
转向自托管TPU使我们的工程团队能够获得更完整的架构控制权,从而建立处理电动汽车特定防护措施、防范提示注入、并在任何LLM处理之前将之前碎片化的后端协议标准化为内部格式的确定性核心层。这种控制带来了第二个好处:由于模型和服务堆栈仅在我们主动更新时才会变化,所有测试结果始终保持有意义。这种稳定性为Agent Coach奠定了基础,这是我们下面描述的AI代理后台教练引擎。
随后,我们开发了一个智能路由网关,根据运营紧急程度优先处理工作负载:首先处理实时语音通话,其次是网络聊天,最后将自动化重模拟推迟到低流量时段。
对开源vLLM服务引擎的定制优化以及TPU与主机内存之间的内存分层,使单个TPU切片能够保持更多操作员代理随时待命,无需重新计算其上下文即可提供即时回答。
我们还实现了自动回退路由至自托管GPU和Gemini Enterprise端点。得益于TPU的可靠性,Gemma能够处理超过99.9%的所有实时对话轮次,这些回退机制主要在系统更新期间作为部署缓冲区使用。无论是主路径还是回退路径,每项请求都来自安全的欧盟计算资源。
架构
成果
对于与我们合作的电动出行公司及其驾驶员而言,结果是真正有效支持:我们的代理通常会接听所有来电,处理超过80%的对话而无需人工介入,并获得了95%的驾驶员满意度。幕后,我们在Google Cloud TPU上自托管Gemma彻底改变了我们的表现:
- 快速部署周期:提示更新和测试周期时间从2-3小时缩短至约10分钟,改进速度提升了十倍以上。
- 毫秒级服务延迟:我们将P50延迟降至约350毫秒,P90延迟降至约600毫秒。这比我们托管API的基准快了约三倍,足以显著减少客户打断通话的情况。
- 零限流和稳定延迟:专用TPU基础设施消除了HTTP 429速率限制错误,延迟在下午高峰通话流量期间始终保持稳定。
- 无限制测试:在专用容量上,所有实时对话未使用的TPU周期都转化为测试容量,因此我们的团队可以随意进行实验和验证。
- 专为扩展而设计:目前,我们的代理支持全球17个国家超过40个充电网络,覆盖超过25万个充电桩,全天候提供服务。这只是开始:同一平台已准备好扩展至更多网络和市场。
通过增加计算能力,我们推出了Agent Coach,一个后台引擎,可在实时通话中为代理提供相关上下文,并将真实对话转化为永久测试用例,使每次通话都让下一次表现更优。我们还增加了夜间自动化回归测试,覆盖数千个固定对话场景。
展望未来,我们正准备在Ironwood(谷歌第七代TPU)可用时立即迁移到该平台。Ironwood每块芯片的高带宽内存是原来的六倍,这将使单个TPU能够保持更多运营商代理在内存中待命,从而实现即时响应。
最终,我们的目标是确保任何司机都不会在充电桩前被困。司机将立即以自己的语言获得专家级解答,必要时远程重启充电桩,我们的AI监控代理将在下一位司机察觉之前发现并解决故障。专用Cloud TPU上的开放模型为我们提供了速度和控制力,使这一标准在欧洲得以实现。
技术细节
我们的平台运行两种AI代理:实时与司机对话的支持代理,由Cloud TPU上的Gemma提供低延迟服务;以及在Gemini上运行的监控代理,用于在后台分析对话和充电桩日志,使运营商能在影响下一位司机前解决问题。为确保平台在多种电动汽车相关企业(从充电桩运营商(CPO)、电动汽车服务提供商(eMSP)到充电桩制造商)中保持核心一致性,lemonflow构建了翻译层,将各种CPMS接口转换为标准化格式。
当司机拨打充电桩上显示的客服热线时,通话会通过运营商自有热线接入我们的对话引擎。引擎随后实时从运营商的CPMS系统中提取充电桩的实时状态和Open Charge Point Protocol(OCPP)日志(充电桩与后台系统通信的消息)。由于充电站通常没有数字显示屏,司机经常不了解潜在问题,例如待处理的移动3D-Secure支付授权、会话超时、未启用漫游功能的充电卡、本地负载管理导致的功率降低,或车辆因自身充电限制结束会话。我们的引擎会将结构化日志摘要直接传输至TPU上的Gemma,用于与司机的互动。
直接模型控制使我们能够选择性地流式传输令牌输出。部分文本令牌会立即传输至我们的文本转语音(TTS)引擎,而结构化工具调用令牌则异步传输至后端系统,执行实际操作,例如远程重启充电桩、解锁卡住的电缆、停止未正确结束的会话、通过短信或电子邮件向司机发送详细信息,或通知服务技术人员。
确定性安全控制在输入到达TPU托管的LLM之前进行筛选,阻止恶意提示。该架构专为满足欧洲关键基础设施要求而设计,同时保持对话的流畅性,典型响应时间约为350毫秒。
最终,所有这些都应该对驾驶员保持透明:他们只需获得快速响应和正常工作的充电器。我们很自豪能与Google Cloud合作,使这一标准成为常态,并帮助电动汽车的普及持续增长。
分类
- Startups
- Manufacturing
- Customers