Building Legal Agents When You Can't See the Data - Jacob Lauritzen, CTO of Legora

TL;DR · AI 摘要
Legora通过模拟客户工作场景和模型优化,在无法查看数据的情况下成功构建法律代理,展示了法律科技的创新实践。
核心要点
- Legora使用模拟客户工作场景的测试环境,准确率从70%提升至99%无需模型变更
- 法律代理技术选型优先Azure而非ElevenLabs,因需满足法律行业数据合规要求
- 当前模型已能完成60%法律工作,但复杂合同起草仍需更智能模型
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- 法律代理技术挑战
- 数据隐私约束
- 模拟环境测试
- 客户数据隔离
- 模型优化
- 准确率提升案例
- Azure技术选型
- 行业影响
- 法律工作模式变革
- 初级律师角色转型
金句 / Highlights
值得收藏与分享的关键句。
通过模拟客户工作场景的测试环境,Legora在不修改模型的情况下将引用准确率从70%提升至99%
法律代理系统完全运行在Azure平台,避免使用ElevenLabs等可能暴露敏感数据的语音服务
当前主流模型已能完成60%的法律工作,但复杂合同起草仍需更智能的模型支持
在无法查看数据时构建法律代理 —— Jacob Lauritzen,Legora首席技术官 —— 潜在空间
Legora无法查看其代理人为律师执行的任何操作记录。数据属于律师事务所的客户。当无法查看代理人的工作时,如何构建和测试代理人?
Jacob Lauritzen是Legora的首席技术官,Legora是法律科技历史上增长最快的公司之一。团队最初在斯德哥尔摩的地下室里,使用ChatGPT、瑞典法律和一个搜索工具起步。如今,律师可以使用Legora来撰写和编辑Word文档、在单一表格中审查10,000份合同,或执行尽职调查。该代理还协调律师、客户和其他代理之间的协作。当Legora进行收购时,团队也使用该工具进行尽职调查。
我们讨论的内容
• 为什么Legora多年来一直拒绝添加模型选择器,以及最终为何添加了它
• Jacob估计现有模型已经能够胜任约60%的法律工作,而其余部分需要更智能的模型
• 三位工程师和三位律师如何构建基于客户工作场景的测试环境,这与强化学习中使用的“世界”类似
• 一个引用问题,模型在一次发布后将正确率从70%提升至99%。Legora无需进行任何更改
• 为什么Legora选择在Azure上运行所有服务,以及为何不使用ElevenLabs
• 表格审查,行业沿用至今的百万单元格电子表格
• 接入流程如何运作,代理如何创建列表,以及列表如何触发另一个代理
• 法律工程师和前线部署工程师各自职责,以及谁有权编写代码
• Jacob曾用“300名斯巴达战士”的幻灯片论证20名工程师将永远足够。如今团队已有100人,他仍觉得人手不足
• 为什么Jacob认为Fable和Opus在起草文件时过于啰嗦,而更喜欢Astra简洁的写作风格
• 为什么起草长合同是一个搜索问题
• 模型实验室是否会像限制编程工具那样限制法律工具
• 律所合伙制、计时收费和初级律师职位将发生什么变化
Legora正在纽约、斯德哥尔摩和伦敦招聘工程师。
章节
0:00 冷启动
0:40 认识Jacob Lauritzen,Legora首席技术官
1:05 从斯德哥尔摩地下室的弱势起步
1:54 Legora如何从ChatGPT和瑞典法律发展为法律代理
4:12 从助手到代理的转变
5:23 Legora使用的模型及为何添加模型选择器
7:48 当前模型是否足以满足律师需求
8:20 九个月前代理无法完成的任务
9:18 在模拟世界和包含10,000个文件的数据室中测试代理
10:07 评估团队与Legora的100名法律工程师
11:03 当评估似乎不值得时,一次发布将引用准确率从70%提升至99%
赞助
您的赞助广告在此
接触正在构建未来AI工程师
潜在空间被负责部署代理、模型和基础设施的工程师阅读。咨询赞助此位置事宜。
12:18 五到十年后法律实践可能的面貌
14:18 律所合伙制模式能否存续?
16:40 法律助理和初级律师将面临什么?
18:00 计时收费及早期法律科技的不足之处
19:39 资金流向何处
22:44 Legora如何使用其产品进行收购尽职调查
23:59 瑞典和美国律所的差异
26:12 在无法查看操作记录时的产品指标
27:41 重述操作记录并缩小故障类型至10到20种
28:42 数据隐私如何促使Legora选择在Azure上运行所有服务
30:04 开放权重模型与模型套利
30:55 语音转录模型与Legora为何不使用ElevenLabs
33:33 代理系统、表格审查、项目与Word插件
34:24 律师如何使用表格审查功能
35:51 为什么电子表格有效以及从前10行能学到什么
37:53 Slack中法律接待机器人的运作方式
39:11 代理如何创建列表以及列表如何启动代理
40:15 在相同模块上构建产品与收购Wexler
42:37 Legora的前部署工程师职责
43:52 法律工程师与前部署工程师如何为大客户实施上线
46:43 前部署团队未来一年的发展规划
47:24 为什么Legora拒绝开发API
49:26 代理能否作为API使用?
50:12 300名斯巴达战士幻灯片与维持20人团队的计划
51:32 那些无人要求Legora做出的决策
53:05 法律研究的后训练开放权重模型
54:05 搜索、检索与后期交互
54:51 优秀法律代理的关键特征以及起草工作如何依赖搜索
56:25 哪个模型能写出最佳草案?
57:03 幻觉现象与Legora的引用系统
57:41 律师会检查引用来源吗?
58:19 使用MapReduce还是百万词上下文窗口处理合同?
1:00:16 获取匿名示例与购买律所数据的构想
1:01:53 为什么Jacob建议避免使用默认嵌入
1:02:44 律师会在Legora工作还是通过Claude工作?
1:03:26 模型实验室会切断Legora的接入吗?
1:04:24 法学院与计算机专业奖学金
1:05:28 在纽约、斯德哥尔摩和伦敦的招聘
1:06:09 为什么大多数工作最终都会变成法律工作
嘉宾 —— Jacob Lauritzen,Legora首席技术官
https://legora.com
联合主持人 —— swyx,Latent Space
主持人 —— Basil Chatha,Forward Deployed
https://forwardeployed.com