andrew chen(@andrewchen)

current homelab setup for local AI experimentation: - hermes box hosted on a Framework Desktop Main...

8.5内容质量

TL;DR · AI 摘要

Andrew Chen分享了其本地AI实验环境配置，包含Framework桌面主板、eGPU加速和多模型部署方案，但强调实际部署需权衡硬件成本与性能需求。

核心要点

  • Framework Desktop Mainboard AI Max+ 395搭配5090 eGPU可实现150+ tok/s的Qwen 3.8 27B模型推理
  • Deepseek v4 Flash 0731模型在DGX Spark上运行时性能优于Qwen但速度较慢
  • 作者建议避免购买eGPU，实际使用中存在性能与成本的权衡问题

结构提纲

按章节快速跳转。

  1. §实验环境架构

    介绍基于Framework桌面主板的AI实验平台核心硬件配置方案

  2. ·加速方案对比

    比较5090 eGPU与DGX Spark在不同模型上的性能表现差异

  3. ›混合部署策略

    描述本地模型与云端模型的智能路由插件实现方案

  4. ·设备选型反思

    分析eGPU的实际使用价值与成本效益比的矛盾性

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）
  • 家庭AI实验配置
    • 硬件架构
      • Framework主板+5090 eGPU
      • 2x DGX Spark
    • 软件部署
      • Qwen 3.8 27B
      • Deepseek v4 Flash 0731
    • 使用建议
      • 避免eGPU
      • 混合云本地路由

金句 / Highlights

值得收藏与分享的关键句。

#AI实验#硬件配置#本地AI#模型部署
打开原文

andrew chen on X: "current homelab setup for local AI experimentation: - hermes box hosted on a Framework Desktop Mainboard AI Max+ 395 - 5090 eGPU running Qwen 3.8 27B for fast tok/s LLM use - sometimes 150+ tok/s - 2x DGX Spark: running Deepseek v4 Flash 0731 - better but slower model - pi 5 for… / X

andrew chen

@andrewchen

当前的家庭实验室配置用于本地AI实验：

  • Hermes设备运行于Framework Desktop Mainboard AI Max+ 395主板
  • 5090 eGPU运行Qwen 3.8 27B模型，实现每秒150+ token的LLM推理速度
  • 2x DGX Spark运行Deepseek v4 Flash 0731模型（性能更优但速度稍慢）
  • Raspberry Pi 5用于监控
  • Mac mini作为开发工作站
  • 根据使用场景选择Herdr或ohmypi/codex/claude工具链
  • 设备主要存放在10英寸DeskPi mini机架中

Hermes默认使用本地AI，但通过自研路由插件（对接轻量级低TTFT模型Arch-Router）判断是否切换至云端/前沿模型。目标是逐步实现100%本地化，目前大概在60-70%左右。 Sparks主要用于批量处理后台任务（所有定时任务、长时间开发构建等）

你真的需要这么多设备吗？绝对不需要，我开玩笑的。我最初只买了Mac mini，但后来忍不住不断添置新设备！另外我后悔购买了eGPU，不建议任何人这么做。

9:21 PM · Sep 13, 2026

·

33.2K

Views

82

16

288

298