Measuring Performance of Transformer Inference
Transformer推理性能需通过延迟、吞吐量等指标衡量,需关注首token时间、内存使用及多GPU优化。
入选理由:首token时间(TTFT)和每输出token时间(TPOT)是衡量用户感知延迟的关键指标。
产品
Python科学计算库,提供百分位数计算功能
已跟踪 9 条高相关材料
最近变化
2026-08-04 · 首token时间(TTFT)和每输出token时间(TPOT)是衡量用户感知延迟的关键指标。
为什么值得关注
NumPy 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
Measuring Performance of Transformer Inference
Machine Learning Mastery · 8.5 分
Transformer推理性能需通过延迟、吞吐量等指标衡量,需关注首token时间、内存使用及多GPU优化。
57场面试杀进OpenAI!华人博士开源「AI面经」,含泪推荐
量子位 · 8.5 分
华人博士Alisa开源AI求职经验,含57场面试细节与OpenAI入职攻略。
Stop Writing Loops in Pandas: 7 Faster Alternatives to Try
KDnuggets · 8.5 分
避免在 Pandas 中使用循环,采用 7 种更高效的数据处理方法,提升性能。
已收录 9 条与 NumPy 相关的内容,按评分排序。
Transformer推理性能需通过延迟、吞吐量等指标衡量,需关注首token时间、内存使用及多GPU优化。
入选理由:首token时间(TTFT)和每输出token时间(TPOT)是衡量用户感知延迟的关键指标。
华人博士Alisa开源AI求职经验,含57场面试细节与OpenAI入职攻略。
入选理由:Alisa共面试57场,最终入职OpenAI。
避免在 Pandas 中使用循环,采用 7 种更高效的数据处理方法,提升性能。
入选理由:使用向量化操作替代循环,提升计算效率。
使用 NumPy 的向量化、原地操作和内存视图可显著提升数值计算性能。
入选理由:使用 NumPy 的向量化和广播机制替代显式循环,可提升性能。
Pandas 仍是数据处理的首选工具,因其功能强大且社区支持广泛。
入选理由:Pandas 在数据清洗和转换方面具有显著优势。
本文讲解如何用Python从零构建向量搜索系统,通过NumPy实现嵌入向量的存储、归一化和余弦相似度计算。
入选理由:使用NumPy构建向量搜索系统
本文介绍了数据科学家必须掌握的5个Python核心概念,重点强调了NumPy向量化和广播机制在提升数据处理性能中的关键作用,通过对比传统循环与向量化实现,展示了性能提升可达26倍以上。
入选理由:使用NumPy向量化可将数组运算速度提升至传统Python循环的26倍以上
本文介绍如何使用 Mimesis 工具结合数学模型生成一年期的 IoT 传感器时间序列数据,重点模拟温度随季节变化的波动模式,并包含设备元数据,适用于机器学习和数据分析场景。
入选理由:使用 Mimesis 生成随机设备元数据,包括 device_id、location、firmware_version 和 ip_address。
本文介绍如何结合LLM嵌入和元数据过滤,在Python中构建上下文感知的语义搜索引擎。
入选理由:使用本地预训练模型生成384维向量,无需API密钥即可实现语义搜索。