HORIZON 日报

一份新的技术报告详细介绍了在使用 vLLM v0.18.0 的 96 块 NVIDIA B200 GPU 集群上，运行 Qwen 3.5 27B 模型实现了每秒 110 万 token 的推理吞吐量。基准测试显示，数据并行（DP=8）的吞吐量几乎是张量并行（TP=8）的四倍，因为该模型规模太小，无法在此硬件上从张量分割中受益。此外，启用包含一个推测 token 的多 Token 预测（MTP）对 GPU 利用率至关重要，而更高的 MTP 设置则导致了系统崩溃。 这一突破展示了下一代 NVIDIA Blackwell 架构在高吞吐量 LLM 服务方面的巨大潜力，显著降低了大规模部署的单 token 成本。研究发现，对于像 Qwen 27B 这样的中型模型，在 B200 上数据并行的表现优于张量并行，这挑战了传统的扩展策略，并表明为了获得最佳效率，集群配置方式需要转变。通过识别具体的配置限制（如 MTP-5 的不稳定性），这项工作为旨在最大化硬件投资回报率同时避免运行时错误的工程师提供了实用的路线图。最终，每秒超过一百万 token 的速度为实时 AI 应用能力树立了新的行业基准。 该基准测试采用 InferenceMAX 方法，输入长度为 1024，输出长度为 512，报告了在 0% 前缀缓存命中率下的最坏情况数据。在 8 个节点和 12 个节点上的扩展效率分别保持在 97.1% 和 96.5%，无论节点数量如何，每个输出 token 的时间（TPOT）均稳定在约 46 毫秒。然而，研究指出，与简单的 ClusterIP 轮询相比，使用具有 KV 缓存感知路由的 Inference Gateway 引入了约 35% 的开销，并将单个 EPP Pod 确定为瓶颈。

ARC 竞赛正式发布了第三轮基准测试及技术报告，揭示所有当前前沿 AI 模型在新任务上的得分均低于 1%。报告指出，此前在旧版本中表现优异的模型可能依赖于训练集中包含的类 ARC 数据，而非真正的推理能力。与最近被 Gemini 3.1 Pro 等模型基本解决的 ARC-AGI-1 相比，此次发布的版本难度显著升级。 这一结果至关重要，因为它表明尽管进行了大规模的扩展并在测试时适应方面取得了近期突破，当前的 AI 系统仍然缺乏通用智能所必需的稳健抽象推理技能。顶级模型未能超过 1% 的得分表明，业界可能高估了 AI 从记忆模式泛化到新颖逻辑问题的能力。这突显了统计模式匹配与人类所拥有的灵活即时抽象能力之间的根本差距。因此，这为评估超越单纯知识检索的真正机器智能设立了新的严格标准。 报告内的技术分析表明，在早期版本中表现良好的模型可能在训练期间接触过类似的网格转换任务，从而损害了这些分数作为纯粹推理指标的有效性。第三轮引入了新的约束和任务变体，专门旨在防止此类数据污染并迫使模型进行真正的规则归纳。目前，由于解决方案效率方面的遗留问题，第一轮和第二轮的奖金尚未被领取，而第三轮似乎对当前的大语言模型架构具有更强的抵抗力。

Mistral AI 正式发布了 Voxtral TTS，这是一个拥有 30 亿参数的文本转语音模型，其权重开放，公司声称其在人类偏好测试中击败了 ElevenLabs Flash v2.5。该模型专为高效运行而设计，仅需约 3 GB 内存即可运行，并实现了 90 毫秒的首音频延迟时间。目前它支持九种语言，标志着将最先进的语音合成权重免费开放的重大转变。 此次发布意义重大，因为它通过提供可本地部署且质量相当甚至更优的方案，挑战了 ElevenLabs 等专有服务的主导地位。通过提供开放权重，Mistral AI 使开发者能够将高质量语音合成集成到应用中，而无需依赖付费 API 或担心使用限制。低硬件需求意味着强大的 TTS 功能现在可以在消费级设备上运行，从而普及了先进 AI 语音技术的访问权限。这可能会加速离线助手、注重隐私的应用以及实时对话代理的创新。 该模型运行时的内存占用约为 3 GB，并实现了超低 90 毫秒的首音频延迟时间，使其非常适合实时对话界面。虽然它支持九种语言，但初始公告中未详细列出具体语言列表，且性能比较是专门针对 ElevenLabs Flash v2.5 进行的。用户需注意，“开放权重”通常允许本地推理和微调，但在商业使用方面可能仍受特定许可条款的约束。

仓库在一天内连续发布了六个 Rust 实现的 alpha 版本（从 rust-v0.117.0-alpha.20 到 alpha.25），表明团队正在为即将到来的 v0.117.0 版本进行快速的迭代开发或稳定性修复。作为预发布版本，这些更新主要包含增量错误修复、性能调整和内部重构，而非新的用户功能。依赖该 Rust 库的开发者应将这些版本视为不稳定的测试版，版本间的 API 不保证稳定，建议仅用于测试和反馈。

此版本推出了适用于 Windows 的 PowerShell 工具预览版，并通过新的环境变量增强了对模型能力、流式超时及 UI 标签的自定义支持。关键稳定性改进包括修复了使用 JSON Schema 的工作流子代理问题、MCP 服务器去重与缓存泄漏，以及解决了大文件附件生成和部分克隆仓库启动时的挂起问题。显著的用户体验提升包括更精准的深度链接终端处理、节省 Token 的空闲返回提示，以及修复了语音按键、CIME 输入法和键盘快捷键的交互行为。管理员现在可通过 `allowedChannelPlugins` 设置进行管控，同时全局系统提示缓存在启用 ToolSearch 和 MCP 工具时也能正常工作。

LiteLLM 提供了一个统一的 Python SDK 和代理服务器，使开发人员能够使用一致的 OpenAI 兼容格式调用 100 多个不同的大模型 API。它在 Bedrock、Azure 和 VertexAI 等不同提供商之间引入了内置的成本跟踪、负载均衡和安全护栏功能。此次更新巩固了其作为管理碎片化 AI 服务的关键基础设施层的地位。 该工具解决了因支持具有独特 SDK 的多个大模型提供商而导致的供应商锁定和代码碎片化这一主要工程瓶颈。通过标准化交互，团队可以在不重写应用逻辑的情况下切换模型或实施回退策略，从而显著减少维护开销。内置的成本跟踪和可观测性功能为生产级 AI 部署提供了必要的治理，而这些部署往往缺乏跨供应商的透明定价。 该项目既提供用于直接集成的轻量级 Python SDK，也提供用于集中管理、日志记录和虚拟密钥处理的强大代理服务器（AI 网关）。它支持各种端点，包括跨主要云提供商和开源模型的聊天完成、嵌入、音频和图像生成。性能基准测试表明其延迟开销很低，使其适用于高吞吐量的生产环境。

清华大学研究人员发布了 SageAttention，这是一种为 Transformer 注意力机制实现精确 8 比特量化的新型 CUDA 内核。该即插即用方案在语言、图像和视频模型上实现了比 FlashAttention 快 2 到 5 倍的推理速度，且未降低端到端性能指标。 SageAttention 通过优化最耗时的注意力操作，解决了大模型部署中内存带宽和计算延迟的关键瓶颈。与以往常以牺牲精度换取速度的量化方法不同，SageAttention 在大幅降低运营成本的同时保持了模型 fidelity。其与现有架构的兼容性使其成为高效 LLM 和生成式媒体管道不可或缺的基础设施升级。 该库提供了包括 SageAttention2 和 SageAttention2++ 在内的多个版本，利用特定于 GPU 架构的优化来最大化吞吐量。它采用了独特的 FlashAttention 式量化与 FP16 矩阵平滑相结合的技术，确保在 8 比特整数计算过程中的数值稳定性。

NVIDIA 推出的 instant-ngp 引入了一个突破性框架，利用多分辨率哈希网格编码将 NeRF 训练时间从数小时缩短至数秒。该项目通过自定义 CUDA 内核实现了传统 MLP 方法无法企及的实时渲染和优化速度。它成功地将神经渲染从缓慢的离线处理转变为支持即时反馈的交互式工作流。 早期的 NeRF 实现需要大量的计算时间，通常在单个 GPU 上训练需耗时数小时甚至数天，这严重阻碍了迭代研究和实际部署。Instant NGP 通过用高效的哈希表结构取代繁重的位置编码，在减少内存占用的同时大幅提高了收敛速度，从而解决了这一瓶颈。这一进步使得高保真 3D 重建能够应用于动态场景和资源受限的环境。因此，它已成为现代 3D AI 研究和实时图形应用的事实标准基础设施。 其核心创新在于可学习的多分辨率哈希网格编码，使网络能够仅专注于相关的空间特征进行计算。除了 NeRF，它还支持神经表面和体积渲染等多种基元，并通过原生 CUDA 集成针对 NVIDIA GPU 进行了优化。只要拥有兼容的硬件和更新的编译器工具链，用户即可在几分钟内而非数天内实现照片级的新视角合成。

Andrej Karpathy 发布了 llm.c，这是一个完全用原生 C 和 CUDA 编写的大型语言模型训练最小化实现，无任何外部依赖。该项目剥离了复杂的框架，直接揭示了 Transformer 训练和 GPU 优化的基本机制。它在高层 Python 库与底层硬件执行之间架起了一座直接的教育桥梁。 该项目意义重大，因为它为追求性能掌控的 AI 工程师揭开了 PyTorch 等现代深度学习框架的“黑盒”面纱。通过从头实现反向传播和注意力机制，开发者能获得对内存管理和内核效率的无与伦比的洞察。它证明了当移除不必要的抽象后，复杂的 LLM 训练可以用惊人的少量代码完成。这种方法对于从事嵌入式系统或自定义推理引擎开发的工程师至关重要，因为标准库在这些场景下往往过于笨重。 该仓库仅使用标准 C 和 NVIDIA CUDA 内核实现了 GPT-2 训练，完全避开了 PyTorch 或 TensorFlow 等框架。它包含了直接在 C 语言中实现的多头注意力、层归一化和 AdamW 优化器的详细代码。代码库旨在具备可读性和可修改性，可作为编写高性能自定义算子的参考范本。

DeerFlow 2.0 是字节跳动开源智能体框架的彻底重构版本，引入了用于执行长周期任务的稳健架构。它集成了沙箱环境、协作子智能体和持久记忆，能够处理长达数小时的复杂研究和编码工作流。此次更新还原生集成了 BytePlus InfoQuest，以增强搜索search能力。 该框架解决了当前大语言模型智能体在需要状态保持和安全代码执行的长周期多步任务中的关键局限性。通过提供生产级的沙箱环境和分层子智能体系统，它实现了无需人工干预的软件开发和深度研究自动化。这标志着从简单的聊天机器人向能够管理自身工具使用和错误恢复的自主系统的转变。 该系统通过中央消息网关协调专用子智能体，允许在基于 Docker 的隔离沙箱中并行执行研究、编码和验证步骤。它支持可扩展的技能，并推荐使用 Doubao-Seed-2.0-Code 和 DeepSeek v3.2 等高性能模型以获得最佳结果。其架构旨在维持长达数小时会话的上下文，防止复杂工作流中常见的上下文丢失问题。