01 发生了什么

2026年11月5日,微软宣布推出 Foundry Local,这是一个在本地硬件上运行 Qwen3.8-27B 模型的代理型编码平台。代码和上下文保留在设备上,从而降低云成本、提高隐私性并支持离线工作,但复杂推理任务仍建议使用云端模型。需要配备至少 24 GB VRAM 的 NVIDIA GPU。

02 关键细节

  • Foundry Local 在至少 24 GB VRAM 的 NVIDIA GPU 上本地运行 Qwen3.8-27B;24 GB 支持高达 64K 令牌的上下文窗口,32 GB 以上则支持模型最大 262K 令牌。
  • 代码和上下文不会离开设备;支持离线工作。通过 BYOK(自带密钥)集成 GitHub Copilot。
  • 微软将 Foundry Local 与 llama.cpp 在 RTX 5090(32 GB)和 DGX Spark 上进行了对比;Foundry Local 在每个测试提示长度下都实现了更高的生成速度,优势在超过 131K 令牌时进一步扩大。
  • 需要 Foundry Local CLI 0.13.0+;CUDA 和 cuDNN 需要单独安装,因为 Foundry Local 不提供这些依赖。计划扩展支持 Mac 和 AMD GPU。

03 为什么重要

这使开发者能够在本地使用代理型 AI 编码,避免云 API 成本,将敏感代码保留在设备上,并能在没有网络的情况下工作,同时接受其推理能力弱于云端模型。

04 适合谁

软件开发人员。

原始来源
Microsoft