跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

5 条精选近 30 天 4 条共收录 36 条

更新

部署工程的精选

今天11月5日周四第 1–5 条
  1. AWS Machine Learning Blog60

    生产级 AI 智能体的四层上下文工程:Deep Insight 在可运行代码中的实践

    AWS 团队以开源多智能体数据分析方案 Deep Insight 为参考实现,讲解生产级 AI 智能体的四层上下文工程:架构层用多智能体隔离上下文,提示词层限制各智能体输出 token 预算,工具层把代码和结果外置到文件系统,验证层用独立智能体复核计算与引用。

    推荐理由:AWS 团队把上下文工程拆成四层,并给出开源参考实现中的具体代码与 token 节省数据。

11月4日周三
  1. Google DeepMind72

    Google DeepMind 为 Antigravity 推出化学信息学技能包

    Google DeepMind 为 Google Antigravity 推出 Cheminformatics Skills,基于 RDKit 并接入 ChEMBL 与 PubChem,让智能体在约一小时内完成从文献检索数千化合物、匹配分子对分析到提出新型刚性化大环化合物及合成路线的流程,而过去单次迭代通常需要数天。

    推荐理由:原文给出化学技能包在真实肺癌药物案例中的完整流程与耗时对比,可据此判断智能体在科研工作流中的分工方式。

10月28日周三
  1. NVIDIA Blog60

    NVIDIA RTX Spark 笔记本新增 Nemotron 3.5 Transcribe、LFM3 模型与智能体资源管理

    NVIDIA 为 RTX Spark Windows 笔记本带来一批更新,包括开放权重语音模型 Nemotron 3.5 Transcribe、Liquid AI 的 LFM3 系列模型,以及 NVIDIA App 中在前后台应用与智能体之间分配 GPU 资源的控制项。

    推荐理由:原文列出 RTX Spark 笔记本的本地模型、智能体资源分配和游戏支持,可据此判断本地 AI 工作流能落到哪些具体环节。

10月16日周五
  1. Microsoft Research62

    微软研究院发布 Magnetar:基于标准哈希函数的通用零知识证明系统

    微软研究院发布零知识虚拟机 Magnetar,可直接证明用 Rust、Go 或 C 编写的程序,在 15 个基准程序上平均比现有最快 zkVM 快 10 到 39 倍,证明验证约 12 毫秒。

    推荐理由:微软研究院梳理十余年零知识证明研究脉络,说明 Magnetar 如何在速度、通用性和后量子安全上同时推进。

7月29日周三