评估科学
反映真实任务、操作人员、故障和生产经济性的基准。
能够改变工程决策的研究。
人工智能发展太快，实施实践不能脱离研究。我们的议程聚焦会改变可行性、架构、评估和生产性能的问题。
工作原则
有用的研究成果应当改变构建什么、如何评估，或者是否应该构建。
研究议程
四个相互关联的技术主题。
模型系统
围绕模型的架构，包括路由、检索、记忆、工具、权限和控制。
多模态智能
跨视觉、文本、音频和结构化信息进行感知与推理的系统。
生产学习系统
用于观测、改进和建立信任的基础设施与方法。
当前研究笔记
值得解决的问题。
这些是实用技术观点，不是趋势评论，也不宣称已经完成学术发表。
01评估系统
在真实故障条件下评估智能体系统
任务完成只是评估的一部分。权限、恢复、可观测性和操作人员信任都会改变基准。
02架构决策
何时检索增强生成不再是合适的架构？
从检索质量、知识变化、延迟和工作流状态出发的实用决策框架。
03生产经济性
模型选择的工程经济学
依据质量、吞吐量、运营负担和变更风险，比较前沿模型接口、小型托管模型和专用系统。