DynaSaur：Adobe研究团队推出的新型LLM代理框架

DynaSaur简介

DynaSaur是由Adobe Research团队开发的一种新型大型语言模型（LLM）代理框架，它突破了传统LLM代理系统的限制，能够动态创建和组合动作以在线方式与环境互动。该框架允许代理通过生成和执行Python代码来执行动作，并积累这些动作以供未来重用，显著提升了代理的灵活性和问题解决能力。在GAIA基准测试中，DynaSaur展现了卓越的性能，成功登顶公共排行榜，证明了其在复杂环境中的适应性和有效性。

DynaSaur主要功能

1. 动态动作创建：DynaSaur能够根据环境的反馈动态生成新的Python函数作为动作，以应对预定义动作集中未包含的情况。
2. 在线动作组合：代理可以实时地将简单的动作组合成复杂的动作序列，以解决更复杂的问题。
3. 动作积累与复用：代理将生成的动作保存到动作库中，供未来任务重用，从而提高效率和灵活性。
4. 环境互动：通过执行Python代码与环境互动，获取观察结果，并根据这些结果调整后续动作。
5. 增强的适应性和泛化能力：在多样化的任务和环境中，DynaSaur表现出比传统LLM代理更强的适应性和泛化能力。

DynaSaur技术原理

1. 动作表示：将每个动作表示为Python函数，利用Python的通用性和灵活性来满足广泛的任务需求。
2. 动作检索机制：通过查询和余弦相似度计算，从积累的动作集中检索与当前任务最相关的先前生成的动作。
3. 动作积累策略：代理在执行任务的过程中不断积累新生成的动作，构建一个不断增长的可复用动作库。
4. 部分可观察马尔可夫决策过程（POMDP）：将代理的行为建模为POMDP，处理环境的不确定性和部分可观察性。
5. 代码执行与反馈循环：生成的Python代码通过解释器执行，代理根据执行结果和环境反馈进行学习和调整。
6. 第三方库的利用：代理可以利用广泛的第三方Python包，与多种系统和工具进行交互，扩展其功能范围。

DynaSaur应用场景

1. 自动化客户服务：作为聊天机器人，处理客户咨询，动态生成解决方案以提供更准确的回答。
2. 智能文档处理：读取和理解各种格式的文档，如PDF、Word和Excel，自动提取和填写信息。
3. 网络信息检索：在互联网上搜索特定信息，动态生成网页爬虫或API查询以收集数据。
4. 自动化办公任务：执行日常办公自动化任务，如日程安排、邮件分类和报告生成。
5. 软件开发辅助：作为编程助手，动态生成代码片段，帮助开发者快速解决问题。
6. 教育和培训：在在线教育平台中，根据学生的学习进度动态生成个性化的学习材料和测试。

DynaSaur项目入口

• GitHub代码库：https://github.com/adobe-research/dynasaur
• arXiv技术论文：https://arxiv.org/pdf/2411.01747