人在回路

常见落点

并非每一步都要人看，而是在难以撤销或对外产生影响的动作前设卡口：付款、转账、删除数据、发送邮件、发布内容、修改生产配置。智能体先把“打算做什么”连同参数呈现出来，人点确认后才真正执行。

相关变体

• Human-on-the-loop：人不逐一批准，而是实时监看、随时可叫停。
• Human-in-command：人保留最终目标设定权和关停权，日常执行交给智能体。

选择哪种，取决于单次操作的风险和可逆性——高风险用 in-the-loop，低风险大批量用 on-the-loop。

常见误解

• 人在回路不是“更弱的智能体”，而是对不可逆风险的工程应对。
• 把所有步骤都要人确认会让智能体失去价值；关键是挑对卡口。

相关术语

参考来源

1. Anthropic — Building effective agents: guidance on human oversight (2024)
2. NIST AI Risk Management Framework (AI RMF 1.0)