[AI-人工智能]人工智能系统的人类监督可能并不如我们想象的有效—

随着人工智能（AI）变得越来越强大，并且被用于战争，政府、科技公司和国际机构必须确保其安全。而在大多数关于AI安全的协议中，一个共同点是对技术进行人类监督。

理论上，人类可以作为防止误用和潜在“幻觉”（即AI生成错误信息）的保护措施。这可能涉及到人类对技术生成的内容进行审查（即其输出）。然而，研究和多例实际的军事应用案例表明，人类作为计算机系统的有效检查手段存在固有的挑战。

到目前为止，各种努力制定的AI法规中，许多已经包含了促进人类监督和参与的语言。例如，欧盟的《AI法案》规定，高风险AI系统（例如那些已经在使用的通过生物识别技术自动识别人脸的系统，如视网膜扫描仪）需要由至少两名具备必要技能、培训和权限的人进行独立验证和确认。

在军事领域，英国政府在其2024年2月对一份关于武器系统中AI的议会报告的回应中，认识到了人类监督的重要性。报告强调，通过提供适当的培训，确保“有意义的人类控制”。报告还强调了人类的责任理念，称例如武装无人机的决策不能交给机器。

这一原则迄今基本上得以保持。军事无人机目前由人类操作员及其指挥链控制，他们对武装飞机采取的行动负责。然而，AI有可能使无人机及其使用的计算机系统更加高效和自主。

这包括它们的目标获取系统。在这些系统中，由AI引导的软件会选择并锁定敌方作战人员，让人类批准对其进行武器袭击。

虽然这种技术还未被广泛应用，但加沙战争似乎已经展示了这种技术的使用。以色列-巴勒斯坦出版物+972杂志报道了一种名为Lavender的系统被以色列使用。据称这是一个与其他自动化系统相结合的基于AI的目标推荐系统，跟踪识别目标的地理位置。

[AI-人工智能]人工智能系统的人类监督可能并不如我们想象的有效——尤其是在战争领域第1张

目标获取

2017年，美国军方构思了一个名为Maven的项目，目标是将AI整合到武器系统中。多年来，它演变成一个目标获取系统。据报道，它极大地提高了武器平台目标推荐过程的效率。

根据AI伦理学的学术研究建议，决策回路中有一个人类在监督目标获取机制的输出，作为关键的一部分。

然而，关于人类如何与计算机协同工作的心理学研究提出了一些重要问题。在2006年一篇同行评审的论文中，美国学者玛丽·卡明斯总结了人类可能对机器系统及其结论产生过度信任的现象——即自动化偏见。

这可能干扰人类在自动化决策中的检查作用，如果操作员不太可能质疑机器的结论。

另一项在1992年发表的研究中，研究人员Batya Friedman和Peter Kahn认为，当与计算机系统工作时，人类的道德代理感可能会减弱，以至于他们认为自己对产生的后果不负责任。实际上，论文解释说，人们甚至可能开始赋予计算机系统一种代理感。

鉴于这些倾向，我们应该考虑过度信任计算机系统，以及人类道德代理感的潜在削弱，也可能影响目标获取系统。毕竟，在纸面上统计上很小的误差在涉及到人命时会变得极其可怕。

各种关于AI的决议、协议和立法帮助保证人类将作为AI的重要检查手段。然而，重要的是要问，经过长时间的角色扮演后，人类操作员是否会出现脱节现象，即开始将真实的人视为屏幕上的条目。

云主机博士