MIT开发出新算法 可帮助AI系统规避对抗性输入

据外媒报道，麻省理工学院的研究人员开发了一种新的深度学习算法，该算法可以对接收到的测量数据和输入建立健全的“怀疑”机制，帮助机器在真实和不完美的世界中导航。这篇文章的主要作者、麻省理工学院航空航天系博士后Michael Everett，规定的：“尽管基于深度神经网络的系统目前处于许多机器人任务的前沿，但由于深度神经网络系统的网络鲁棒性没有得到正式保证，它在关键的安全领域仍然是危险的。一旦传感器输入受到小扰动，它通常会改变基于网络的决策，例如自动驾驶汽车会相应变道鉴于上述危险，研究人员基于这些对抗性输入开发了许多算法来建立防御机制。部分对抗性输入也可以提供形式上的鲁棒性保证或证明。这项工作利用经过验证的对抗性鲁棒性来开发用于深度强化学习算法的可靠在线鲁棒算法。

由于潜在的对抗和噪声，输入空间可能经历最糟糕的偏差。因此，在确定和选择稳健操作执行周期期间，所提出的防御措施将需要计算状态操作值的保证下限。此外，即使验证器可能由于干扰而不了解真实状态和最佳实践，最终策略仍然可以有解决方案质量保证。研究团队将强化学习算法与深度神经网络相结合，构建了一种新的方法：CARRL，这是深度强化学习的认证对抗性鲁棒性。研究人员在不同的场景中测试了这种方法，如碰撞模拟测试和视频游戏Pong，发现即使有不确定和对抗性的输入，CARRL也比标准的机器学习技术表现更好，不仅成功避免了碰撞，而且在Pong游戏中多次获胜。Everett还表示，“当出现对抗性情况时，用户总是认为有人入侵了他们的计算机，但传感器性能不佳或测量工具不正确是很常见的。我们的新算法可以解决这个问题并做出安全决策。任何对安全性要求极高的地方都应该考虑采用这种算法。”。“可能的现实：为了使人工智能系统能够抵抗对抗性输入，研究人员使用防御措施进行监督学习。通常，神经网络被训练将标签或动作与给定输入相关联。例如，接收到大量标记为猫、房子和热狗的图像的神经网络可以正确地将新图像标记为猫人工智能系统，同样的监督学习技术可以用稍微改变的图像版本进行测试。如果网络将每个图像标记为“猫”，无论它是否被更改，那么该图像很可能确实是一只猫，那么网络对任何对抗性效果都具有很强的鲁棒性。但是浏览所有图像是不可能的，并且很难处理高时效性的任务，例如避免碰撞。此外，如果网络不稳定，一些修改后的猫图像被标记为房子或热狗，现有的方法无法识别图像标签或确定采取什么措施。研究员Bj？为了在安全要求高的场景中使用神经网络，我们必须知道如何在最坏的情况下做出实时决策， “rn Lütjens说。该团队希望建立在强化学习的基础上。强化学习是另一种机器学习形式，不需要将标记的输入与输出相关联，而是旨在强化对某些输入的反应。这种方法通常用于训练国际象棋和围棋等计算机运动游戏。采用强化学习的前提是以假设输入是正确的。Everett及其同事将这项研究描述为第一项在强化学习中对不确定和对抗性输入引入“可验证稳健性”的研究。他们采用的方法CARRL使用现有的深度强化学习算法来训练深度Q网络或DQN。这种方法接受输入，并考虑实际可能在该点附近的对抗性效果或区域。基于麻省理工学院研究生徐伟“Lily”Wen博士开发的技术，该点通过DQN在r内的每个可能位置连接……

离子，发现导致最佳和最坏情况发生的相关行为。对抗世界：在电子游戏《乒乓球》的测试中，两名玩家在屏幕两侧拿着球拍，来回传递乒乓球。研究人员在比赛中增加了一个“对手”，将球拉得比实际球高得多。他们发现，随着对手影响力的不断增加，CARRL的胜率高于标准技术。埃弗雷特表示，“如果预设的测量值不完全可信，乒乓球可能位于固定区域内的任何位置，则使用此方法通知计算机将球拍放置在该区域的中间，以确保以尽可能最差的偏差击打乒乓球。”此方法在碰撞测试中也很可靠。在碰撞测试中，该团队模拟了一个蓝色和橙色的代理，试图在没有碰撞的情况下切换位置。当团队干扰橙色特工对蓝色特工位置的观察时，CARRL会引导橙色特工绕过另一名特工。随着对手变得更强，泊位变得更宽，蓝色特工的位置变得更加不确定。CARRL中的保守变化使橙色代理假设另一个代理可能在它附近的任何地方，作为回应，它可能会错过目的地。Everett表示，这种极其保守的方法是有用的，研究人员可以将其作为调整算法鲁棒性的限制。例如，该算法可以考虑较小的偏差或不确定性区域，这仍将允许代理获得更高的奖励并到达他们的目的地。埃弗雷特还表示，除了克服传感器缺陷外，CARRL可能是帮助机器人在现实世界中安全处理不可预测交互的开始。埃弗雷特说：“人类是对抗性的，比如站在机器人面前阻碍传感器或与传感器交互，但不一定是为了最好的意图。机器人如何思考人们可能试图做的一切？他们如何试图避开它们？我们防御什么对抗性模型？这是我们正在考虑的方法。”麻省理工学院的盟友福特，也为这项研究提供了部分支持。

标签：发现福特

汽车资讯热门资讯