对抗性数据需警惕 科学家已经测试“”了一辆无人车

近年来，人工智能取得了很大的进步，但正如许多人工智能用户所表明的那样，人工智能仍然容易出现一些人类不会犯的惊人错误。虽然这些错误有时可能是人工智能学习不可避免的后果，但越来越明显的是，一个比我们预期的严重得多的问题正在带来越来越多的风险:对抗性数据。对抗性数据描述了一种情况，即人类用户故意向算法提供损坏的信息，损坏的数据扰乱了机器学习过程，从而算法得出错误的结论或不正确的预测。作为一名生物医学工程师，笔者认为拮抗数据是一个值得关注的重要课题。最近，加州大学伯克利分校的教授Dawn Song“”了一辆自动驾驶汽车，让它认为停车标志上的限速是每小时45英里。这种性质的恶意攻击很容易导致致命事故。同样，受损的算法数据可能导致错误的生物医学研究，甚至危及生命或影响医疗事业的创新发展。直到最近人们才意识到对抗性数据的威胁，我们不能再忽视它了。对抗性数据是如何产生的？有趣的是，即使没有任何恶意，也有可能产生对抗性的数据输出。这很大程度上是因为算法可以在数据中“观察”到我们人类无法识别的东西。由于这种可见性，麻省理工学院最近的一项案例研究将对抗性描述为一种特征，而不是一种缺陷。在这项研究中，研究人员分离了人工智能学习过程中的“鲁棒性”和“非鲁棒性”特征。鲁棒特征通常可以被人类感知，而非鲁棒特征只能被人工智能检测到。研究人员试图使用一种算法让人工智能识别猫的图片。结果表明，系统通过观察图像中的真实图案得出了错误的结论。误识别的原因是人工智能看到的是一组无法清晰感知的像素，导致无法正确识别照片。这导致系统在识别算法的过程中被无意地训练使用误导模式。作为一种“干扰噪声”，这些非鲁棒特征导致算法结果的缺陷。所以，黑客要想干扰人工智能，往往只需要引入一些非鲁棒的特征，这些特征不容易被人眼识别，却能明显改变人工智能的输出结果。对抗性数据和黑暗人工智能的潜在后果正如安全情报局的Moazzam Khan所指出的，依赖对抗性数据的攻击主要有两种:“投攻击”和“躲闪攻击”。在投攻击中，攻击者提供一些输入实例，使决策边界向对攻击者有利的方向移动；在dodge攻击中，攻击者会使程序模型对样本进行错误的分类。例如，在作者熟悉的生物医学环境中，对抗性数据的攻击可能导致算法错误地将有害或污染的样本标记为良性和清洁的，从而导致错误的研究结果或错误的医学诊断。人工智能的学习算法也可以用来驱动专门用来帮助黑客的恶意人工智能程序。正如《恶意人工智能报告》指出的那样，黑客可以利用人工智能来方便他们的破坏活动，从而实现更大范围的网络攻击。特别是，机器学习可以绕过不安全的物联网设备，使黑客更容易窃取机密数据和非法操纵公司数据库。本质上，一个黑暗的人工智能工具可以通过对抗性数据“感染”或操纵其他人工智能程序。中小企业由于没有先进的网络安全指标，往往面临更高的风险。尽管存在这些问题，对抗性数据也可以被积极地使用。事实上，许多开发者已经开始使用对抗性数据来检测自己的系统漏洞，以便在黑客利用漏洞之前升级安全。其他开发人员正在使用机器学习来创建另一个人工智能系统，以确保它更好地识别和消除潜在的数据威胁。正如Joe De Chardt在《遗传工程和生物技术新闻》上发表的一篇文章中解释的那样，这些人工智能工具中有许多已经能够发现计算机网络上的可疑活动，分析时间通常为几毫秒，它们可以在造成任何损害之前消除祸害。这些罪犯通常来自流氓文件或程序。他补充说，这种方法不同于传统的信息技术安全，传统的信息技术安全更注重识别具有已知威胁的特定文件和程序，而不是研究这些文件和程序的行为。当然，机器学习算法本身的改进也可以减少一些对抗性数据带来的风险。然而，最重要的是，这些系统并不是完全独立的。人工输入和人工监督仍然是识别鲁棒特征和非鲁棒特征差异的关键，以保证错误的识别不会导致错误的结果。使用真实相关性的额外训练可以进一步降低人工智能的脆弱性。显然，在不久的将来，对抗性数据将继续挑战人类世界。但在这样一个时代，人工智能可以用来帮助我们更好地了解人类大脑，解决各种世界问题。我们不能低估这种数据驱动的威胁的紧迫性。处理对抗性数据，采取措施对抗黑暗人工智能，应该是科技界的首要任务之一。

近年来，人工智能取得了很大的进步，但正如许多人工智能用户所表明的那样，人工智能仍然容易出现一些人类不会犯的惊人错误。虽然这些错误有时可能是人工智能学习不可避免的后果，但越来越明显的是，一个比我们预期的严重得多的问题正在带来越来越多的风险:对抗性数据。对抗性数据描述了一种情况，即人类用户故意向算法提供损坏的信息，损坏的数据扰乱了机器学习过程，从而算法得出错误的结论或不正确的预测。作为一名生物医学工程师，笔者认为拮抗数据是一个值得关注的重要课题。最近，加州大学伯克利分校的教授Dawn Song“”了一辆自动驾驶汽车，让它认为停车标志上的限速是每小时45英里。这种性质的恶意攻击很容易导致致命事故。同样，受损的算法数据可能导致错误的生物医学研究，甚至危及生命或影响医疗事业的创新发展。直到最近人们才意识到对抗性数据的威胁，我们不能再忽视它了。对抗性数据是如何产生的？有趣的是，即使没有任何恶意，也有可能产生对抗性的数据输出。这很大程度上是因为算法可以“观察”数据中我们人类无法识别的东西。由于这种可见性，麻省理工学院最近的一项案例研究将对抗性描述为一种特征，而不是……奥尔特。在这项研究中，研究人员分离了人工智能学习过程中的“鲁棒性”和“非鲁棒性”特征。鲁棒特征通常可以被人类感知，而非鲁棒特征只能被人工智能检测到。研究人员试图使用一种算法让人工智能识别猫的图片。结果表明，系统通过观察图像中的真实图案得出了错误的结论。误识别的原因是人工智能看到的是一组无法清晰感知的像素，导致无法正确识别照片。这导致系统在识别算法的过程中被无意地训练使用误导模式。作为一种“干扰噪声”，这些非鲁棒特征导致算法结果的缺陷。所以，黑客要想干扰人工智能，往往只需要引入一些非鲁棒的特征，这些特征不容易被人眼识别，却能明显改变人工智能的输出结果。对抗性数据和黑暗人工智能的潜在后果正如安全情报局的Moazzam Khan所指出的，依赖对抗性数据的攻击主要有两种:“投攻击”和“躲闪攻击”。在投攻击中，攻击者提供一些输入实例，使决策边界向对攻击者有利的方向移动；在dodge攻击中，攻击者会使程序模型对样本进行错误的分类。例如，在作者熟悉的生物医学环境中，对抗性数据的攻击可能导致算法错误地将有害或污染的样本标记为良性和清洁的，从而导致错误的研究结果或错误的医学诊断。人工智能的学习算法也可以用来驱动专门用来帮助黑客的恶意人工智能程序。正如《恶意人工智能报告》指出的那样，黑客可以利用人工智能来方便他们的破坏活动，从而实现更大范围的网络攻击。特别是，机器学习可以绕过不安全的物联网设备，使黑客更容易窃取机密数据和非法操纵公司数据库。本质上，一个黑暗的人工智能工具可以通过对抗性数据“感染”或操纵其他人工智能程序。中小企业由于没有先进的网络安全指标，往往面临更高的风险。尽管存在这些问题，对抗性数据也可以被积极地使用。事实上，许多开发者已经开始使用对抗性数据来检测自己的系统漏洞，以便在黑客利用漏洞之前升级安全。其他开发人员正在使用机器学习来创建另一个人工智能系统，以确保它更好地识别和消除潜在的数据威胁。正如Joe De Chardt在《遗传工程和生物技术新闻》上发表的一篇文章中解释的那样，这些人工智能工具中有许多已经能够发现计算机网络上的可疑活动，分析时间通常为几毫秒，它们可以在造成任何损害之前消除祸害。这些罪犯通常来自流氓文件或程序。他补充说，这种方法不同于传统的信息技术安全，传统的信息技术安全更注重识别具有已知威胁的特定文件和程序，而不是研究这些文件和程序的行为。当然，机器学习算法本身的改进也可以减少一些对抗性数据带来的风险。然而，最重要的是，这些系统并不是完全独立的。人工输入和人工监督仍然是识别鲁棒特征和非鲁棒特征差异的关键，以保证错误的识别不会导致错误的结果。使用真实相关性的额外训练可以进一步降低人工智能的脆弱性。显然，在不久的将来，对抗性数据将继续挑战人类世界。但在这样一个时代，人工智能可以用来帮助我们更好地了解人类大脑，解决各种世界问题。我们不能低估这种数据驱动的威胁的紧迫性。处理对抗性数据，采取措施对抗黑暗人工智能，应该是科技界的首要任务之一。

标签：

汽车资讯热门资讯