NIST正在开发一个框架，即，NIST人工智能风险管理框架，以更好地管理与人工智能(AI)相关的个人、组织和社会的风险。

这个框架是自愿使用的，可提高将可信度考虑因素纳入人工智能产品、服务和系统的设计、开发、使用和评估的能力。

目前这个框架还在草案中，可在2022年4月29日之前反馈意见。

「该框架的简介」

该框架旨在促进创新方法的发展（提供一个灵活，结构化和可测量的过程），以解决整个人工智能生命周期中的人工智能风险，以充分证明AI产品可信赖性（trustworthiness）的特征，包括准确性、可解释性（explainability and interpretability）、可靠性、隐私性、稳健性、安全性、网络安全(恢复)以及减轻无意和/或有害的偏差和有害使用；考虑并包含人工智能技术和系统的预设计、设计和开发、部署、使用、测试和评估期间的透明度、可说明性和公平性等原则。

该框架的里程牌如下：

「为什么NIST开发这个框架？」

NIST旨在培养对人工智能技术和系统的设计、开发、使用和评估的信任，以提高经济安全和生活质量。该机构在人工智能RMF方面的工作符合国家安全人工智能委员会的建议和联邦参与制定人工智能技术标准和相关工具的计划（Plan for Federal Engagement in Developing AI Technical Standards and Related Tools），国会已指示NIST与私营和公共部门合作，开发自愿的人工智能RMF。

「这个框架的受用对象」

人工智能风险管理是一个复杂且相对较新的领域，可能受到人工智能技术影响的个人、团体、社区和组织的名单非常广泛。识别和管理人工智能的风险和影响——无论是积极的还是消极的——需要广泛的视角和利益相关者。

如上图所示，NIST已经确定了四个涉众群体作为这个框架的目标受众: AI系统利益相关者、操作员和评估者、外部利益相关者以及公众。理想情况下，所有利益相关者群体的成员都将参与或代表风险管理过程，包括那些可能会受到人工智能技术的影响的个人和社区代表。

「如何建立可信赖的AI系统」

AI RMF使用一个三类分类法(如下图所示)对特征进行分类，应在识别和管理与人工智能系统相关的风险的综合方法中加以考虑:技术特征（technical characteristics）、社会技术特征（socio-technical characteristics）和指导原则（guiding principles）。

「技术特征包括哪些？」

人工智能RMF分类法中的技术特征，指的是在人工智能系统设计者和开发者的直接控制下的因素，这些因素可以使用标准的评估标准来衡量。技术特征包括收敛-判别有效性(数据是否反映用户打算测量的内容而不是其他内容)和统计可靠性(数据是否可能受到高水平的统计噪声和测量偏差的影响)之间的权衡。

以下技术特征非常适合解决人工智能风险:

准确性、可靠性、健壮性和恢复性(或ML安全性)。

准确性：表示ML模型正确捕获训练数据中存在的关系的程度。类似于统计结论有效性，通过标准ML度量(例如，假阳性和假阴性率、F1分数、精度和回索)以及模型欠拟合或过拟合的评估(与训练中的错误率无关的高测试错误)来检查准确性。

可靠性：表示模型是否在可接受的统计误差范围内持续产生相同的结果。设计用于减轻过拟合并在面临偏差/方差权衡时充分进行模型选择的技术可以增加模型可靠性。

可靠性测量可以洞察与去语境化相关的风险，这是由于重用ML数据集或模型的常见做法导致它们与创建它们的社会背景和时间段脱节。与准确性一样，可靠性提供了对模型有效性的评估，因此可以作为确定可接受风险阈值的一个因素。

稳健性：对模型敏感性的一种度量，表明模型对不可控因素的变化是否具有最小的敏感性。一个健壮的模型将继续运行，尽管其组件中存在故障。模型的性能可能会降低或改变，直到错误被纠正。

稳健性的测量范围可能从模型输出的敏感性到其输入的微小变化，但也可能包括对新数据集的误差测量。稳健性有助于人工智能风险管理流程中的敏感性分析。

恢复性：一个模型，可以承受对抗性的攻击，或者更一般地，在其环境或使用，可以说是弹性的或安全的。

「社会技术特征包括哪些？」

人工智能RMF分类法中的社会技术特征指的是人工智能系统如何在个人、群体和社会环境中被使用和感知。这包括模型的心智表示，所提供的输出是否足以评估遵从性(透明性)，模型操作是否容易理解(explainability)，它们是否提供可以用于做出有意义的决策(interpretability)，以及输出是否符合社会价值观。

以下社会技术特征对处理人工智能风险有影响:

可理解性(explainability)、可解释性(interpretability)、隐私性、安全性和管理偏见（managing bias）。

可理解性(explainability)指的是用户对模型如何工作的感知——例如，对于给定的输入，可能期望什么样的输出，倾向于为技术受众总结或可视化模型行为或预测。

然而，由于可解释性而产生的风险可能有许多原因，包括，例如，解释方法缺乏保真度或一致性，或者如果人类错误地推断模型的操作，或者模型没有按预期操作。

缺乏explainability的风险可以通过描述模型如何根据用户的技能水平工作来管理。

可解释性(interpretability)旨在弥补意义上的缺陷。尽管可理解性(explainability)、可解释性(interpretability)通常可以互换使用，但是explainability指的是算法操作的机制的表示，而interpretability指的是其输出在其设计功能目的背景下的意义。模型可解释性指的是用户能够确定遵守该模型的程度功能以及该输出对该用户的其他重要决策的后续影响。

隐私通常指有助于维护人类自治和尊严等价值观的规范和做法。这些规范和实践通常涉及免受入侵、限制观察或个人对其身份各方面（如身体、数据、声誉）的控制。像安全和安保一样，人工智能系统的特定技术特征可能会促进隐私，评估人员可以确定数据处理如何会产生与隐私相关的问题。

安全作为一个概念与风险高度相关，通常表示没有（或最小化）导致系统危险的故障或条件。例如，随着人工智能系统在工厂和道路上更直接地与人类互动，这些系统的安全性是人工智能风险管理的一个重要考虑因素。人工智能安全的实用方法通常涉及严格的模拟和域内测试、实时监控，以及快速关闭或修改不正常系统的能力。

管理偏差：NIST已经确定了人工智能偏差的三个主要类别:系统、计算和人类。 管理人工智能系统中的偏差需要一种考虑所有三个类别的方法。

偏差与社会中的透明性和公平的概念密切相关，更多详情请见NIST publication “Towards a Standard for Identifying and Managing Bias in Artificial Intelligence‘’。

「小结」

当管理人工智能系统中的风险时，理解人工智能RMF风险分类的属性是相互关联的是很重要的。高度安全但不公平的系统，准确但不透明和不可解释的系统，以及不准确但公平、安全、隐私保护和透明的系统都是不可取的。

值得信赖的人工智能系统有可能在保持高水平性能质量的同时实现高度的风险控制。实现这个困难的目标需要一个全面的风险管理方法，在技术和社会技术特征之间进行权衡。