本次对话是JAMA Network编辑和专家嘉宾探讨围绕人工智能 （AI） 和医学快速发展的交叉点的问题的系列访谈的一部分。

美国食品和药物管理局（FDA）局长Robert Califf在最近的 JAMA 特别通讯中写道，电子健康记录和远程医疗平台等熟悉的医疗保健技术在它们刚刚出现时可能被“吹捧为革命性”，但人工智能“在希望、期望和担忧方面已经超越了它们”。

基于此，在JAMA最新一期的访谈节目中，JAMA+ AI 的主编兼马萨诸塞州总医院定量健康中心主任 Roy Perlis 医学博士与Califf博士谈到了FDA在监管 AI 工具方面的作用。

随着 AI 越来越多地应用于医疗保健和生物医学，Califf 博士呼吁利益相关者共同承担责任，包括监管机构、技术行业参与者、卫生系统，甚至像 JAMA 这样的期刊。

为考虑清晰易读和篇幅长度，以下采访经过编辑。

Perlis博士：您最近在 JAMA 上发表了一篇关于 AI 监管主题的特别通讯，FDA 多年来一直试图积极主动地发布指南，尤其是自 2021 年以来。您指出，FDA 已经批准了近 1000 种使用 AI 的设备，这与“AI 即将到来，我们最好为此做好准备”的说法有些背道而驰。所以我要问你的问题是，进展如何？

Califf博士：嗯，看到这么多人将 AI 投入设备、药物开发、处理供应链，这是一个非常激动人心的时刻。AI 在我们所做的许多工作中根深蒂固。我们甚至不去想它。然后当我们谈论它时，我们表现得好像这是正在发生的某种独立的事情。但这一波 AI 浪潮无疑催生了对监管和创新以及它们如何平衡的深思熟虑的需求。

Perlis博士：为什么现在写论文，而不是一年前或一年后写？是什么让你和你的团队说，这就是我们现在想推出的东西？

Califf博士：作为 FDA 专员的一个有趣之处在于，你有点处于领先地位，但 FDA 所做的很多事情都非常特定于受监管的行业。该行业在很大程度上依赖于来自 FDA 特定部门的指南和规则，通常是监管该行业这些部分的中心。

但是在我的职位上，我可以看到正在发生的一切，我觉得这是一个美好的时光，我的合著者也是如此，他们是 FDA 的员工。他们认为现在是制定一些原则的好时机。这里的想法不是先于或覆盖中心将要做的特定于被监管领域的任何事情，而是更多地关注我们在我们所做的事情中看到的一般性问题。

Perlis博士：您在论文中用作示例的一件事是你们都审查过的脓毒症预测模型。您谈到了监管保障措施，对于一些听众来说可能不太熟悉。您能否谈谈您如何看待这些保护措施，以及这在现实世界中意味着什么？

Califf博士：嗯，这里有几个关键原则。我认为人们经常有这样一种观念，即 FDA 在每个人的制造设施和每个供应链节点中都在查看到底发生了什么。我们没有能力做到这一点。因此，我们非常依赖行业遵循现有的指导方针、法规和法律。

例如，在农场，我们不会检查每包食品。我们依靠农民遵守《食品安全现代化法案》的10条关键规则。然后，在需要的地方，我们建立了所谓的护栏或安全机制，将行业从可能危险或危险的事物引导到我们认为更具生产力的领域。

我想每个听这个的人可能都知道，现在有一个臭名昭著的脓毒症预测案例，结果证明它经常出错。但我们认为，对于许多决策支持算法，实际上作为一般原则，如果你把 AI 算法放在临床环境中，它会根据社会中影响结果的输入和其他因素而发生变化。因此，必须像 ICU [重症监护病房] 患者一样对其进行监测。

将 AI 算法想象成被监控的 ICU 患者，而不是老式方式的药物和设备。你制造一种药物，你做一个临床试验，它必须在它的生命周期内是相同的药物。AI 并非如此。因此，在我们提到的脓毒症模型中，我们制定了特殊规则，要求在算法投入临床环境后对其进行操作特性的监测。

Perlis博士：我很感谢你提出这一点，因为我认为大多数临床医生，在他们考虑 FDA 的程度上，都会考虑它在初始审批过程中的作用。我们考虑 3 期试验并通过 FDA。偶尔，您会听到一些东西从市场上撤出，但总的来说，最初的障碍似乎是大部分努力的地方。这是一个公平的描述吗，这是否会随着 AI 而改变？

Califf博士：这是对我们在药物和设备方面所处位置的公平描述，这也是临床界通常所考虑的。但请记住，我们也监管食品、化妆品、动物药物和设备，以及各种其他事物。它大约占经济的 20%。因此，每种商品的盘前和盘后平衡是不同的。但国会通过了一项法律，规定未经 FDA 批准或批准，不得跨州销售医疗产品，具体取决于产品的风险水平。

对于所有药物来说，这是高风险的。它非常严格。您必须证明您的药物对至少 1 个适应症的益处大于风险。然后传统上，你对它的描述非常好。我认为对于这些医疗产品，人们认为上市后实际上只是一个监视出现的可怕事物的问题。我认为，我将讨论我们的 AI 处于中间位置。但我们最近发表了很多论文，包括在您的期刊上，内容是当一种药物进入市场时，我们知道的是，每 1 个人群中就有 1 个适应症的益处大于风险。我们不知道价值的比较有效性，你应该给予它多长时间，它应该如何与其他疗法联合使用。但 FDA 无权像我们在上市前基地那样要求进行研究。

很多人也误以为我们只是编造了法律。这些法律实际上是由国会制定的，国会是由你们所有人选举产生的。所以我们在上市前有很多权威。您必须满足游戏规则。我们对其进行裁判。Postmarket，我认为我们需要回答这些问题是每个人的事情，而不是让公司进行营销。

那么 AI 属于什么领域呢？AI 嵌入在设备中，或者 AI 作为决策支持算法，它在市场上已经存在，我们在上市后阶段负有共同责任，以提升我们的评估能力。我认为这是 FDA 可以发挥作用的最大领域，因为现在可能有一些算法还没有通过 FDA 被卫生系统使用，没有人知道它们在是否准确、随着时间的推移会变得更好或更差方面的变化是什么。这不是 FDA 自己可以做的事情。我们需要临床卫生系统和专业协会积极参与自我监管，就像我们在农场所做的那样，如果你是一个种植蔬菜的农民，而上游有一个农场的奶牛污染了水，你有责任考虑到这一点，在这个后市场阶段也不例外。

Perlis博士：我喜欢将 AI 与农场进行比较，但也喜欢它不是一个全新的领域，这是你们在思考如何监管方面都有经验。但是，您如何让卫生系统保持一致？这似乎需要在系统、制造这些东西的人以及 FDA 之间进行大量的来回沟通。

Califf博士：嗯，我不希望你把矛头对准我们——你也有责任。你是 Journal of the American Medical Association，对吧？因此，这里有大量的相互责任。我们请求国会提供更多的法律授权来帮助实现这一目标。我对此非常担心，因为我认为今天人工智能算法在我们的卫生系统中的主要用途是优化财务，不幸的是，鉴于我们目前的支付系统，这往往意味着通过迎合已经有钱或有良好保险的人来制造差异。

我们的责任实际上是为了安全和有效性。我们不允许考虑经济因素。因此，我们在这里相对纯粹，希望看到一个算法不会造成差异而是改善健康的系统。我认为你会看到 FDA 对这个主题一贯的鼓吹，但我们无权介入并抓住算法和人们可能想象的那种东西。我们必须在一个生态系统中工作并说服。如果国会行动起来，他们可能会通过一项法律，赋予我们更多的权力。但我不认为这种情况会很快发生。所以这将是相互问责。

我认为，卫生系统和在其中工作的临床医生在很大程度上掌握了权力，他们要求在使用人工智能时，要智能地使用它，并且操作特性......如果你说你在预测脓毒症，你多久准确一次？在您的预测中，区分脓毒症和非脓毒症患者的敏感性、特异性和能力如何？必须不断关注这一点，以确保您做对了。这只是我能举出的众多例子之一。

Perlis博士：在 AI 和更广泛的计算机科学中，人们喜欢做 Bake-Offs，对吧？我们将这个模型与另一个模型进行烘焙，现在我们有了这些模型的排行榜。鉴于传统上你不从事这个比那个更好的业务，除非这可能比安慰剂好，那么你是否考虑过模型之间的比较？或者它只是它是否有效的阈值？它有这些特征，或者没有。

Califf博士：如果您愿意，让我们将我们的监管机构与医学实践或公共卫生实践分开。我们的监管机构不允许我们要求比较有效性数据，但我在 FDA 之外的大部分职业生涯都在做大型临床试验，其中大部分是 3 期或以后的试验，试图找出哪种治疗方法最好，或者如何联合治疗，或者如何调整剂量以获得更好的结果。所有这些都与 AI 环境有关。正如您所说，您将看到越来越多的 Bake-Offs，包括计算机数据集或历史数据集。但是，在完整的卫生系统下，这里的美妙之处在于，如果你正在比较预测算法或决策支持，你可能会做很多事情，而不会给患者带来获得劣质治疗的风险。你可以做比较。你正在运行计算机算法。

有很多方法可以解决这个问题，但除非有所改变，否则它不会是 FDA 强制的方法。我认为优秀的临床医生会想知道哪些算法是最好的。我仍然记得我在 FDA 之前在心脏病学领域的一个古老理论。公司做了很多他们不一定想做的事情，因为临床界要求知道最好的治疗方法是什么，而已完成的临床试验指南中的陈述对他们的底线极为重要。因此，如果我们能在临床社区建立这种风气....我又回到了你这里。至少在我看来，您在 JAMA+ AI 的工作中肩负着重大责任。

Perlis博士：所以，让我试着把球放回你的球场上，了解你对审判的深思熟虑。我认为挑战之一是，至少开发新干预措施的人通常不愿意尝试新的试验设计。其中一些担忧来自它将如何与 FDA 合作。至少在我所在的精神病学领域，没有人愿意尝试新的结果测量。没有人愿意尝试新的研究设计。您认为好的老式 3 期试验设计会通过 AI 很好地为我们服务，还是您认为有某种方法可以通过这种新技术让人们超越这一点？

Califf博士：我想说的是，许多领域已经超越了它。我不否认，从历史上看，FDA 审查员的标准一直是尝试新事物的一个主要问题。这并不一定是因为 FDA 说你不能尝试新事物，但当公司查看其产品的净现值时，如果你冒险采用一种新方法，然后它没有成功，那么你就要向股东交代很多事情。但现在有许多领域不再适用，例如，平台试验正在成为常规。我只想说，平台试验、篮子试验，它们都在这里发挥作用。我认为这是一个广阔的领域。这可能更容易，因为药物和设备本身不是上市前评估的问题。

我还应该提到，很多人会问，药物开发中的 [AI] 怎么样？FDA 对此非常感兴趣。我们很快就会发布一些指导。CDER [药物评估和研究中心] 和 CBER [生物制品评估和研究中心] 已经写了很多关于药物和生物制剂的文章。所以我们很感兴趣。我们的审稿人需要与时俱进。从根本上说，将 AI 用于药物发现和破译蛋白质等等......这是该行业的业务。我们很感兴趣，但那里发生的事情实际上是生产一种药物，然后必须在临床试验中进行测试。这并不是说 FDA 会强制要求在临床前、早期临床开发中使用某些 AI 方法。临床试验设计和合成对照组领域，所有这些都是 FDA 可以发挥重要作用的地方，并将继续发挥。

Perlis博士：您提到的一件事是，拥有对 AI 和研究 AI 的方法足够了解的审稿人的重要性。您在 FDA 层面是如何处理的？您如何确保拥有了解这些工具并能够真正评估它们的人员？

Califf博士：嗯，人们对此非常感兴趣。我们有很多在数量上有天赋的人，他们在各个层面都有数字技术和计算经验。所以我并不真正担心我们的员工。至少现在是这样。我们在招聘方面没有遇到很大困难。如果人们在技术上合格且感兴趣，我们就会找到工作，但这将是一个持续努力的问题。我们刚刚举行了为期 3 天的研讨会，外部行业和学术界人士进来，量子计算是主题之一。它就在这里。因此，我们将不得不跟上一些全新的领域。众所周知，这将是一个挑战。例如，我们不能支付科技行业支付的费用，但我们有优秀的人才，我不担心他们的基本理解。

Perlis博士：作为一名编辑，我经常与当今最前沿的论文作斗争，我担心一年后甚至不会被引用。其他事情会发生。鉴于事情的发展速度，您认为我们是否能够合理地处理如何监管这些事情，以及如何应用它们以跟上技术本身的发展方式？

Califf博士：我想说我们做得比大多数人想象的要好，但该领域正在呈指数级变化，而不是线性变化。所以这是一个令人担忧的问题。随着生成式 AI 的出现以及消费者与设备交互的整个空间在非医疗领域发挥作用,...例如，最容易考虑的地方是 Apple Watch，在同一台设备中带有医疗适应症，这是一款消费类设备。这些事情将非常具有爆炸性，你的样本量在数百万到数十亿之间，所以事情在短期内可能会迅速发展。

Perlis博士：在论文中，您特别指出了语言模型作为监管可能特别具有挑战性的一个领域，因为它们并不总是特别透明，而且您不完全了解它们在许多情况下是如何工作的。你怎么看？您认为语言模型需要特定类型的控制措施吗？

Califf博士：我认为是的，他们需要特定类型的控制措施，但我认为现在没有人确切知道它们应该是什么。有一些令人兴奋的机会，例如让一个大型语言模型经常检查另一个语言模型，因为存在幻觉和编造东西的风险。例如，最近有一些例子，诊所记录就发生了这种情况。可能是个大问题。

但它不断回到生态系统中。我们是否要让彼此相互负责？我们谈论的是将系统嵌入到不断变化的临床实践中。因此，我认为卫生系统、临床医生和患者有同样多的理由将系统放在一起，以监控这些模型并确保它们正在做他们应该做的事情。

在我们的论文中，我一直提到的一个特别说明是，如果一个大型语言模型基本上是一组调整到因变量的数字和单词，如果这个因变量是金融，那将对健康有害。

然而，如果你正在管理一个卫生系统，或者你是一名医生或护士，你就需要谋生。因此，金融需要成为这个等式的一部分。但我认为临床界 [需要考虑] 的一项重大工作是，哪些组成部分使该财务方程式对产生的健康结果负责？同样，这些模型将非常好——我认为它们已经处于当前形式——将有利可图的患者与无利可图的患者分开。这是我们想要这样做的方式，还是我们希望在系统中建立对健康结果的问责制？

Perlis博士：FDA 在这方面有一席之地吗？

Califf博士：我认为 FDA 在标准、什么是好的研究、需要衡量的结果、分析方法等方面肯定有一席之地。但我们不能在那里监控医学实践中使用的每个模型。没有任何可行的方法可以做到这一点。我们还在努力建立联盟，以帮助促进需要发展的生态系统。我不认为这与农场或良好的生产实践没有什么不同，在农场或良好的生产实践中，我们并非每天都在每个设施中。例如，我们正在做的是制定标准并帮助建立生产复杂生物制剂的实践社区，这很难做到。而且我们有能力，因为我们看到了一切，所以能够共享每家公司自己无法完成的信息。

Perlis博士：在您的论文中，您指出该行业实际上是一个完整的范围，从大型制药公司一直到小型初创企业。你确实提到了学术界。您如何看待维护一个从大到小的生态系统，因为这些小公司可能没有与 FDA 合作等所需的资金？

Califf博士：在我们的每一个项目中，我们都为小家伙们预留了优先资源。对于设备，车库里的 2 个人....我们并不指望他们拥有一个能够为全世界生产高质量设备的制造系统。他们的目标通常是达到可以将他们正在做的事情卖给大型分销公司的地步。制药行业也是如此。例如，IND（研究性新药申请）和 BLA [生物制品许可申请] 概念在起源时，小家伙们就可以休息一下。他们不必像大型制药公司那样付费。因此，我们将有一些东西将优先支持初创公司。这就是大多数好主意的来源。但是，要拥有一个在整个国家或世界各地维护的充满活力的高质量生态系统，您还必须拥有具有可靠重型能力的大公司来确保这种质量。

所以我认为这对我们来说并不新鲜，但也许可以公平地说，对于大型语言模型中的生成式 AI 等事物来说，这尤其是一个大问题。你必须有一个大数据集才能开始，而大公司在这里有非常大的优势。我们不仅需要在 FDA 解决这一问题，而且需要在社会上解决。

Perlis博士：刚才，您谈到了您可以在监管机构范围内做些什么。什么会让你在 FDA 的生活更轻松？在一个完美的世界里，国会通过了一项法律，使监管 AI 变得更加容易或使 AI 更安全？哪些法律对您有帮助？

Califf博士：我不能在这里详细介绍，因为我们不允许谈论正在进行的法律。但我只想说，一般来说，我认为如果我们能得到国会的授权，在这个后市场阶段制定标准，那将是有帮助的。如果你回到 10 年前，随着算法越来越多地出现，FDA 的指导意见说上市前阶段很重要，但监控模型的上市后阶段，算法正在做什么，是至关重要的。因此，有更多的权力来实现这一目标。不是这样做，而是说如果你把一个算法放在那里，你应该意识到你可能会被审计你的算法是否按照它所说的去做。

我认为我们已经做好了很好的准备，可以在通常试图做正确事情的行业中执行工作。农民希望种植人们想吃的食物。因此，只要我们有善意，如果我们有正确的标准和一些执法能力，我认为这会有很大帮助。

▼参考文献

Perlis R, Abbasi J. FDA Commissioner Robert Califf on Setting Guardrails for AI in Health Care. JAMA. 2024;332(23):1963–1966. doi:10.1001/jama.2024.24760