纽约——随着AI智能体的快速兴起，关于治理和监管的呼声正在增强，尤其是在医疗保健行业。
Citrix医疗领域首席技术官克莱蒂斯·厄尔在接受InformationWeek采访时强调，CIO们必须让组织明白，如果在没有防护措施的情况下生成AI智能体，将面临诸多未知风险。他表示，鉴于AI发展的速度之快，如果模型没有被充分理解，组织将使自身暴露在重大风险之下。
"这听起来像老生常谈，但治理确实至关重要，"厄尔说。
他是在云计算和虚拟化平台提供商Citrix举办的一场媒体活动中，与一小群记者分享了这些见解，该活动还邀请了One Brooklyn Health医院参与。此次交流的部分内容聚焦于企业中AI智能体的应用，尤其是在医疗保健领域的应用。
布鲁克林一线的AI应用
One Brooklyn Health总裁兼首席转型官亚瑟·吉安内利表示，医疗保健领域使用AI的顾虑不仅限于监管规则。市场的规模和多样化要素本身就给数据管理带来了挑战。
"当你说到医疗保健时，你说的是医疗服务提供者，是医院，是医疗系统，"他说。例如，大型医疗系统可能包括学术医疗中心、农村关键准入医院，以及大大小小的医生诊所，吉安内利说。
"你面对的是各种类型的服务提供者，他们各自拥有不同的资源来应用AI技术，"他说。
对于规模较大的医疗系统而言，凭借雄厚的资金实力，采用AI相对容易一些。吉安内利此前曾在纽约西奈山医疗系统工作11年，这是该州最大的医院系统之一，其中六年担任首席转型官，他提到了该系统在AI方面的深厚积累。"他们聘请了数据科学家，正在构建自己的大语言模型，他们拥有一套令人惊叹的治理架构来筛选任何潜在技术，"他说。
吉安内利表示，西奈山医疗系统使用AI的历史早于当前这波热潮。他分享了一个案例，AI协助识别偶发性肺结节，这可能是癌症的早期征兆。AI阅读了数千张此类肺结节的CT扫描图像，速度远超人力，他说。
"有时候这些是假阳性，有时候确实是癌症，"他说。"在我任职的有限时间里，当我们启动这个项目时，我们挽救了好几个人的生命。"
他补充说，与西奈山相比，One Brooklyn Health的资源有限，同时服务的患者群体却是全国最弱势的群体之一。"问题就变成了：像这样的地方该如何利用AI？"他问道。
吉安内利表示，One Brooklyn Health与Epic Systems合作投资建设了电子病历系统，该系统集成了大量AI功能和可用工具。其中包括今年发布的无代码、拖拽式Agent Factory平台，创建或管理AI智能体无需编程知识。
One Brooklyn Health近期还开始与hellocare.ai合作，利用AI算法监测患者情况，并在患者出现跌倒风险迹象时提醒护士。"组织内的每一位患者都能实现全天候、全年无休的可视化监测。与仅仅几年前相比，这是一个质的飞跃，"吉安内利说。他表示，这类资源可以起到均衡作用，帮助那些缺乏西奈山或梅奥诊所那样雄厚资产的小型医院。
让AI智能体保持在正轨上
厄尔表示，尽管AI和AI智能体带来了诸多益处，但审慎依然必不可少。他说，他从一些组织的前车之鉴中吸取了教训——这些组织曾放任员工自由创建AI智能体。结果，这些智能体自行在Active Directory（微软Windows中存储网络数据并管理用户访问权限的中央数据库）中创建了账户。AI智能体的这一活动引发了安全问题，这一教训似乎正在企业高管技术领导者中间传播开来。"他们的反应是，'暂停一下。我们以后不能再这样了，不能让所有人都去创建智能体，'"厄尔说。
尽管如此，厄尔表示他预见到，可能会有更多组织通过惨痛教训才明白，智能体需要防护措施和治理。
除了医院在患者护理中使用AI外，医疗保健领域的研究人员也可能利用AI处理数据以推进他们的研究工作，因为他们承受着按资助要求交付成果的压力。厄尔表示，如果研究人员在医疗机构的网络上运行AI智能体，他们急于使用智能体的热情可能会引发监管、技术和隐私负责人的担忧。"那些智能体可能会接触到受保护的健康信息，"他说。
厄尔表示，研究人员往往有动力比当地IT部门授予他们智能体模型访问权限的速度更快地推进资助项目。
尽管有这样的热情，但在医疗保健领域，AI能够接触的内容存在着不可逾越的硬性限制。"我不管你用的是什么样的智能体，我不管你的需求是什么。你都不能触碰我们受保护的电子病历或健康记录，"他说。
Q&A
Q1：AI智能体在医疗保健领域使用时会有哪些风险？
A：如果没有防护措施和治理，AI智能体可能引发安全问题，例如自行在系统数据库中创建账户，或接触到受保护的患者健康信息，给医疗机构带来重大风险。
Q2：One Brooklyn Health是如何应用AI技术的？
A：One Brooklyn Health通过与Epic Systems合作的电子病历系统使用无代码AI智能体创建平台Agent Factory，并与hellocare.ai合作利用AI算法全天候监测患者跌倒风险，帮助资源有限的医院提升护理水平。
Q3：为什么说AI智能体治理很重要？
A：由于AI发展速度快，如果模型未被充分理解就被广泛使用，可能带来安全隐患。此前有组织因放任员工自由创建AI智能体而引发安全问题，因此建立防护措施和治理机制至关重要。
