机器人领域的最新趋势是将控制权交给生成式AI模型，但这也带来了一个问题：这种架构不像传统算法那样可预测。如何确保你全新的人形机器人是安全的？
卡内基梅隆大学安全AI实验室主任丁钊博士几乎在整个职业生涯中都在研究这个问题。现在，他与资深创业高管凌凯尔·黄（Kyle Wong）以及机器学习工程师西莫·拉希迪（Simo Rachidi）共同创立了一家名为Safeworld的公司，旨在解决这一难题。
"我们所说的安全挑战，一方面是非常先进的生成式AI概率性评估——你如何为一个概率系统的风险进行承保？"丁钊说，"另一个真正困难的部分是信任问题，而你需要同时解决这两个问题才能部署机器人。"
Safeworld今日正式结束隐身模式，宣布完成超过1200万美元的种子轮融资，由Shine Capital和a16z Speedrun领投，Box Group、卡内基梅隆大学捐赠基金、Innovation Endeavors和SV Angel等机构参与投资。
"现在正是建立行业安全标准的时机，因为机器人正处于设计和部署阶段，"a16z Speedrun合伙人乔纳森·赖（Jonathan Lai）对TechCrunch表示，"等到机器人进入家庭，与孩子发生碰撞并造成安全事故时，那就太晚了。"
Safeworld的专长是在填充了逼真人类模型的仿真环境中评估机器人控制系统。这类似于特斯拉或Wayve等公司面临的挑战——它们必须确保车辆能够对道路上可能遇到的各种意外情况做出恰当反应。但丁钊认为，对机器人而言这将更加困难，因为机器人工作在非结构化环境中，而且它们所处的每个场所都有不同的安全标准。
"最常见的场景之一是某个特定工厂里存在视线盲区的拐角，"黄凯尔说，"需要多大的速度，或者说需要多大的制动距离才能确保机器人不会与特定的人发生碰撞？比如，如果有人正搬着箱子，机器人能否检测到这个人？"
为了解答这个问题，Safeworld会在Genesis或MuJoCo等仿真模型中构建该拐角的数字版本，插入由被评估机器人的真实软件驱动的仿真模型，然后运行数千种人类模型与机器人相遇的场景。丁钊表示，这比看起来要困难得多，因为人的行为是不可预测的。
"摔倒绊倒也是我们在仿真中大量测试的一个很好的例子，"黄凯尔说，"否则，你就得真的让机器人去经历绊倒和摔倒，这是一件很难持续去做的事情。"
Safeworld正在构建的平台与机器人制造商内部使用的工具确实存在相似之处。然而，创始人们认为，除了他们的专业能力之外，机器人制造商还会希望有一个第三方来验证他们的工作，哪怕只是为了在竞争对手之间共享安全案例信息。
"很多人低估了解决这些边缘案例的难度，"丁钊说，"我们担心的不是真空环境中、演示场景下的机器人，而是大规模部署、与可能从未操作过机器人的人们共处的机器人。"
Gritt Robotics首席技术官维沙尔·杜加尔（Vishal Dugar）正在为机器人开发AI大脑，这些机器人目前帮助工人在工业规模的太阳能发电场安装光伏板，并有志于承担更复杂的建筑任务。他的公司正与Safeworld合作开发安全仿真系统。
"我们大多数系统面临的困难在于，很难通过做一些数学运算、写一些方程式来正式证明系统是安全的，"杜加尔说，"这必须通过实证的方式来完成。"
他的机器人与人类工人协同作业，确保机械臂不会撞到工人显然是重中之重。要在实践中验证这一点，需要考虑各种潜在场景。
"人有多种外观形态，"杜加尔指出，"他们的身体可以处于不同姿态——可能是跪着、站着，也可能正在跌倒绊倒，可能蹲着，可能跑着。你必须应对人类在这些场所可能表现出的所有行为，同时还要应对人类外观的各种差异，比如衣着、体型、身高、肤色等等。"
对Safeworld和机器人领域的生成式AI来说，现在都还处于早期阶段，这家公司仍在摸索其产品的最佳模式——是面向外部用户的平台，还是基于服务的方式？但团队坚信他们正在解决一个正确的问题。
"我们可能会是这个领域第一家实现盈利的公司，"丁钊说，"因为任何想要部署机器人的人，都需要付钱让我们来处理这些安全问题。"
Q&A
Q1：Safeworld是做什么的公司？
A：Safeworld是一家专注于机器人安全评估的公司，通过在填充逼真人类模型的仿真环境中测试机器人控制系统，帮助验证生成式AI驱动的机器人在真实场景中是否安全可靠。
Q2：Safeworld这次融资情况如何？
A：Safeworld完成了超过1200万美元的种子轮融资，由Shine Capital和a16z Speedrun领投，Box Group、卡内基梅隆大学捐赠基金、Innovation Endeavors和SV Angel等机构参与投资。
Q3：为什么生成式AI机器人的安全评估比传统机器人更难？
A：因为生成式AI驱动的机器人架构不像传统算法那样可预测，而且机器人工作在非结构化环境中，每个场所的安全标准各不相同，人类行为本身也充满不可预测性，这些都增加了安全评估的难度。
