开源权重AI模型需要与之相称的评估方法
开源权重AI模型(OWMs)具有独特的风险特征,而现有评估实践主要针对闭源模型设计,难以有效应对这些风险。研究人员提出了针对OWMs的比例评估(PE)方法,并系统审查了2025年至2026年4月间发布的37个模型系列的评...
开源权重AI模型(OWMs)具有独特的风险特征,而现有评估实践主要针对闭源模型设计,难以有效应对这些风险。研究人员提出了针对OWMs的比例评估(PE)方法,并系统审查了2025年至2026年4月间发布的37个模型系列的评...
英国政府AI安全研究所(AISI)近日发布了对Anthropic旗下Mythos Preview模型的独立评估报告。结果显示,该模型在单项网络安全任务测试中与其他前沿模型表现相近,但在模拟32步企业网络数据渗透的"最后防...
AI模型竞争激烈,Arena已成为大语言模型的权威排行榜,影响着行业资金流向和产品发布。这家初创公司在七个月内从加州大学伯克利分校博士研究项目发展为估值17亿美元的企业。联合创始人讨论了如何在接受OpenAI、谷歌和An...
MIT研究人员发现,即使在大量数据上训练的最佳平均性能模型,在新环境中应用时可能成为6-75%新数据的最差模型。研究揭示了医疗诊断、癌症病理图像和仇恨言论检测等领域中难以察觉的虚假关联问题。研究团队开发了OODSelec...
英国政府人工智能安全研究所发布前沿AI趋势报告,基于两年的网络安全及科学研究。报告显示,AI模型安全防护显著提升,破解安全规则所需时间从数分钟延长至数小时。AI在网络安全学徒级任务的成功率从两年前不足10%提升至50%,...
Hugging Face推出开源工具Yourbench,允许企业创建自定义基准来评估AI模型在其内部数据上的表现。这一工具通过复制大规模多任务语言理解基准的子集,以极低成本实现了对模型性能的精确评估。Yourbench的...
近期AI模型层出不穷,从谷歌等科技巨头到OpenAI、Anthropic等初创公司,都在不断推出新模型。本文梳理了2024年以来发布的最先进AI模型,介绍它们的功能特点和使用方法,帮助读者了解最新AI发展动态,选择适合的...