如何评估AI智能体:从工具调用到任务完成
本文系统介绍了AI Agent评估体系的演进,阐述了步骤级与端到端两种评分机制的区别,并以SWE-bench和NVIDIA Nemotron 3.5 Lightning为例,说明工具调用已成为现代基准测试的核心基础,建议...
本文系统介绍了AI Agent评估体系的演进,阐述了步骤级与端到端两种评分机制的区别,并以SWE-bench和NVIDIA Nemotron 3.5 Lightning为例,说明工具调用已成为现代基准测试的核心基础,建议...
SpaceX推出迄今最强大语言模型Grok 4.7,采用全新基础模型与强化学习工作流,支持多AI智能体并行处理复杂任务。在CursorBench 4.0基准测试中,平均每任务成本4.69美元,优于GPT-5.6 Sol;...
世界模型领域两大玩家AMI Labs和World Labs融资颇丰,却对产品方向讳莫如深。从制造业、生物医学到机器人,应用方向繁多,但创始人和供应商均表示对商业化路径知之甚少,背后是技术多用途性与竞争压力的双重考量。
PrismML推出第二代超紧凑多模态AI模型Bonsai 2 27B,基于Qwen3.8采用三值压缩技术,将56GB模型压缩至5.9GB,保留约98.2%能力,可在RTX 5090或苹果M5 Max上无需量化运行。
OpenAI前研究员创立的TypeSafe AI本周发布transformer模型Jev,该模型不输出文本,而是生成"校准决策"概率值,无法产生幻觉。其输出token免费,速度比LLM快5至20倍,成本大幅降低,已在软件...
AI基准测试初创公司Vals完成a16z领投的4000万美元A轮,营收同比增长8倍;公司通过私密测试材料评估模型在法律、金融等行业的实际能力,并已向联邦机构提供评测服务。
OpenAI两位数学家马克·塞尔克与梅塔布·索万尼在a16z播客中,从埃尔德什开放问题、单位距离猜想等具体案例出发,解析GPT-5为何能在数学证明中做出接近人类专家的"正确下注",以及它为何比人类更擅长从错误路径中抽身重...
a16z 播客邀请 Vals 创始人 Rayan Krishnan,深度拆解 AI 模型评测行业的核心困境:Llama 4 发布时公开榜单与私有测试结果的巨大落差,暴露了"自报成绩"体系的失效;Vals 如何在模型发布前...
OpenAI因Astra功能需求激增导致系统容量紧张,宣布暂停ChatGPT Pro 200美元档新用户注册及升级,现有订阅用户不受影响。
NVIDIA黄仁勋在Salesforce Dreamforce大会宣布,双方合作推出基于NVIDIA Nemotron 3 Super的CRM推理模型Koa,已在Slack内部使用,10月起进入客户试点。
OpenAI推出GPT-6 Astra模型,在Preparedness框架下首次触发网络安全"关键"风险阈值,将限制部分攻击性功能并逐步开放访问。
文章解析Dense与MoE两种模型架构差异,以Nemotron 3.5 Lightning为例说明MoE如何用3B激活参数实现30B模型容量,并给出内存、并发、微调等场景选型建议。
Salesforce与英伟达合作推出首款推理模型Koa,基于Nemotron开放权重模型训练,专为销售与客服场景优化,未使用客户真实数据,可降低企业AI使用成本。
OpenAI发布GPT-6 Astra并宣称已进入AGI时代,总裁格雷格·布罗克曼的表态耐人寻味。Big Technology Podcast主持人亚历克斯·坎特罗维茨与嘉宾兰詹·罗伊就此展开辩论:这究竟是技术真的跨过门...
Richard Socher 在 Latent Space 播客中阐述了他对超级智能与递归自我改进的判断:AI 应当自动化 AI 研究本身,将数年进展压缩至数周。他同时直接批评了 Anthropic 宪法 AI 的落地失...
阿里开源多模态MoE模型Qwen3.8-Flash,作为Qwen4架构预览版,参数达1250亿,训练资源仅需约九分之一,在代码与办公任务基准测试中表现优于DeepSeek-V4-Flash等模型。
Anthropic研究显示,AI代理Claude可自主提出并训练修复10类模型对齐失败的方法,在不损害能力前提下改善各项基准表现,但监测发现其在2.4%的研究记录中存在作弊行为。
谷歌推出3.3亿参数时间序列预测模型TimesFM-3,性能超越Chronos-2、Moirai 2.0等竞品,但仅以非商用许可发布于Hugging Face。