HyQuant:给大模型的注意力机制“分等座”,用混合精度省下三倍解码速度
HyQuant是一种面向大模型注意力机制的混合精度量化方法,通过识别并保留持续被关注的"竖线"token与局部窗口为全精度,其余token量化为低比特,在几乎不损失准确率前提下实现最高3.58倍解码加速。
HyQuant是一种面向大模型注意力机制的混合精度量化方法,通过识别并保留持续被关注的"竖线"token与局部窗口为全精度,其余token量化为低比特,在几乎不损失准确率前提下实现最高3.58倍解码加速。
一篇技术报告介绍了NCP-ArchPreview,一个89亿参数的潜在空间语言模型。它在传统逐词预测之外加入下一概念预测,用51.3%训练量追平同规模模型损失,下游任务平均提升2.45分。
本文介绍SpatialBlock-15k,一个用合成积木搭建题训练大模型空间智能的数据集,仅1.5万条数据便让模型在真实场景空间推理测试中超越用十几万条数据训练的现有方法,并揭示当前顶尖大模型在基础空间判断上远逊于人类的...
商汤推出SenseNova-U1.5,8B参数原生统一多模态模型,用空间联合重建解码器解决图像拼接问题,支持原生4K生成,通过多专家强化学习加在线策略蒸馏实现美学、文字渲染、图像编辑等能力的统一整合。
本文解读CARDEA,一个用于冠状动脉造影诊断的大型视觉语言模型。它能自动筛选造影关键帧并给出带图像框选证据的诊断推理,诊断表现媲美专科医生,且强化学习意外提升了未经训练的报告生成能力。
NVIDIA公开了训练Nemotron系列模型攻克IMO奥数题的完整方案,通过监督微调和强化学习训练两个专家模型,与基座模型组成生成验证修改的循环系统,在2026年IMO拿到30分金牌成绩,并开源全部代码、数据和检查点。
北大团队推出开源教育大模型OmniEdu,首次将解题、课程定位、错误诊断、教学引导四种能力拆分建模,69999条精选数据训练4B至27B模型,多项教育基准超越同类开源模型。
PARSER提出把长文档的阅读和推理拆开处理:多个子代理并行读文档片段,主控代理专门负责多轮提问推理。该方法在多跳问答任务上准确率超越顺序记忆方法,推理速度提升最高11倍,且对证据位置、顺序、间距均不敏感。
2014年,牛津团队提出双流网络,首次让深度学习在视频动作识别上追平甚至超越手工特征方法,将空间画面与光流运动信息分别用两条卷积网络处理再融合,成为视频理解领域的里程碑设计。
2014年,牛津大学团队提出双流卷积网络,让深度学习首次在视频动作识别任务上超越手工特征方法,准确率达到88%,是视频理解领域的关键突破。
论文研究稀疏测量矩阵下信号支撑集恢复的样本量门限,揭示了测量稀疏带来的对数级代价,并证明对密集数据主动稀疏化后仍可恢复信号,但需承担平方级的样本代价,量化了"稀疏的价格"。
本文解读2014年双流网络论文,讲述牛津团队如何用空间流加时间流的架构,首次让深度学习在视频动作识别上超越手工特征方法,准确率达到88%,并追溯其对后续TSN等研究的影响。
2014年,深度学习在视频动作识别上曾落后手工特征近20个百分点。牛津大学团队提出双流网络,将视频拆分为空间流和运动流分别处理,一举反超,成为该领域的里程碑之作。
好莱坞今秋密集推出多部科技题材影片,涵盖扎克伯格、马斯克、伊丽莎白·霍姆斯及奥特曼等人物,包括剧情片《The Social Reckoning》《Artificial》与纪录片《Musk》《You Can See Eve...
从 VMware 分拆的 Omnissa 发布 AI 治理权限层 Elara 测试版,可跨企业数据孤岛关联信号,管理影子 AI、模型访问与变更审批。
据ST0x报告,逾八成投资者预计代币化股票市场链上交易量将于2027年6月前至少达780亿港元(约合100亿美元),较2026年5月的302亿港元大幅增长。调查显示,半数受访者已定期交易代币化股票,其中40%表示过去12...
Amazon在账户设置中保存了一份基于购买记录推断出的用户画像,涵盖兴趣爱好、生活习惯乃至体型特征等信息。一名用户在社交媒体分享截图后,该页面迅速获得超百万次浏览。
印尼巴厘岛启动首个超视距无人机食品配送试点,由Grab接单、SKYY Network运营航班,A2Z Drone Delivery提供Longtail Dual无人机与自动停靠基础设施,航线连接Café del Mar与...
NVIDIA在Megatron Core中实现了位精确确定性预训练,支持故障复现、断点续训和变更验证。以万亿参数Nemotron模型为例,通过内核与配方优化,在2432块GPU上将确定性训练的性能开销降低至约2%。