FuxiMT:基于稀疏化大语言模型的中文为中心多语种机器翻译系统——天津大学和清华大学联合打造跨语言沟通新桥梁
天津大学和清华大学研究团队开发的FuxiMT是首个中文为中心的多语言翻译模型,基于BLOOMz模型并整合了混合专家技术,支持65种语言的翻译。其采用两阶段训练策略:先在50亿中文句子上预训练,再通过课程学习方法在多语言并...
天津大学和清华大学研究团队开发的FuxiMT是首个中文为中心的多语言翻译模型,基于BLOOMz模型并整合了混合专家技术,支持65种语言的翻译。其采用两阶段训练策略:先在50亿中文句子上预训练,再通过课程学习方法在多语言并...
伊利诺伊大学研究团队开发的s3框架只需2,400个训练样本,就能超越需要17万个样本的现有方法,大幅提升语言模型的搜索质量。通过将搜索与生成解耦,s3使用"超越朴素RAG的增益"奖励,专注训练搜索智能体而保持生成模型不变...
今天本来计划刊发一期黄仁勋的内容,因为昨天英伟达财报,照例黄仁勋也接受了一些采访,谈到了中国市场战略等话题。不过后来看到红杉资本的Training Data播客前天的一期节目,觉得更值得报道一下。
香港大学等机构研究者开发的PHYX基准测试评估了AI模型的物理推理能力,结果显示即使最先进的GPT-4o等多模态模型在此类任务上的准确率仅为32.5%-45.8%,比人类专家低29%以上。PHYX包含3000个跨六大物理...
QwenLong-CPRS是阿里巴巴千问文档团队开发的创新上下文压缩框架,专为解决大型语言模型处理长文本的效率和"迷失在中间"问题。该技术通过自然语言引导的动态优化、双向推理层、基于语言建模的标记评价和窗口并行推理四大创...
这项研究介绍了MOOSE-Chem3,一种通过模拟实验反馈进行化学假设排序的创新方法。传统的预实验排序仅依靠大型语言模型的内部推理,而该研究提出的实验引导式排序方法则利用先前实验结果来优化决策。研究团队基于三个领域假设构...
FullFront是一项创新研究,首次全面评估多模态大语言模型在前端工程完整流程(从设计概念化到视觉理解再到代码实现)中的能力。研究通过精心设计的基准测试,包括网页设计、网页感知问答和网页代码生成三大核心任务,发现即使最...
这项研究介绍了Time-R1,一个3B参数的语言模型,通过创新的三阶段强化学习训练方法,在时间推理能力上超越了参数量大200倍的模型。该框架依次建立了基础时间理解、未来事件预测和创意场景生成能力,采用精心设计的动态奖励系...
这项由清华大学领导的研究提出了Bench-V,首个专注于评估AI模型视觉推理中多模态输出能力的基准测试。通过803个涵盖数学、物理、计数和游戏的精心设计问题,研究揭示即使是最先进的OpenAI o3模型也仅达到25.8%...
NOVER是一种创新的无验证器强化学习框架,解决了传统激励训练依赖外部验证器的限制。由伦敦国王学院研究团队开发,它通过计算"推理困惑度"作为奖励代理,使语言模型能在任何文本任务中自主发展推理能力。实验表明,NOVER在一...
韩国中央大学研究团队开发了名为CoPriva的基准测试,评估大语言模型遵守上下文安全策略的能力。研究发现,虽然多数模型能成功拒绝直接违反安全政策的查询,但在面对间接攻击时存在严重漏洞,泄露率平均增加40%以上。即使是推理...
这项研究分析了混合专家模型(MoE)的"局部路由一致性"特性,即连续词元激活相似专家的程度,这对内存受限设备上的模型部署至关重要。研究者提出了两种测量指标:段路由最佳性能(SRP)和段缓存最佳命中率(SCH),分析了20...
清华大学研究团队开发的"思维增强型策略优化"(TAPO)通过将外部高级思维模式整合到强化学习中,显著提升了大语言模型的推理能力。这种方法从仅500个样本中抽象出思维模板,在AIME、AMC和Minerva Math等基准...
Trinity-RFT是阿里巴巴团队开发的开源框架,专为大语言模型的强化微调设计。它采用三位一体结构,包含RFT核心(探索者、训练者和缓冲区)、智能体-环境交互和数据流水线三大核心组件。框架支持同步/异步、在线/离线和策...
阿里巴巴Qwen-Doc团队推出的QwenLong-L1框架通过强化学习解决了大型语言模型长文本推理的关键挑战。该框架采用渐进式上下文扩展策略,包含热身监督微调、课程引导分阶段强化学习和难度感知回顾采样三大核心组件。实验...
这篇研究论文介绍了"Speechless",一种创新方法,可以在不使用实际语音数据的情况下训练语音指令模型,特别适用于越南语等低资源语言。研究团队通过将文本指令转换为语义表示,绕过了对高质量文本转语音(TTS)系统的依赖...
《Transformer Copilot》论文提出了一种革命性的大语言模型微调框架,通过系统记录和利用模型训练过程中的"错误日志"来提升推理性能。研究团队受人类学习者记录和反思错误的启发,设计了一个"副驾驶"模型来辅助原...
德克萨斯大学Austin分校的研究团队提出了RIPT-VLA,一种创新的视觉-语言-动作模型后训练范式。该方法通过让AI模型与环境互动并仅接收简单的成功/失败反馈来学习,无需复杂的奖励函数或价值模型。实验证明,RIPT-...
北京大学与华为诺亚方舟实验室研究团队共同开发了TIME基准,这是首个专为评估大语言模型在真实世界场景中的时间推理能力而设计的多层级基准。该研究提出了三个层级的时间推理框架,包含11个细粒度任务,并构建了涵盖38,522个...
这篇研究论文提出了一种称为"正交残差更新"的新方法,解决了深度神经网络中标准残差连接的局限性。研究人员发现,在传统残差连接中,模块输出与输入流直接相加可能导致冗余特征学习。他们的创新方法将模块输出分解为平行和正交两个组件...