之前发了很多期商业方向的博客了，其实我也是一个技术博主来着，而且研究AI，不研究技术，属于水中捞月。所以，本期我来一份硬核技术分享。
这是TWIML AI Podcast的最新一期节目，独立LLM研究者Sebastian Raschka和主持人Sam Charrington做了一场时长超过75分钟的深度对谈，话题从个人工作流一路覆盖到架构前沿。Raschka是Manning出版社畅销书《Build a Large Language Model from Scratch》的作者，这本书也有中文版，很受欢迎。目前正在写续作《Build a Reasoning Model from Scratch》，已通过Manning的MEAP早期访问计划（读者可以在书未完成时按章节阅读）发布了前360页，基于Qwen 3最小模型实现推理缩放和强化学习的全流程。
这场对话有一个贯穿始终的判断：大语言模型（LLM）的核心架构在过去一年没有发生根本性变化，真正的进展集中在"训练之后"和"使用方式"上。但Raschka给自己所有架构层面的判断都加了一个星号——"DeepSeek V4还没有出来，它可能彻底改变一切。"（"DeepSeek V4 is not out. It might change everything completely."）
这句话说出时是2026年2月第二周，当时距离市场预期的DeepSeek V4发布窗口只剩几天（春节）。当然，截至本文发稿，DeepSeek V4仍未正式面世，但种种迹象表明它可能随时落地。
据一些外电报道，DeepSeek发布也临近了，聚焦编程能力和超长代码上下文处理，而且正在作国内AI芯片适配。DeepSeek在2026年1月1日和1月13日相继发表了两篇关键论文：mHC（一种改善模型层间信息传递效率的新连接方式）和Engram条件记忆系统（让模型能像查字典一样快速检索知识，而不用每次都"重新推理"一遍），业界普遍认为这两项技术将构成V4的架构基础。2月11日，DeepSeek还悄然将现有模型的上下文窗口扩展到了100万token。所谓上下文窗口，就是模型一次能"看到"的文本长度，100万token大约相当于750万个汉字，足以装下几十本书。这被观察者解读为V4的前置准备。更值得关注的是，V4被认为是一个混合模型，同时支持推理和非推理任务，意味着之前R系列（擅长深度思考）和V系列（擅长通用任务）的区分可能就此终结。
Raschka特别提到，中国农历新年前后历来是开源模型密集发布期，看来大模型是新年俗这事儿全世界都知道了。去年DeepSeek R1正是在这个窗口震动了整个行业，一度登顶美国iOS应用商店下载榜首，并触发了美国科技股的集体市值蒸发。
我特别喜欢的博客中的一个判断是，他们认为模型的最佳使用方法之一是发明工具，和使用工具。当年我们说人类和动物的关键区别就是，人类能运用工具，现在AI也能了。
1. 推理革命：一年前的DeepSeek R1改变了什么
"拿今天和一年前比，几乎就是DeepSeek的周年纪念。"
Raschka把2025年到2026年初这段时间定义为"推理革命"，但他马上加了引号。本质上还是同一个基座模型，就是那个通过海量文本训练出来的"底座"，只是上面叠加了更多技术来让模型在解决复杂问题时表现更好。如果把变化拆开看，有三个层面。
架构层面，LLM看起来和一年前差别不大。MoE（混合专家）成为主流，这种架构的核心思路是模型内部有很多"专家模块"，每次只激活其中一小部分来处理当前任务，既省算力又不损失能力。注意力机制有了一些效率优化，但没有颠覆性的新范式。真正密集的变化发生在后训练阶段。所谓后训练，是模型学完基础知识之后的"进阶培训"，相当于大学毕业后的专项技能训练。推理训练成了这个阶段的研发重心。Raschka的判断很直接：预训练（让模型阅读海量文本、学习语言规律的基础阶段）已经非常成熟，能做的无非是更多数据、优化数据配比、multi-token prediction（让模型一次预测多个词而不是一个词）这些。后训练空间大得多，"还有很多低垂的果实等着去摘"。他在为新书编写推理训练章节时，仅GRPO算法（一种让模型通过"对比好答案和坏答案"来学习推理的强化学习方法）的改进变体就列出了15种，从对整段回答打分到对每个词单独打分，到Nvidia提出的GDPO变体，进展密集到让他在实验中投入了大量时间。
第二个层面是工具调用的成熟。早期LLM的使用方式是让模型从记忆中回答一切问题。Raschka用了一个直白的类比：人类被问到两个大数相乘，也会拿出计算器，不会在脑子里硬算。"也许我能心算，但会花很长时间，更容易出错，而且完全没必要这么做。"现在LLM也是如此。通过训练让模型学会在合适的时机调用合适的工具，比如需要计算就调计算器，需要最新信息就调搜索引擎，可以显著降低幻觉率、提高准确性。这个转变意味着评估LLM的维度已经从"它自己知道多少"转向了"它能不能正确使用工具"。
第三个层面，也是Raschka认为很多人低估的一个变化：产品差异化的来源正在从模型本身转移到模型外面的工具包装。他提出了一个大胆的假设：如果把最好的开源模型放进ChatGPT、Gemini或Claude的界面里，用户感受到的质量差异其实微乎其微。也就是说，用户体验的差距主要来自文件上传、PDF解析、代码执行、定时任务调度等能力的成熟度，而不是底层模型。这就是去年下半年开始流行的harness engineering概念，可以理解为"工具包装工程"，指围绕模型搭建的整套产品化能力。
2. 两位深度用户的真实工作流：LLM最大的价值是造工具
对话中有相当长的篇幅是Raschka和Sam交换彼此使用LLM的实际方式。这部分没有任何理论包装，全是具体到文件名和按钮的操作细节，反而特别有参考价值。
Raschka目前用LLM最多的场景听起来甚至有点"无聊"：校对。他在写书的间隙用ChatGPT上传PDF，让模型检查目录编号、章节一致性这类机械但容易出错的工作。他说自己在录这期播客之前刚写完一章，需要更新目录，就把PDF上传到ChatGPT界面，让模型把所有标题提取出来，省得自己手动拉。每个月写完一个章节，他会把40页的PDF上传到pro模式，设成那个需要20分钟处理的最高推理级别，然后出去吃饭，回来看结果。
但两人都认为，过去一年从LLM获得最大回报的方式，不是让LLM反复执行任务，而是用LLM开发确定性的自动化工具。
Raschka举了三个自己的例子。他一直想学Swift开发原生macOS应用，但从来没有时间专门投入。LLM给了他这个机会。他妻子有一个读书会播客，Raschka帮她处理后期制作流程。之前他有一个Python脚本来添加章节标记，现在他用LLM写了一个原生macOS应用，输入时间戳，点一个按钮，自动把章节标记写进音频文件。"就这么简单的小东西，做好了分享给她，她就能直接用了。"另一个应用是批量解析arXiv（全球最大的学术预印本平台）论文链接，自动提取标题、日期、作者，生成格式化的列表。还有一个是PDF转换工具，输入PDF后自动导出PNG、WEBP和PDF版本，指定分辨率。
Sam的情况类似。他围绕播客的运营开发了大约半打工具，其中最典型的是一个赞助商分析工具，通过API拉取播客平台的分析数据，用Pandas（Python的数据处理库）做处理，自动生成Google Sheets报告。这个工具本身不使用LLM，但完全是用LLM开发的。
Raschka对此的总结很精辟："手里只有锤子，看什么都像钉子。"（"If all you have is a hammer, everything becomes a nail."）有些任务本质上是确定性的，每次用LLM去执行是浪费。正确做法是用LLM一次性造好工具，然后让确定性的工具去跑。用LLM算1加1等于几，就像用大炮打蚊子，明明有计算器可以用。
两人还发现了一个共同的轻量用法：LLM作为分类器。Sam的场景是根据嘉宾姓名在Google Docs目录中匹配对应的项目文件夹。正则表达式（一种基于规则的文本匹配方法）经常匹配不上，因为命名格式不统一，但LLM做这种模糊匹配准确率高、错误率低。Raschka有几乎一模一样的经历。他重新捡起一个大学时期的英超梦幻联赛预测项目，需要从不同数据库合并球员数据，但球员名字的拼写、重音符号在不同数据源里不一致。有的数据库带重音符号，有的不带，同一个球员的名字在两个表里长得不一样。用LLM做这种上下文敏感的模糊匹配，比写正则表达式可靠得多。
3. 推理级别的自动选择：从"偶尔用的重型工具"到"日常工作流"
一个不容易被注意到但影响很大的变化是：模型自己判断推理强度的能力在过去半年有了明显提升。
Raschka回忆说，半年到一年前，想要好结果几乎必须选最高推理模式，然后等五分钟。他说当时如果不用最高推理设置，结果总是差一截，而那些高推理模式"慢得要命"。现在不同了，中等推理级别对大多数任务已经足够。他和Sam都把ChatGPT设在auto模式，让模型自己决定投入多少推理资源。
Sam补充说，他发现自己绝大多数时候只是输入prompt，不指定模型也不指定推理级别，模型自己判断什么时候给快速回答、什么时候调搜索、什么时候深度思考。他觉得模型在这方面做得已经相当好了。
这个变化的实际影响是：LLM从"偶尔使用的重型工具"变成了"日常工作流的一部分"。以前你不会为了一个小问题等五分钟，所以LLM只在重要任务时才值得启动。现在大多数请求几秒就回来，使用频率自然就上去了。
4. "一键生成"是真的吗？
Sam在社交媒体上反复看到"I one-shotted this"的帖子，声称某个新模型一次性完成了一个复杂任务。他试着去复现，结果往往很糟糕。他问Raschka是否有类似体验。
Raschka很直接地说有。他用Codex 5.2写一个简单的macOS应用，功能只是把PDF导出为PNG、WEBP和PDF的不同分辨率版本，都经历了多轮迭代才让所有按钮正常工作。"完全不是一次搞定的，反复改了好几轮才跑通。"他猜测有两种可能：要么那些成功案例的指令写得极其详细，比如明确要求"请彻底测试每个功能，确保一切正常运行"，要么只是运气好。"我不认为那些帖子反映了今天的真实情况。"
5. OpenClaw：Agent的"AlphaGo时刻"与信任鸿沟
话题转到OpenClaw（之前叫Moltbot，一款能自主操控电脑完成任务的AI Agent），Raschka的看法很有意思。他没有从技术角度评价它的能力上限，而是把它类比为AlphaGo。
当年DeepMind做AlphaGo的时候，他说，他周围真正下围棋的人屈指可数，但看到AI和世界冠军对弈，他的家人、所有人都兴奋起来了。OpenClaw的价值类似，让非技术人群直观感知到LLM能做什么，让人们产生兴趣、愿意去试试看。
但当被问到他自己是否使用OpenClaw来管理日历和邮件时，Raschka坦言有信任障碍。"我可能有点信任问题，我不太敢把财务或日程表交给它管。"这个坦白暴露了Agent产品当前的核心矛盾：演示效果和日常可信赖之间还有很大的鸿沟。
6. 学编程还有意义吗？中间地带的价值
对话中出现了一个出人意料的共识：vibe coding（纯靠LLM写代码、自己完全不碰的做法）这个词已经不够用了，因为有人真的在用LLM搭建完整产品，从网站到后端全交给模型。但Raschka和Sam都不是那种人，他们处在光谱的中间位置。
Raschka讲了一个生动的例子。他的个人网站是12年前自己用HTML和CSS写的，一直想加暗色模式，但知道以自己现在对前端的生疏程度，手动做可能要一个月，所以一直拖着。后来他让LLM来做，模型完成了主要工作，但按钮的位置不对，偏了、高了、歪了。他开始通过prompt让LLM调整位置，往上一点、往下一点、往左移一些，然后意识到这种交互效率极低。"我干嘛不直接打开CSS文件自己改呢？"因为他还记得CSS（控制网页样式的代码）的基本知识，直接改文件、刷新页面看效果比反复和LLM打乒乓球快得多。
这个案例指向一个重要结论："中间地带是存在的。我确实认为学习事物的运作原理仍然有价值。"（"There's a middle ground. I do think there's still value in learning how things work."）理解底层原理不是为了取代LLM，而是在LLM不够精确的时候能自己接手。完全依赖LLM和完全不用LLM都不是最优策略。
7. 可验证奖励：推理训练为什么能规模化
技术对话的核心从这里开始。Sam问了一个关键问题：可验证奖励（verifiable rewards）作为范式，如何推动了过去一年推理能力的进步？
所谓可验证奖励，核心想法很简单：给模型出一道题，如果答案可以用程序自动判对错，那就不需要人来打分，训练成本会极低。Raschka从DeepSeek R1的训练流程讲起。R1的推理训练主要基于两类可验证任务：数学和编程。数学方面，要求模型用特定格式输出最终答案，然后用确定性代码提取答案，再通过Wolfram Alpha或符号计算工具验证，比如4/6和2/3在符号意义上是同一个答案。编程方面，最初的验证方式是检查代码是否能正确编译运行。
这种方式的核心优势是可以几乎无限地扩展。Raschka说，你可以让LLM对同一个问题生成60000个答案，然后在很短时间内批量计算所有答案的奖励。验证是确定性的、廉价的，不需要人工标注。这和传统的RLHF形成鲜明对比。RLHF即"基于人类反馈的强化学习"，是早期训练模型的主流方法，需要人类评估员逐条给模型的回答打分，或者用一个近似的奖励模型来代替人工，规模受限，精度也不如直接验证。
在正确性奖励之外，现在还有格式奖励。比如训练模型把思考过程放在特定标签里，方便后续解析中间步骤。Raschka认为辅助奖励的设计空间还很大，未来会有更多人在格式奖励或辅助奖励上做出有意思的东西，帮助模型整体学习效果的提升。
8. 过程奖励模型：从失败到可用
一个更深层的问题是：能不能不只评估最终答案，而是评估推理过程本身？
DeepSeek R1论文里尝试过这个方向，训练一个"过程奖励模型"（Process Reward Model），不只看最后答案对不对，还给推理的每一步打分。但论文把它列为失败尝试。原因是增加了reward hacking的风险，也就是"奖励欺骗"：模型学会了投机取巧的办法去骗过评估器拿高分，而不是真正提升推理能力。Raschka用GAN（生成对抗网络，一种让两个网络互相博弈的训练方式）做类比：就像GAN里的生成器学会生成某个特定模式来愚弄判别器一样，模型可能发现只生成某一个词就能骗过评估器。
但在后来的DeepSeek Math v3.2中，他们用了更精细的多层结构：一个模型用评分标准检查答案质量，另一个模型评估那个评估者的打分是否靠谱，形成多层级审核。消融实验（逐个去掉系统中的组件，看性能变化多少，以此验证每个组件的贡献）证明这确实有效。他们用了一张很清晰的图展示精度能提升多少。通过充分调高自我精炼和自一致性（让模型多次回答同一问题，取最优）的力度，同一个模型在数学竞赛中从普通水平提升到了金牌级别。
Raschka认为这条路会继续走下去。"本质上就是让推理训练变得更精细。这是一个非常新的范式。"
9. 可验证奖励能扩展到数学和编程之外吗？
Sam指出，推理训练之所以在数学和编程上效果好，部分原因是这两个领域天然有逻辑推理成分，训练出来的推理能力会泛化到其他领域。但如果能在目标领域直接训练推理，效果会更好。那么验证范式能否扩展？
Raschka的回答是肯定的，但他诚实地说自己"暂时缺乏想象力去想出更多例子"。他给出的一个方向是生物制药：药物分子设计或蛋白质结构建模中，原子之间的键角受物理约束，可以用物理方程来验证生成的分子是否合规。比如写一个物理方程来检查生成的分子结构是否满足特定的格式约束。
另一个方向是训练专门的AI奖励模型来评估其他领域的答案，但这面临老问题：奖励欺骗。和GAN里判别器判断图像真假的结构一样，评估者本身也可能被愚弄。
10. 推理缩放：同一个模型还能"榨"出多少性能
推理缩放（inference scaling）是一个近两年非常热门的概念：模型训练完成后，不改动模型本身，而是在模型回答问题的时候投入更多计算资源来提升性能。Raschka把它分成两种形式。
顺序缩放就是推理模型本身的做法：生成比普通模型更长的解释过程，让模型"一步一步想"，帮助它到达正确答案。这是一种用更多token（模型处理文本的最小单位，一个token大约对应一个英文单词或两三个汉字）换更好结果的策略。
并行缩放则是自一致性（self-consistency）：用不同的随机性设置让模型回答同一个问题多次，然后取多数投票或用评分器选最佳答案。Raschka说这有时也被叫做"best of N"，本质上是经典的集成学习，和选举投票的逻辑类似，多个独立判断汇总后通常比单个判断更可靠。
自我精炼（self-refinement）是另一种形式：模型生成答案后，把答案连同原问题喂给另一个LLM或自身，按照评分标准检查答案的弱点，生成一份报告，再把报告反馈给原模型让它修正答案。Raschka坦言这种方法有时也会让答案变差。模型可能过度思考，或者评估报告本身有问题导致原本正确的答案被改错。本来答案是对的，但反馈很奇怪或者有错误，结果改完反而改错了。
但方向是对的。推理缩放的天花板可能比想象中高得多。
11. 开源生态的推理缩放：还在非常早期
一个具体的案例是OpenAI去年夏天发布的GPT-OSS开源模型。在Ollama等本地推理工具中，它支持在system prompt（给模型的"系统指令"）里直接写"no/mild/medium/high reasoning effort"来控制推理强度。这在开源模型中是比较少见的原生推理缩放支持。
但除此之外，自一致性和自我精炼这类技术在开源生态中基本需要研究者自己实现。Raschka说，他不认为有什么其他技术真正被自动集成进去了。Sam从产业侧补充了一个观察：很多围绕Qwen等开源模型构建产品的公司，普遍在架构中加了一个router组件，相当于一个"分拣员"，先评估用户问题的复杂度，然后决定把它路由到最经济或针对性最强的模型。这种模式在商业产品中已经很常见，但在开源工具链中还缺乏成熟方案。
Raschka认为这是2026年会看到更多进展的领域。一边是更贵但更强的模型在推数学奥赛的上限，一边是更便宜的模型在降低日常使用的门槛。有人在做更高精度的模型，有人在做更便宜的模型，两条路永远同时在跑。怎么让系统自动选择合适的模型和推理强度，是一个还没有被很好解决的工程问题。
12. Agent：一个务实的定义和诚实的评估
"Agentic这个词其实定义很模糊，不同的人用法完全不同。"
Raschka给出了他自己的定义：agentic就是LLM在循环中运行，而不是一问一答。用户给一个目标，模型自己拆分步骤、逐步执行、遇到问题自我修正，直到完成。Codex、Claude Code做多轮迭代解决编程问题是agentic，OpenClaw在本地电脑上操作日历和邮件也是agentic。最近Claude Code和Codex 5.3的codeex应用甚至加入了定时任务的能力，你可以调度一个任务，让模型在固定间隔执行某些操作。
他的预测是，到2026年底，我们会看到能可靠预订旅行的系统。但他同时指出，大多数人其实不需要一个全能Agent。"多数人只是需要一个Excel插件，能定时更新某些数据就够了。"
对话中一个显眼的分歧出现在多Agent系统上。Sam描述了社交媒体上流行的"AI团队"模式，创建多个AI员工，每个有不同角色，通过Slack或Notebook交互。他问Raschka的看法。
Raschka的回答异常坦诚：说实话，他希望自己能有一个很好或很有趣的回答，但这是他个人没有深入探索过的领域。不过他提出了两个关键判断。
第一，瓶颈不在LLM本身，而在context engineering。这个概念指的是如何精心设计和管理传给模型的信息，让模型拿到最相关的上下文。在多Agent场景下，就是怎么把一个Agent的输出有效地传递给下一个Agent。从基础的数据库到Slack API，信息在Agent之间的流转方式还非常粗糙。
第二，每个LLM都有自己的失败率。Agent越多、依赖链越长，系统级失败的概率就越高。加的模型越多，其中某个环节出错的风险就越大，尤其当它们相互依赖的时候。
他认为改善Agent系统有两条路径。一条是提升单个模型的可靠性，降低每一环的失败率。另一条是针对Agent场景做专门的fine-tuning，即在已有模型基础上用特定场景的数据做进一步训练，让模型更适配该场景。他举了一个关键例子：Codex并不是GPT 5.3本身，而是从GPT 5.3 fork（分叉）出来，专门为Codex应用训练过的模型。GPT 5.2或5.3的Codex版本和GPT 5.2、5.3完全是两个东西，是专门分叉出来、针对Codex应用场景训练的模型。同样的逻辑会扩展到Agent场景，但这需要模型所有者来做，普通开发者无法自行fine-tune这些闭源模型。
Raschka甚至做了一个预判：如果让他押注的话，Claude和OpenAI肯定在密切关注OpenClaw的动向，说不定很快会推出自己的版本，而且因为它们掌控着模型本身，做出来的东西可能更强。
13. 架构演进：MoE、多头潜在注意力、稀疏注意力
把目光转向LLM架构本身，Raschka的核心判断是：在2025年到2026年2月这个时间窗口里，推动前沿性能的架构没有发生根本性变化。但在效率优化层面有一系列精细的改进。
MoE在DeepSeek V3之后成为主流。Raschka观察到一个有趣的现象：很多公司选择"不赌"，直接采用DeepSeek V3的架构，把精力放在数据和算法上。Kimi直接使用了这个架构并从670B扩展到1T参数，Mistral AI也采用了相同架构。很多人选择不冒险，拿一个已经被验证有效的架构，把精力放在数据和算法的改进上。
多头潜在注意力（Multi-Head Latent Attention）是DeepSeek V3引入的一个关键改进。Raschka用LoRA（一种通过压缩矩阵来降低训练成本的技术）做类比来解释：把注意力机制中的key和value投射到一个更小的压缩空间，推理时再从压缩形式重建。好处是KV cache变小了。KV cache是模型在生成文本时用来"记住之前读过什么"的缓存，是推理阶段最大的内存瓶颈之一。压缩它意味着同样的硬件能处理更长的文本，代价是增加了一些计算。本质上是用计算换内存。
DeepSeek V3.2则引入了深度稀疏注意力（Deep Sparse Attention）。注意力机制是LLM的核心模块，模型通过它来判断"当前这个词应该重点关注前文的哪些词"。它的计算复杂度随序列长度呈二次方增长，已经有成百上千篇论文在研究怎么降低这个成本。但Raschka对大多数论文持谨慎态度，一个想法在小模型上跑得通，不代表扩展到5000亿、6000亿甚至1万亿参数时还能成立。DeepSeek的做法之所以值得关注，是因为它被部署在旗舰模型上，这基本证明了它在大规模下是可行的。具体方法是用一个轻量级的"闪电索引器"（lightning indexer）来快速筛选每个token应该关注哪些之前的token，而不是关注所有token，从而将复杂度降到次二次方。
他也提到了效率路线和能力路线的并行推进。Qwen 3 Next Coder不再是纯Transformer，而是融合了状态空间模型（state space model，一种用固定大小的"状态"来记忆历史信息的架构，处理长文本时比传统注意力机制更省资源）思路的混合架构，目标是降低推理成本。有人在做更高精度的模型，有人在做更便宜的模型，永远是这个权衡。
这两条路同时在跑，而且相互不矛盾：旗舰模型验证了什么有效，效率模型探索怎么用更少的资源逼近同样的效果。
14. 持续学习：最大的梦想，最远的现实
"怎么让模型自己改进自己？我觉得这可能是最大的梦想了。"（"How can we make the model improve itself? I think this is like maybe the biggest dream."）
Sam问到持续学习，也就是让模型在使用过程中自动从新数据中学习、持续变强，而不用重新训练。Raschka的回答毫不含糊：连路径都没有。技术上没有方案能让模型可靠地自动更新自己。现实中也有基础设施层面的障碍，OpenAI不可能为每个用户维护一个独立的模型副本。那样的话每个人家里都得有一台小型超级计算机，或者一台十万美元的机器。
目前的做法是半自动的：人工收集新数据，谨慎地更新模型。即使是这样，风险也不小。如果用户的数据被反馈给OpenAI，OpenAI自动更新模型，万一某次更新出了问题，可能影响所有人。这不是技术问题，是产品安全问题。
Raschka承认可验证奖励的强化学习如果持续运行，从某种意义上也是一种持续学习的形式，模型在不断生成答案、获得反馈、调整参数。但关键约束是：你不能让模型变得更差。
15. 长上下文取代了什么，没取代什么
长上下文LLM确实改变了很多事情。Raschka说，以前人们要建RAG系统来处理大型文档。RAG的全称是"检索增强生成"，做法是先把大量文档切成小段存进数据库，用户提问时先检索最相关的段落，再把它们喂给模型来生成回答。现在200页的PDF可以直接放进上下文窗口，不需要RAG也不需要fine-tuning。
但他也画了一条线。长上下文的局限在于：用户必须自己知道该提供什么信息。如果你问一个2026年的历史事件，LLM可以用搜索工具查到具体事实。但如果这个事件有广泛的连锁影响，工具调用只能获取离散事实，无法捕捉数据点之间的复杂相互作用。
同时Raschka特意澄清了一点：RAG并没有过时。他说自己不会说RAG已经被淘汰了，对于固定的大型数据库或文档集，RAG仍然非常有用。对于企业级的大型文档集和反复查询的场景，RAG仍然是最合适的方案。长上下文取代的是"普通用户偶尔处理一份文档"的场景，不是企业级知识库检索。
16. 2026年的小惊喜：文本扩散模型
在被问到还有什么值得期待时，Raschka提到了一个小众但有意思的方向：文本扩散模型。Google正在准备发布一个这样的模型。当前主流LLM生成文本的方式是从左到右、逐字逐句地写，和人打字一样。文本扩散模型的思路完全不同，更像画画：先在画布上铺满模糊的噪点，然后逐步去噪，让清晰的文字浮现出来，多个位置可以同时生成。
他不认为这会在顶尖性能上挑战当前的LLM，但可能更快、更便宜。Raschka说，大家不用对它的前沿性能抱太高期待，但它可能在速度和成本上有优势。一个可能的应用场景是替代Google搜索中的AI摘要，那些不需要顶级推理能力、只需要快速生成的场景。
17. 新书：从预训练的终点开始
这场对话的尾声回到了Raschka的个人项目。他的新书《Build a Reasoning Model from Scratch》是上一本书的自然续篇，但可以独立阅读。上一本书覆盖了从架构到预训练再到指令微调的完整流程；新书从一个预训练好的LLM出发，具体使用的是Qwen 3最小模型，然后在此基础上实现推理缩放和强化学习。
前360页已经通过Manning的MEAP早期访问发布，还剩最后一章，他希望在4月完成。他说这一章的工作量非常大，因为需要跑完所有实验。他在GRPO算法的各种变体上投入了大量实验时间，因为过去一年有太多改进论文发表，需要在实践中逐一验证。
整本书的设计理念没变：在消费级硬件上可以跑的代码，375页，Python和基本机器学习知识就够。"理解一个东西怎么运作的最好方式，就是自己动手造一个。"（"The best way to learn how something works is to build it yourself."）
Raschka正在做的事情，和他在这场对话中的立场完全一致。他不在光谱的任何一端，不是纯理论研究者，也不是vibe coding的信徒。他写代码验证论文中的每一个声明，用LLM造工具来加速自己的工作流，同时坚持认为理解底层原理是不可替代的。DeepSeek V4的发布时间从2月推迟到了"Q1-Q2 2026"的模糊窗口，但它承载的那些架构创新，mHC、Engram条件记忆、稀疏注意力，已经通过论文公开了。不管V4什么时候来，Raschka在这场对话中描述的三条主线，推理训练的深化、推理缩放的成熟化、Agent系统从演示走向可靠，都是确定性的方向。至于这些方向能跑多远、跑多快，他自己也在写书的过程中寻找答案。
核心问答
Q1: 2026年LLM领域研发重心在哪里？
后训练阶段，特别是推理训练。Raschka的判断是预训练已经高度成熟，算法创新空间有限，主要靠更多数据和计算资源推动增量进步。后训练空间大得多，仅GRPO算法的改进变体就有15种以上。可验证奖励让推理训练能以极低成本无限扩展，让模型生成60000个答案，然后用确定性方法批量验证，不需要人工标注。这个范式目前主要在数学和编程领域，但正在向制药等有物理约束的领域探索。
Q2: 普通用户从LLM获得最大回报的方式是什么？
用LLM开发确定性工具，然后让工具去跑重复任务。Raschka和Sam的经验一致：最高ROI不是让LLM反复回答同类问题，而是用LLM一次性造出自动化工具。Raschka用LLM写了macOS原生应用来处理播客章节标记、批量解析arXiv论文、转换PDF格式；Sam用LLM开发了赞助商分析工具，通过API拉数据、Pandas处理、自动生成报告。这些工具本身不依赖LLM运行，但完全由LLM开发。另一个高回报的轻量用法是把LLM当分类器，处理命名不统一、格式不一致的模糊匹配任务，准确率远高于正则表达式。
Q3: DeepSeek V4为什么被认为可能"改变一切"？
V4被认为是一个融合了多项架构创新的混合模型。它可能同时整合mHC（改善模型层间信息传递效率的新连接方式）、Engram条件记忆系统（让模型快速检索知识而非重新推理）、以及深度稀疏注意力等技术，同时支持推理和非推理任务，终结此前R系列和V系列的分割。从产业角度看，DeepSeek V3的架构已经被Kimi、Mistral AI等多家公司直接采用，如果V4在架构层面再次实现代际突破，其影响将沿同样的路径扩散到整个开源生态。此外，DeepSeek已将现有模型的上下文窗口扩展到100万token，暗示V4在长上下文处理上也有重大升级。Raschka之所以给自己所有架构判断都加星号，正是因为V4的架构创新可能让"过去一年LLM核心架构没有根本变化"这个判断失效。