本文基于至顶AI实验室的场景化实测,对华硕 Ascent QN10 在混合AI客服场景下的部署与运行能力进行了验证。两次语音演示分别耗时10.6秒和10.7秒,完成了法务投诉升级与常规备份问答,说明这台32GB统一内存的迷你主机能够承载基础客服流程,适合有明确知识库的团队开展部署验证。

至顶AI实验室硬核评测:客服让我等了30小时,我用一台迷你主机做了个AI客服

 

本次测试覆盖语音输入、问题分类、知识库匹配、本地与云端模型调用,以及转人工标记。评估重点是系统能否根据咨询内容选择处理路径,并依据客服手册作答。

测试时间:2026年11月

测试机构:至顶AI实验室

环境:Whisper、Jev、GenieX和Qwen3-4B

硬件:华硕 Ascent QN10

为什么要自己搭一套AI客服?

等待30多个小时,暴露了接待与分流的效率问题

十一假期,我买的云服务器遇到了网络问题。找到客服后,前后沟通两轮,等了30多个小时,才收到一份明显预先准备好的回复。

这段经历让我产生了一个疑问。如果答案已经存在于手册中,用户为什么还要等这么久?

和客服部门的同事交流后,我发现,客服处理一条咨询之前,往往还要完成几项隐性的工作。阅读问题、判断紧急程度、确认负责团队,再寻找对应资料。假期工单堆积时,这些步骤也会挤占有限的人力。

自动备份怎么设置,业务故障该找谁,投诉应该如何升级,这些问题混在一起,需要逐条判断。让AI先完成第一轮接待,就有机会把常规咨询及时处理,把需要人工介入的问题尽早分出去。

因此,这次项目设定了两个目标,系统能够7×24小时运行,成本低于单人客服。前者需要持续运行验证,后者需要结合实际业务量核算,本次先验证基础处理流程。

测试环境与方法

32GB统一内存,承载语音识别与本地问答

本次测试机为华硕 Ascent QN10。按照视频材料介绍,它采用高通骁龙X2 Elite平台,配备18核Oryon CPU、Adreno X2 GPU,以及最高80 TOPS的Hexagon NPU,测试机拥有32GB统一内存。

对这套客服系统而言,内存容量直接影响多个组件能否共同运行。语音识别、本地语言模型、应用服务和知识库都需要资源,模型保持加载状态,也有助于减少请求到来时重新加载的等待。

组件
本次配置与用途
主机
华硕 Ascent QN10,32GB统一内存
本地语音识别
Whisper,视频介绍运行于NPU
决策模块
云端Jev,判断类型、紧急程度与处理方向
本地回答模型
Qwen3-4B,通过GenieX部署,视频介绍使用GPU
云端回答模型
处理需要升级的回复,具体型号未提供
业务知识来源
客服部门提供的手册知识库
交互方式
网页界面,支持文字与语音输入

配置与部署信息来源于所提供的QN10字幕,80 TOPS为视频介绍的规格值。

整套系统采用本地与云端协同的方式。Whisper和Qwen3-4B承担本地任务,Jev在云端判断请求,部分问题再交给云端回答模型。常规回复虽然可以本地生成,处理流程仍需要网络连接。

用两类咨询检查分流、知识库命中与回复结果

测试在本地模型服务和客服后端启动、模型预热完成后进行。两条咨询均采用语音输入,分别覆盖法务投诉和常规使用问题。

观察内容包括语音输入后的问题分类、紧急程度、客服手册命中情况、实际调用路径,以及界面显示的总耗时。回答质量则对照手册内容与预设处理方向进行判断。

现有记录包含两次演示,适合验证流程是否接通。操作系统、驱动、模型精度和软件版本尚未提供,也没有重复测试及并发数据,因此后续复现与容量评估还需补充这些条件。

部署过程

将客服流程拆成识别、判断与回答三个环节

系统的第一步是处理输入。用户发送语音后,Whisper将其转成文字,供后续模块使用。

第二步由Jev判断问题性质。除了识别用户在问什么,还要判断是否紧急、涉及哪个团队,以及用户情绪是否需要优先关注。这一步决定了系统接下来调用哪些资源。

第三步生成回复。手册中有明确答案的常规问题交给本地Qwen3-4B,需要更复杂回复的问题交给云端模型,涉及人工接管的情况则进行相应标记。

这样的分工,也把客服手册的重要性凸显出来。企业需要提前整理好操作说明、投诉流程和升级规则,模型才能有明确依据。知识库内容越清晰,自动处理的边界就越容易定义。

AI辅助完成开发,模型服务与业务后端分别启动

开发时,我们先把处理流程整理为需求文档,再由AI辅助编写代码,经过几轮调试后运行起来。项目包含前端、判断模块、本地与云端模型调用脚本,以及客服手册知识库,总共十几个文件。

部署时,先启动GenieX本地模型服务,再运行客服系统后端。网页界面显示各模块就绪后,对本地模型进行预热,随后开始咨询测试。

这次实践跑通了从需求描述到应用部署的路径。对于希望尝试本地AI应用的团队,它提供了一个具体样例。进入正式业务后,仍需要继续检查异常处理、服务恢复和人工接管流程。

场景一

法务投诉10.6秒完成初步回复,并标记转人工

第一条输入是“我准备起诉你们,资料已经公证了”。

系统将其判断为紧急问题,分类为法务,随后调用云端回答模型,并命中客服手册中的“法务与投诉”条款。回复先安抚用户情绪,再说明将有专人对接,同时标记转人工,界面显示总耗时10.6秒。

这个结果验证了投诉升级路径。系统识别出了问题的处理性质,也按照手册生成了初步回复。

对于企业客服,这类能力的价值在于尽早识别需要人员介入的咨询。10.6秒记录的是系统完成本轮处理的时间,后续人工何时接手、争议如何解决,还需要在真实工单流程中继续跟踪。

场景二

自动备份咨询10.7秒完成,本地模型依据手册回答

第二条输入是“软件怎么设置自动备份”。

Jev将其归为常规使用问题,判断为不紧急,随后交给本地Qwen3-4B生成答案。系统命中手册中的“备份与恢复”条款,回复中的操作步骤依据手册展开,总耗时10.7秒。

这类知识明确、答案范围相对固定的咨询,是本地客服模型较适合承担的任务。企业可以先从已有标准操作说明的问题入手,逐步验证自动回答的覆盖范围。

本次结果说明备份咨询这条路径已经接通。对于手册缺少答案、涉及用户账户状态,或者需要实际执行操作的问题,还需要补充相应的数据接口与处理规则。

两条路径耗时接近,体现的是分流结果

测试场景
判断结果
回答路径
处理结果
总耗时
法务投诉
紧急、法务
云端模型
初步回复并标记转人工
10.6秒
自动备份
常规使用问题、不紧急
本地Qwen3-4B
依据手册给出操作步骤
10.7秒

数据来源于QN10字幕中的两次演示记录。

法务投诉和备份咨询分别在10.6秒、10.7秒内完成本轮处理。两次耗时接近,系统采取的处理方式则明显不同,前者进入云端回复与人工升级流程,后者由本地模型完成回答。

总耗时还包含语音识别、问题判断和知识库处理等环节。要比较本地与云端生成性能,需要进一步拆分各阶段数据。

成本与使用边界

本地回答减少云端生成调用,整体费用仍需核算

将常规问题留在本地,可以减少云端回答模型的调用次数。对于拥有大量重复咨询的团队,这是混合部署值得验证的一项收益。

但本次架构中的Jev仍在云端,因此本地回答的请求也有决策调用费用。计算总成本时,需要同时计入主机购置、电费、云端调用、知识库维护和人工接管投入。

假设每天有N条咨询,其中比例p进入云端回答,那么云端回答次数约为N×p次,决策模块按实际调用量另外计算。只有掌握工单量、平均token用量和收费标准,才能进一步估算单位咨询成本。

现有材料缺少硬件价格、功耗和云端费用,暂时无法验证“成本低于一个人”的目标。后续应把费用记录与人工处理量放在一起,观察系统实际分担了多少工作。

迷你主机适合固定部署,持续运行能力需要长测

QN10约13厘米见方、重约720克,便于放在办公室的固定位置。客服系统部署后,工作人员可以从自己的设备查看工单,主机持续承担请求接收与模型调用。

这种工作方式也适用于内部知识库问答、定时任务和开发者Agent工作流。一台独立设备能够保留相对固定的软件环境,减少日常办公操作对服务的影响。

不过,7×24小时运行需要持续测试支撑。本次材料没有提供长时间运行记录、功耗、温度、噪声及并发延迟数据。对于准备接入正式业务的团队,这些指标会决定设备容量和维护安排。

结论

至顶AI实验室这次在QN10上跑通了混合AI客服的基础流程,两次演示均在约11秒内完成初步处理,常规问答与法务投诉进入了不同路径。它适合有成熟手册、希望分担重复接待工作的团队。相较全云端回答,本地模型承担了部分生成任务,但系统仍依赖云端决策。高并发接待、长期稳定性和成本收益,需要在更完整的业务测试中验证。

END
本文来自至顶AI实验室,一个专注于对AI计算机、工作站及各类AI相关硬件设备,开展基于真实使用场景评测的研究机构。
至顶网至顶AI实验室频道