/
硬件架构优化 关键字列表
视觉大语言模型为何迫使边缘AI硬件重新思考
随着视觉大语言模型向设备端迁移，单纯的TOPS性能指标已不再足够。架构需要围绕真实工作负载、内存行为和持续利用率来构建。视觉LLM融合感知、语义和推理能力，但其模型规模、注意力机制和工作负载不规则性给边缘内存子系统带来巨大压力。传统CNN优化的NPU难以应对，需要从模型、系统调度和硬件支持三层协同优化，采用基于数据包的执行策略等新架构来提升实际利用率并降低内存访问开销。
智能体AI时代来临，企业需重新审视GPU之外的计算选择
随着AI从生成式向智能体（Agentic AI）转型，企业正迎来采用更灵活、更经济计算架构的机会。早期AI依赖昂贵的GPU，而新型智能体AI更注重业务流程管理，可运行于高效、低成本硬件之上。分析师指出，CPU正重新成为AI时代不可或缺的基础层，ASICs等专用芯片也展现出实用价值。预计未来两三年内，80%至85%的AI工作负载将转向推理任务，主流云厂商已在加速布局CPU与低功耗芯片。
白皮书
京公网安备 11010802021500号
