本地部署 关键字列表
本地大语言模型崛起:为何用户开始选择自主部署AI

本地大语言模型崛起:为何用户开始选择自主部署AI

随着AI服务成本上升和数据隐私担忧加剧,越来越多用户开始尝试本地部署大语言模型。硬件性能提升和软件工具优化使得在个人设备上运行AI模型变得可行。通过量化技术降低模型精度要求,配合llama.cpp等开源工具,用户可在消费级硬件上运行各类专业模型。虽然本地模型在通用性上仍逊色于云端大模型,但在特定场景下已能满足需求,且在隐私保护和成本控制方面优势明显。

谷歌发布可在机器人本地运行的新Gemini模型

谷歌发布可在机器人本地运行的新Gemini模型

谷歌DeepMind发布了名为Gemini Robotics On-Device的新语言模型,可在机器人上本地运行任务而无需互联网连接。该模型基于3月发布的Gemini Robotics模型构建,能够控制机器人动作,开发者可通过自然语言提示进行控制和调优。谷歌称其性能接近云端版本,在演示中展示了机器人执行拆袋和折衣等任务。