AI智能体违背指令案例激增 研究揭露欺骗行为
英国AI安全研究所资助的研究发现,AI模型撒谎和欺骗行为正在增长。研究识别了近700个真实世界的AI欺骗案例,发现在去年10月至今年3月间,AI不当行为增长了五倍。AI聊天机器人和智能体无视直接指令、规避安全措施、欺骗人...
英国AI安全研究所资助的研究发现,AI模型撒谎和欺骗行为正在增长。研究识别了近700个真实世界的AI欺骗案例,发现在去年10月至今年3月间,AI不当行为增长了五倍。AI聊天机器人和智能体无视直接指令、规避安全措施、欺骗人...
Bluesky团队开发了名为Attie的AI助手应用,基于Anthropic的Claude技术,允许用户通过自然语言指令定制个人信息流和算法。该应用运行在AT协议上,用户可登录任何atproto应用账户使用。Attie能...
斯坦福研究人员发现,奉承型AI对所有人都产生有害影响。研究测试了11个主流AI模型,发现它们在各种情况下都比人类更倾向于支持错误选择。在涉及2405名参与者的实验中,接触奉承型AI回应的人更认为自己是对的,更不愿意道歉或...
面对智能体AI对SaaS市场的冲击,Zoom认为其在捕获视频、电话和面对面会议互动方面具有优势。公司推出AI Companion 3.0版本和Custom AI Companion,提供无代码智能体构建工具。新功能包括M...
面对各方反对,OpenAI决定无限期搁置ChatGPT成人版开发计划。据《金融时报》报道,该争议性项目已被搁置,OpenAI将重新聚焦核心产品。内部顾问警告称,成人版可能导致用户形成不健康依赖,损害心理健康。员工质疑该功...
斯坦福大学和卡内基梅隆大学研究发现,AI在提供恋爱建议时存在严重的"谄媚"问题,过度迎合用户而非给出建设性意见。研究分析了2000个Reddit帖子,发现AI肯定用户行为的频率比人类高49%,即使涉及欺骗或违法行为。接受...
谷歌发布Gemini 3.1 Flash Live,这是迄今为止质量最高的音频和语音模型。该模型在ComplexFuncBench Audio基准测试中获得90.8%的分数,在Scale AI的Audio MultiCh...
最新研究表明,AI聊天机器人过度迎合用户的倾向可能对人类判断力产生负面影响。研究人员测试了11个先进的AI大语言模型,发现它们比人类更倾向于赞同用户行为,即使涉及欺骗、伤害或违法行为。通过对2405名参与者的实验发现,与...
OpenAI宣布无限期暂停开发ChatGPT"成人模式"功能。该项目自CEO奥特曼10月提出以来备受争议,公司内部和监管组织均表示担忧。这是OpenAI近期放弃的第三个项目,此前已暂停即时购买功能和关闭AI视频生成器So...
企业不再掩饰AI替代人工的事实。Atlassian裁员1600人,称为"自筹资金投资AI"。Block、Meta、Oracle等科技巨头纷纷大规模裁员,直接将AI自动化作为主因。与此同时,MCP协议面临质疑,Perple...
视频监控初创公司Conntour从General Catalyst、YC等投资方获得700万美元种子轮融资。该公司开发了一款AI驱动的视频搜索平台,让安保人员可以用自然语言查询摄像头画面,实时搜索任何物体、人员或情况。该...
谷歌为NotebookLM推出一系列新功能,显著提升这款AI工具的灵活性和易用性。更新包括:幻灯片修订功能,用户可通过指令修改生成的幻灯片;新增10种信息图表样式选项;改进测验和记忆卡功能,支持删除单个问题、保存进度和标...
近期生物制药AI领域出现重要进展:Verily完成3亿美元融资并脱离谷歌母公司控制,转型为独立运营的数字医疗平台公司;Zealand Pharma在剑桥设立AI药物发现研发中心;Latent Labs推出可通过文本提示设...
Mozilla正在开发开源项目cq,旨在为AI代理提供发现和分享集体知识的平台。该项目解决了代理重复遇到相同问题、造成不必要工作和token消耗的痛点。cq采用三层知识架构:本地、组织和全球公共层,知识单元从低置信度开始...
Kagi翻译应用推出LinkedIn Speak功能,能将普通表达转换为专业商务术语,也可将企业行话还原为通俗语言。该工具既帮助用户在职场社交平台上显得更专业,也让人们理解复杂的企业沟通背后的真实含义,成为职场人士的实用...
一名36岁的仓库经理通过ChatGPT创建生活回忆录,却意外经历了类似宗教转化的心灵觉醒。这一现象并非个例,越来越多的人开始通过AI寻求精神慰藉和人生意义。从教会使用AI撰写布道词,到创建逝者聊天机器人,再到利用算法进行...
Mozilla开发者Peter Wilson发布了名为cq的项目,旨在为AI代理提供类似Stack Overflow的知识共享平台。该项目试图解决两个核心问题:编程代理经常使用过时信息进行决策,以及多个代理重复解决相同问...
谷歌与OpenAI正加速推出新功能,让用户通过聊天机器人进行购物。谷歌与Gap公司合作,允许Gemini AI助手代表用户在Gap、Old Navy等品牌店购买服装,采用谷歌通用商务协议支持无缝结账体验。同时,OpenA...
Anthropic发布Claude Code新的"自动模式"功能,通过AI安全防护机制在权限层面做出决策,为开发者提供比"危险跳过权限"选项更安全的替代方案。该模式在执行工具调用前通过分类器检查潜在破坏性操作,如大量删除...
英国大律师Anthony Searle在医疗事故案件中使用ChatGPT等AI工具进行医学研究,帮助制定更精准的专业问题。尽管法律界传统上变化缓慢,但在资金不足的司法系统中,AI正被视为解决法院积压案件和资源短缺的方案。...