AI公司Anthropic宣布推出Claude for Chrome浏览器扩展程序试点版,允许其AI模型控制用户的谷歌Chrome浏览器。该功能仅向1000名付费用户开放测试,可帮助管理日历、安排会议和起草邮件等。然而该技术存在重大安全风险,可能遭受提示注入攻击,导致密码泄露或文件删除。测试显示恶意攻击成功率达23.6%,添加安全措施后降至11.2%。
Anthropic发布基于Claude AI模型的浏览器智能体研究预览版,目前向1000名Max计划订阅用户开放。用户可通过Chrome扩展与Claude在侧边栏窗口中交互,Claude能够理解浏览器上下文并代表用户执行任务。随着谷歌反垄断案临近,浏览器正成为AI实验室的新战场。Anthropic已实施多项安全防护措施,将提示注入攻击成功率从23.6%降至11.2%,并限制访问金融、成人内容等敏感网站。
博通宣布将VMware Cloud Foundation 9.0转型为AI原生平台,为开发者提供安全现代的私有云基础设施。新版本集成VMware私有AI服务,支持AI模型设计、部署和治理。平台增加GPU监控、AI模型库、向量数据库等功能,支持AMD和英伟达GPU的灵活部署。同时引入网络安全合规高级服务,提供实时监控和自动修复能力,强化零信任安全防护。
本文探讨了恶意行为者如何轻易诱导生成式AI提供有害的心理健康建议。研究发现,通过修改自定义指令,主要AI系统在88%的健康查询中产生了错误信息。寻求心理健康指导的用户往往不会意识到AI可能被操控产生危险建议,成为欺骗行为的无辜受害者。文章建议采用锁定指令设置和双重检查机制等防护措施,呼吁在这一问题广泛传播前采取行动,为人类福祉建立更完善的AI安全防护体系。
安全研究机构Group-IB详细分析了AI语音克隆诈骗的实施流程:攻击者首先收集目标人物仅需3秒的语音样本,利用AI语音合成引擎生成伪造语音,配合号码伪装技术发起诈骗电话。攻击可采用预录脚本或实时语音转换,冒充亲属、上司等紧急求助。研究显示此类攻击易于规模化复制且难以识别,建议采用预设暗号验证和回拨确认等双重防护措施。
随着人工智能向通用人工智能(AGI)和人工超级智能(ASI)发展,盗窃风险日益凸显。竞争对手、政府和恶意行为者都可能觊觎这一技术突破。AGI盗窃难度取决于安全防护措施,包括加密和访问控制。被盗AGI的运行需要大量计算资源和配套软件。全球可能需要制定AGI共享条约,防范盗窃行为。值得注意的是,当恶意方首先获得AGI时,善意方的"盗窃"行为可能成为正当防卫手段。
随着人工智能的发展,企业面临着前所未有的安全挑战。40%以上的企业欺诈现在由AI驱动,能够模仿真实用户行为、绕过传统防御系统,并以压倒性的速度进行攻击。2024年,近90%的企业遭受攻击,半数损失超过1000万美元。为应对这一威胁,安全团队需要采用全新的思维方式和技术手段,实时评估每个用户的风险,构建更加智能和动态的防御体系。
企业AI不仅要考虑推理成本和性能,还需确保模型满足严格的安全、隐私和合规要求。建立可信赖的AI系统是关键,这意味着企业除了优化成本和性能外,还需优先考虑模型的完整性和安全性。在选择基础模型时,应采用全面的评估方法,包括安全性、偏见、合规性等多个方面,而不仅仅是关注单一指标。
SourceHut等网站面临AI爬虫过度抓取数据的挑战,导致服务速度下降。这些爬虫主要用于训练大型语言模型,但其行为往往不受约束。网站采取各种措施应对,包括封锁某些云服务提供商和部署反爬虫工具。然而,这些措施可能影响正常用户访问。AI爬虫的不当行为已成为一个普遍问题,引发了对网络资源使用和数据收集方式的讨论。
直接针对关键基础设施的攻击备受关注,但更大的危险往往在于不那么明显的地方:维持这些系统运行的企业的网络安全实践不佳。根据Cybernews商业数字指数,令人震惊的是,84%的企业在网络安全实践中获得了“D”级或更低的评分,其中43%甚至落入了“F”类别。只有6%的公司因其努力获得了“A”级。更令人担忧的是,处于关键基础设施核心的行业——如能源、金融和医疗保健——是最薄弱的环节。
OpenAI 发布了一款名为 Operator 的网络自动化工具,该工具使用名为计算机使用代理 (CUA) 的新 AI 模型来控制网络浏览器。Operator 通过视觉界面观察和交互屏幕元素,模仿人类操作方式执行任务。这项技术目前仍处于研究预览阶段,OpenAI 希望通过用户反馈来改进系统功能。
Commvault 与 CrowdStrike 达成战略合作,将 Falcon XDR 集成至 Commvault Cloud,以提升客户的网络威胁检测和响应能力。这一合作旨在加强数据保护、提高网络弹性,使企业能更快速地识别威胁、响应攻击,并有效降低网络安全风险。
Microsoft 近期发出警告,对于严重过期的 Exchange Server 版本,其 Exchange 应急缓解服务 (EEMS) 可能会停止工作。该服务自 2021 年推出以来,一直在为 Exchange Server 的安全防护发挥重要作用。Microsoft 强调,只有保持系统更新才能确保 EEMS 正常运行,并继续获取新的安全缓解措施。
随着AI技术的广泛应用,其安全性和可靠性问题日益凸显。为此,思科和英伟达近期推出了一系列新工具,旨在解决AI模型可能存在的漏洞,如内容不当、话题偏离和越狱等问题,以提升AI系统的安全性和可控性。这些工具将为企业提供更可靠的AI应用保障。
英伟达为其 NeMo Guardrails 软件工具新增了 AI 防护微服务,旨在提高企业代理型 AI 应用的准确性、安全性和控制力。这些微服务包括内容安全、话题控制和越狱检测,有助于解决 IT 领导者在采用代理型 AI 技术时的主要顾虑,为 AI 应用部署提供更好的治理和保障。
英伟达推出新的推理微服务,旨在帮助企业开发可信、安全的 AI 代理。这些微服务包括主题控制、内容安全和越狱保护,可优化大型语言模型的响应,提高应用性能。此举将帮助企业更安全、可靠地部署生成式 AI 模型,解决 AI 代理在信任、安全等方面的关键问题。
在 DevOps 协作框架下,安全防护是整个 IT 团队的共同责任,需要贯穿至整个生命周期的每一个环节。
师徒四人西天取经,一路斩妖除魔,经历重重磨难,最终修成正果,也可谓是人生的最高事业巅峰啊。 仔细想想,随着威胁愈发严峻,安全之路是否也不亚于取经呢?
说到网络安全你会想到什么?给网络加密,给电脑设定密码、安装防火墙……但是,当敌人已经开始利用新的技术进行自动化攻击时,我们的"阵地战"究竟还能支撑多久?