AI安全

大模型供应链安全 | 加载数据集或模型可能就中毒

一、前言记得日志记录组件Log4j2漏洞一爆发,便在全球掀起轩然大波,国内外各大厂商均受影响应急响应。那在一个细分的大模型领域,同样也需要我们关注大模型供应链安全的健康状况。二、组…

9款AI在线大模型隐私条款调查

一、前言随着在线式 AI 大模型的迅速发展,我们在使用这些模型的过程中,不可避免地会涉及到信息安全问题。为了让大家更好地了解不同平台的隐私政策,我们从信息安全的角度,对当前国内外9…

深度剖析LLMjacking:针对云托管AI大模型服务的新型攻击

Sysdig威胁研究团队(TRT)观察到一种新型攻击,命名为LLMjacking。它利用窃取的云凭证,对托管在云上的十个大型语言模型(LLM)服务发起攻击。这些凭证是从一个流行的目…

AI大语言模型再陷入危机———新型网络攻击LLMjacking深度剖析

本文由ALESSANDRO BRUCATO于2024年5月6日发表于sysdig的官方博客,并在文中详细阐述了Sysdit威胁研究团队(TRT)近期发现的一种针对云端大语言模型服务…

ChatGPT-Next-Web漏洞利用分析(CVE-2023-49785)

1. 漏洞介绍日常网上冲浪,突然粗看以为是有关Chat-GPT的CVE披露出来了,但是仔细一看原来是ChatGPT-Next-Web的漏洞。漏洞描述大致如下:(如果有自己搭建了还没…

简析美国土安全部发布关于缓解AI对关键设施风险的安全指引

AI 可同时用于网络安全攻防两方,相信读者都已经不陌生了。越来越多的在野记录证明攻击方正在全面利用AI辅助发起网络攻击。最近,美国土安全部(DHS)公开发布了对关键基础设施拥有者和…

攻防研究 | AI在“攻”的一些探索

一、前言之前对AI在安全攻击场景进行一些探索实践,一共分成了四个部分:文字、图片、声音、视频。其中大模型在对话、图片比较成熟,并且我们遇到的场景大部分也是文字、图片场景,所以文字、…

保护人工智能系统和LLM栈的重要性:AI模型、LLM实施和安全方法论

本文由安全研究专家Omar Santos于2024年03月24日发表于思科安全博客上,本文将主要讨论保护人工智能系统和LLM栈的重要性,并阐述AI模型、LLM实施和安全方法论。前言…

AI聊天机器人带来的公关危机 | 案例

瑞典金融科技公司 Klarna 最近表示其AI聊天机器人在投入使用的第一个月就处理了 2/3 的客户服务请求,相当于 700 名全职员工的工作量。AI机机器人在回答基本问题等重复性…

技术分享|LLM-大语言模型应用安全解析

一、背景2023年以来,LLM 变成了相当炙手可热的话题,以 ChatGPT 为代表的 LLM 的出现,让人们看到了无限的可能性。ChatGPT能写作,能翻译,能创作诗歌和故事,甚…