AI安全

深度剖析LLMjacking:针对云托管AI大模型服务的新型攻击

Sysdig威胁研究团队(TRT)观察到一种新型攻击,命名为LLMjacking。它利用窃取的云凭证,对托管在云上的十个大型语言模型(LLM)服务发起攻击。这些凭证是从一个流行的目…

AI大语言模型再陷入危机———新型网络攻击LLMjacking深度剖析

本文由ALESSANDRO BRUCATO于2024年5月6日发表于sysdig的官方博客,并在文中详细阐述了Sysdit威胁研究团队(TRT)近期发现的一种针对云端大语言模型服务…

ChatGPT-Next-Web漏洞利用分析(CVE-2023-49785)

1. 漏洞介绍日常网上冲浪,突然粗看以为是有关Chat-GPT的CVE披露出来了,但是仔细一看原来是ChatGPT-Next-Web的漏洞。漏洞描述大致如下:(如果有自己搭建了还没…

简析美国土安全部发布关于缓解AI对关键设施风险的安全指引

AI 可同时用于网络安全攻防两方,相信读者都已经不陌生了。越来越多的在野记录证明攻击方正在全面利用AI辅助发起网络攻击。最近,美国土安全部(DHS)公开发布了对关键基础设施拥有者和…

攻防研究 | AI在“攻”的一些探索

一、前言之前对AI在安全攻击场景进行一些探索实践,一共分成了四个部分:文字、图片、声音、视频。其中大模型在对话、图片比较成熟,并且我们遇到的场景大部分也是文字、图片场景,所以文字、…

保护人工智能系统和LLM栈的重要性:AI模型、LLM实施和安全方法论

本文由安全研究专家Omar Santos于2024年03月24日发表于思科安全博客上,本文将主要讨论保护人工智能系统和LLM栈的重要性,并阐述AI模型、LLM实施和安全方法论。前言…

AI聊天机器人带来的公关危机 | 案例

瑞典金融科技公司 Klarna 最近表示其AI聊天机器人在投入使用的第一个月就处理了 2/3 的客户服务请求,相当于 700 名全职员工的工作量。AI机机器人在回答基本问题等重复性…

技术分享|LLM-大语言模型应用安全解析

一、背景2023年以来,LLM 变成了相当炙手可热的话题,以 ChatGPT 为代表的 LLM 的出现,让人们看到了无限的可能性。ChatGPT能写作,能翻译,能创作诗歌和故事,甚…

GPT-5将在6月发布前进行「红队进攻测试」

“GPT-5将在6月发布”的消息刷屏了AI朋友圈。这则消息之所以被无数人相信并转发,是因为已经有不少技术人员在社交平台上晒出了「红队进攻测试」邀请。基于 GPT系列庞大的用户体量和…

《大语言模型(LLM)攻防实战手册》第一章:提示词注入(LLM01)-概述

前言从本周开始考虑连载关于大模型安全的文章名字就叫做《大语言模型(LLM)攻防实战手册》,主要基于owasp llm top 10所整理的框架进行编写,并辅以案例、代码进行完善,希…