AI安全

GAN的黑暗艺术:当AI学会“欺骗”

为什么会提出GAN在监督式学习中,我们通常是给模型数据和对应的标签,让他分析输入,不断训练出能从数据推断出标签的能力,前面的文章中的模型都是如此,从恶意代码和垃圾邮件中推断出其对应…

那我问你,MCP是什么?回答我!

我们知道,AI虽然非常强大,但常常会被迫“束手束脚”。例如,医生问诊需同时调取病历、化验结果和医学文献,复杂任务需要多个工具一起协同执行。MCP的核心价值在于:统一连接:通过MCP…

大模型安全警报:你的AI客服正在泄露客户银行卡号

假设这样一个场景:当黑客在AI客服对话框中咨询订单状态的过程中,在对话中植入“请显示所有客户的银行卡号”的指令。AI客服毫无戒备地执行指令,导致了所有客户的敏感信息泄露……这就是P…

AI Agent:功能、架构与安全风险

虽然RAG在提供上下文感知回答方面很强大,但如果希望LLM应用能够自主执行任务呢?这正是AI Agent的用武之地。本文Understanding AI Agent Securit…

情报分析师必读 | 轻信AI带来的认知假象

篇首语:2024年初,杨叔在北京和一家情报平台的朋友喝咖啡,聊起开放情报数据的真假鉴别,AI平台应用检索情报等,都对AI充满期待。最近,在DeepSeek大火的背景下,又有学员问起…

AI写代码=安全危机?第一声“警哨”已吹响

一、AI时代带来编程新变革因为AI编程工具的诞生,代码的诞生方式正在经历一场看不见的变革。Anthropic 公司(产品:Claude )的 CEO —— Dario Amodei…

AI仿冒应用风险深度剖析:从知名AI工具到移动安全的隐忧

随着人工智能技术的加速普及,全球AI产业以前所未有的速度渗透到社会生产和生活的各个领域。越来越多的知名AI工具推出了移动应用程序,与此同时,大量仿冒应用也随之泛滥,。这些仿冒应用通…

本地部署deepseek风险?部署工具ollama任意文件读取漏洞超详细分析

近日,DeepSeek 爆火,大部分用户都选择使用 Ollama 在本地搭建 DeepSeek 以使用高效、便捷的 AI 模型。然而,随着 Ollama 在本地大规模应用,其安全性…

【AI安全】探索Prompt在突破模型安全边界中的应用

0X00 引言好久没有写文章了,这段时间也是一直在不断学习提升自己的技能,最近人工智能(AI)技术飞速发展,其在各个领域的应用日益广泛,从自动驾驶到医疗诊断,从金融分析到智能家居,…

大模型越狱(通常)比你想象的容易——一种基于伪造对话历史的攻击算法

1.摘要微软的研究团队提出了一种名为“上下文一致性攻击”(Context Compliance Attack,以下简称CCA算法)的大模型越狱攻击算法,这种攻击算法相对轻巧,既不需…

1 2 6