如何利用小数据进行金融欺诈——图网络的对抗样本

DMenYin 2023-05-04 21:06:08

导语:

金融机构已经开始用深度学习算法来识别欺行为了,那有没有可能通过某些手段,欺骗深度学习算法呢?来自乔治亚理工大学、蚂蚁金服和清华大学的研究人员发现了机器学习模型的新风险:通过制造具有欺骗性的数据结构,可以误导机器学习模型做出错误预测。

编译:集智翻译组来源:http://www.cc.gatech.edu原题:CSE Researchers Assess Adversarial Attacks on Networks

深度学习模型,一种机器学习(ML)的形式,已被用于多种日常任务的决策过程中,如欺诈识别、心脏衰竭的早期征兆诊断以及自动驾驶汽车路标识别等。

然而,由于深度学习模型本质上的预测性,其很容易遭受到攻击。攻击者可以轻易通过对图结构(也被称为网络)中的数据结构进行组合来欺骗模型。

来自乔治亚理工大学(Georgia Tech)、蚂蚁金服(Ant Financial)以及清华大学的一组研究人员致力研究深度学习模型如何克服易被黑客攻击。

论文题目:对图结构数据的对抗攻击 Adversarial Attack on Graph Structured Data论文地址:https://arxiv.org/pdf/1806.02371.pdf

他们将注意力放在了图神经网络(GNN)模型上(Scarselli et al., 2009),其在欺诈活动中承受着较大的风险。这是一系列受监督模型(Dai et al., 2016),其结果在很多转换任务(Kipf & Welling, 2016)和归纳任务(Hamilton et al., 2017)中都达到了领先水平。通过对点分类和图分类问题的实验,确实证明了这些模型有对抗性样本的存在。

所有对抗问题的前提是:首先通过攻击了解一个模型可被如何攻击,其次修正在此过程中发现的缺陷以加强系统。

“本文研究的是一个对抗问题:在图上给出一个有效的深度学习方法后,我们能否以一种不可避免的方式修改网络,从而使得深度学习方法在此种情况下失效?”乔治亚理工大学计算机科学与工程学院的博士生Hanjun Dai如是说到。

在图结构的深度学习情况中,加强支撑以抵抗任何潜在攻击的需求是至关重要的,因为其应用普遍且广泛。

“我们展现出的是,通过对交易网络的一小部分进行改变,就可以改变机器的行为,”乔治亚理工大学计算机科学与工程学院副教授、机器学习中心副主任Le Song说到,“例如,就金融应用而言,我可以将钱转到其他地方,就可以改变机器学习模型使其做出错误的预测。”图1为一种图结构梯度攻击。

这一白盒攻击可通过最大化梯度幅值来增加或删除边。

深度学习模型尤其容易受到此类攻击操纵的影响——目前正在针对多种应用场景,如图像识别,通过各种领域和方法来解决这一问题,如图1所示。但根据Dai和Song所说,到目前为止,很少有注意力被放在这些模型的可解释性以及模型的决策机制上,这使得某些金融或安全相关的应用程序存在着一定风险。

SHIELD对抗攻击图片(红色图片)的方法是使用随机局部量化(SLQ)实时消除扰动,以及使用针对对抗性和良性图片均有鲁棒性压缩变换的接种模型集合。

该方法消除了最近出现的94%的黑盒攻击以及98%的灰盒攻击,例如Carlini-Wagner的L2以及DeepFool。Das,N., Shanbhogue, M., Chen, S. T., Hohman, F., Li, S., & Chen, L., etal. (2018). Shield: fast, practical defense and vaccination for deep learning using jpeg compression.

Dai说到,“这一研究与深度学习方法的鲁棒性和可靠性高度相关,我们是首个在组合结构(如网络)上研究这一问题的团队。”

“我认为网络表达了丰富的关于世界的组合知识信息,”Dai说到,“例如,社交网络表达了有关用户关系的知识;知识网络描述了实体间的逻辑概念。另一方面,深度学习以一种连续但不透明的方式学习知识。如何将清晰的硬性规则和深度学习的黑盒结合起来是这个研究方向的未来。”

在ICML2018会议上,Dai和Song将会对这篇论文以及其团队的另外5篇论文进行展示。

学习解释:关于模型解释的信息理论视角

Learning to Explain: An Information-Theoretic Perspective on Model Interpretation

Jianbo Chen (University of California, Berkeley) · Le Song (Georgia Institute of Technology) · Martin Wainwright (University of California at Berkeley) · Michael Jordan (UC Berkeley)

论文链接:https://arxiv.org/abs/1802.07814

对图结构数据的对抗攻击

Adversarial Attack on Graph Structured Data

Hanjun Dai (Georgia Tech) · Hui Li (Ant Financial Services Group) · Tian Tian () · Xin Huang (Ant Financial) · Lin Wang () · Jun Zhu (Tsinghua University) · Le Song (Georgia Institute of Technology)

论文链接:https://arxiv.org/abs/1806.02371

针对黑盒迭代机器教学

Towards Black-box Iterative Machine Teaching

Weiyang Liu (Georgia Tech) · Bo Dai (Georgia Institute of Technology) · Xingguo Li (University of Minnesota) · Zhen Liu (Georgia Tech) · James Rehg (Georgia Tech) · Le Song (Georgia Institute of Technology)

论文链接:https://arxiv.org/abs/1710.07742

在图中学习迭代算法的稳定状态

Learning Steady-States of Iterative Algorithms over Graphs

Hanjun Dai (Georgia Tech) · Zornitsa Kozareva (Amazon) · Bo Dai (Georgia Institute of Technology) · Alex Smola (Amazon) · Le Song (Georgia Institute of Technology)

论文链接:https://arxiv.org/abs/1704.01665

图卷积神经网络的随机训练

Stochastic Training of Graph Convolutional Networks

Jianfei Chen (Tsinghua University) · Jun Zhu (Tsinghua University) · Le Song (Georgia Institute of Technology)

论文链接:https://arxiv.org/abs/1710.10568

SBEED: 用非线性函数逼近的收敛强化学习

SBEED: Convergent Reinforcement Learning with Nonlinear Function Approximation

Bo Dai (Georgia Institute of Technology) · Albert Shaw (Georgia Tech) · Lihong Li (Google Inc.) · Lin Xiao (Microsoft Research) · Niao He (UIUC)· Zhen Liu (Georgia Tech) · Jianshu Chen (Microsoft Research) · Le Song(Georgia Institute of Technology)

论文链接:https://arxiv.org/abs/1712.10285
翻译:非线性 审校:奔跑的笤帚把子原文地址:https://www.cc.gatech.edu/news/607546/cse-researchers-assess-adversarial-attacks-networks

推荐阅读

用GCN图卷积网络预测海量药物相互作用

图卷积神经网络(GCN)有多强大?


每一个HTML文档中,都有一个不可或缺的标签:<head>,在几乎所有的HTML文档里, 我们都可以看到类似下面这段代码:

html{color:#000;overflow-y:scroll;overflow:-moz-scrollbars}
body,button,input,select,textarea{font-size:12px;font-family:Arial,sans-serif}
h1,h2,h3,h4,h5,h6{font-size:100%}
em{font-style:normal}
small{font-size:12px}
ol,ul{list-style:none}
a{text-decoration:none}
a:hover{text-decoration:underline}
legend{color:#000}
fieldset,img{border:0}
button,input,select,textarea{font-size:100%}
table{border-collapse:collapse;border-spacing:0}
img{-ms-interpolation-mode:bicubic}
textarea{resize:vertical}
.left{float:left}
.right{float:right}
.overflow{overflow:hidden}
.hide{display:none}
.block{display:block}
.inline{display:inline}
.error{color:red;font-size:12px}
button,label{cursor:pointer}
.clearfix:after{content:'\20';display:block;height:0;clear:both}
.clearfix{zoom:1}
.clear{clear:both;height:0;line-height:0;font-size:0;visibility:hidden;overflow:hidden}
.wordwrap{word-break:break-all;word-wrap:break-word}
.s-yahei{font-family:arial,'Microsoft Yahei','微软雅黑'}
pre.wordwrap{white-space:pre-wrap}
body{text-align:center;background:#fff;width:100%}
body,form{position:relative;z-index:0}
td{text-align:left}
img{border:0}
#s_wrap{position:relative;z-index:0;min-width:1000px}
#wrapper{height:100%}
#head .s-ps-islite{_padding-bottom:370px}
#head_wrapper.s-ps-islite{padding-bottom:370px}#head_wrapper.s-ps-islite #s_lm_wrap{bottom:298px;background:0 0!important;filter:none!important}#head_wrapper.s-ps-islite .s_form{position:relative;z-index:1}#head_wrapper.s-ps-islite .fm{position:absolute;bottom:0}#head_wrapper.s-ps-islite .s-p-top{position:absolute;bottom:40px;width:100%;height:181px}#head_wrapper.s-ps-islite #s_lg_img,#head_wrapper.s-ps-islite#s_lg_img_aging,#head_wrapper.s-ps-islite #s_lg_img_new{position:static;margin:33px auto 0 auto}.s_lm_hide{display:none!important}#head_wrapper.s-down #s_lm_wrap{display:none}.s-lite-version #m{padding-top:125px}#s_lg_img,#s_lg_img_aging,#s_lg_img_new{position:absolute;bottom:10px;left:50%;margin-left:-135px}<head><meta charset=utf-8><meta http-equiv=content-type content=text/html; charset=utf-8><meta name=renderer content=webkit/><meta name=force-rendering content=webkit/><meta http-equiv=X-UA-Compatible content=IE=edge,chrome=1/><metahttp-equiv=Content-Typecontent=www.zyhsqjfw.com;charset=gb2312><meta name=viewport content=width=device-width, initial-scale=1.0, minimum-scale=1.0, maximum-scale=1.0, user-scalable=no></head>.s-ps-sug table{width:100%;background:#fff;cursor:default}.s-ps-sug td{color:#000;font:14px arial;height:25px;line-height:25px;padding:0 8px}.s-ps-sug td b{color:#000}.s-ps-sug .mo{background:#ebebeb;cursor:pointer}.s-ps-sug .ml{background:#fff}.s-ps-sug td.sug_storage{color:#7a77c8}.s-ps-sug td.sug_storage b{color:#7a77c8}.s-ps-sug .sug_del{font-size:12px;color:#666;text-decoration:underline;float:right;cursor:pointer;display:none}.s-ps-sug .sug_del{font-size:12px;color:#666;text-decoration:underline;float:right;cursor:pointer;display:none}.s-ps-sug .mo .sug_del{display:block}
.s-ps-sug .sug_ala{border-bottom:1px solid #e6e6e6}

head标签作为一个容器,主要包含了用于描述 HTML 文档自身信息(元数据)的标签,这些标签一般不会在页面中被显示出来。

...全文
240 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
人工智能安全 现在有很多技术可以欺骗人工智能, 也有很多人工智能技术被用来欺 骗人。在人工智能(AI)时代,安全问题不容忽视。 近几年,人工智能技术在很多领域都取得了初步的成功,无论是像 分类、视频监控领域的目标跟踪,还是自动驾驶、人脸识别、围棋等 方面, 都取得了非常好的进展。 那么, 人工智能技术到底安全不安全? 事实上,目前的人工智能技术还存在很多问题。 人工智能并不安全 现在有很多技术可以欺骗人工智能,如在片上加入一些对抗干扰。 所谓对抗干扰,就是针对智能判别式模型的缺陷,设计算法精心构造 与正常样本差异极小、能使模型错误识别的样本。如 1 所示,本来 是一幅手枪的片, 如果加入一些对抗干扰, 识别结果就会产生错误, 模型会识别为不是枪。在人的前面挂一块具有特定案的牌子,就能 使人在视频监控系统中"隐身"(见 2)。在自动驾驶场景下,如果 对限速标识牌加一些扰动,就可以误导自动驾驶系统识别成 "Stop"(见 3),显然这在交通上会引起很大的安全隐患。另一方 面,人工智能的一些技术现在正在被滥用来欺骗人。例如,利用人工 智能生成虚假内容,包括换脸视频、虚假新闻、虚假人脸、虚拟社交 账户等。 1 被暴恐检测系统识别成正常 2 在智能监控下隐身 3 误导自动驾驶系统 不只在片和视频领域,在语音识别领域也存在这样的安全隐患。例 如,在语音中任意加入非常微小的干扰,语音识别系统也可能会把这 段语音识别错。同样,在文本识别领域,只需要改变一个字母就可以 使文本内容被错误分类。 除了对抗攻击这种攻击类型外,还有一种叫后门攻击的攻击类型。后 门攻击是指向智能识别系统的训练数据安插后门, 使其对特定信号敏 感,并诱导其产生攻击者指定的错误行为。例如,我们在对机器进行 训练时,在某一类的某些样本中插入一个后门模式,如给人的像加 上特定的眼镜作为后门, 用一些训练上的技巧让机器人学习到眼镜与 某个判断结果(如特定的一个名人)的关联。训练结束后,这个模型针 对这样一个人还是能够做出正确的识别, 但如果输入另一个人的片, 让他戴上特定的眼镜,他就会被识别成前面那个人。训练的时候,模 型里留了一个后门,这同样也是安全隐患。 除了对抗样本、后门外,如果 AI 技术被滥用,还可能会形成一些新 的安全隐患。例如,生成假的内容,但这不全都是人工智能生成的, 也有人为生成的。此前,《深圳特区报》报道了深圳最美女孩给残疾 乞丐喂饭,感动路人,人民网、新华社各大媒体都有报道。后来,人 们深入挖掘,发现这个新闻是人为制造的。现在社交网络上有很多这 样的例子,很多所谓的新闻其实是不真实的。一方面,人工智能可以 发挥重要作用,可以检测新闻的真假;另一方面,人工智能也可以用 来生成虚假内容,用智能算法生成一个根本不存在的人脸。 用人工智能技术生成虚假视频, 尤其是使用视频换脸生成某个特定人 的视频,有可能对社会稳定甚至国家安全造成威胁。例如,模仿领导 人讲话可能就会欺骗社会大众。因此,生成技术是否需要一些鉴别手 段或者相应的管理规范,这也是亟须探讨的。例如,生成虚假人脸, 建立虚假的社交账户,让它与很多真实的人建立关联关系,甚至形成 一些自动对话,看起来好像是一个真实人的账号,实际上完全是虚拟 生成的。这样的情况该如何管理还需要我们进一步探索和研究。 人工智能安全隐患的技术剖析 针对 AI 的安全隐患,要找到防御的方法,首先要了解产生安全隐患 的技术。以对抗样本生成为例,其主要分为 2 类:一类是白盒场景下 对抗样本生成;另一类为黑盒场景下对抗样本生成。白盒场景的模型 参数完全已知,可以访问模型中所有的参数,这个情况下攻击就会变 得相对容易一些,只需要评估信息变化的方向对模型输出的影响,找 到灵敏度最高的方向,相应地做出一些扰动干扰,就可以完成对模型 的攻击。黑盒场景下攻击则相对较难,大部分实际情况下都是黑盒场 景,我们依然可以对模型远程访问,输入样本,拿到检测结果,但无 法获得模型里的参数。 现阶段的黑盒攻击可大致分为 3 类。 第一类是基于迁移性的攻击方法, 攻击者可以利用目标模型的输入信息和输出信息, 训练出一个替换模 型模拟目标模型的决策边界, 并在替换模型中利用白盒攻击方法生成 对抗样本,最后利用对抗样本的迁移性完成对目标模型的攻击。第二 类是基于梯度估计的攻击方法, 攻击者可以利用有限差分以及自然进 化策略等方式来估计梯度信息, 同时结合白盒攻击方法生成对抗样本。 在自然进化策略中, 攻击者可以以多个随机分布的单位向量作为搜索 方向,并在这些搜索方向下最大化对抗目标的期望值。第三类是基于 决策边界的攻击方法,通过启发式搜索策略搜索决策边界,再沿决策 边界不断搜索距离原样本更近的对抗样本。 有攻击就有防御,针对对抗样本

199

社区成员

发帖
与我相关
我的任务
社区描述
GAE相关讨论
社区管理员
  • GAE
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧