神经网络模型的可解释性探索:使用积分梯度(Integrated Gradient)在输入上对输出归因



报告人王佳骏
报告时间2022-03-31
讨论组语法理论与语言工程
关键词神经网络;可解释性;归因;积分梯度
摘要或简介

本次报告汇报了文献 Axiomatic Attribution for Deep Networks (2017年的ICML会议论文)的主要内容。该研究基于公理化的归因方法(Axiomatic Attribution),提出了在神经网络的输入上对输出进行归因所必须满足的条件(Axioms),基于这些条件设计出了名为积分梯度(Integrated Gradient,IG)的归因方法。文章论证了积分梯度方法优于其他基于路径对梯度进行积分的方法的原因,并在包括图片识别和文本分类在内的五个任务上进行了实验。本文的研究成果可以为探索神经网络的可解释性、知识发现和偏见识别等工作提供参考。

发布人王佳骏
发布范围讨论组内部
讨论记录

积分梯度的弱点,在于只能孤立地评价各个输入对于最终输出的贡献,无法直接挖掘出输入的某种组合可能对输出产生的影响。另外,语言学领域的知识发现工作,强调从结构或认知等更高层次上归纳规则,而不是仅仅像正则表达式一样在字符串或词串层面概括规则。这些都需要在后续研究中做进一步的探索。

下载次数0
浏览次数488

 登录后可执行更多操作


© CCL of   Peking University  2019