使用结构探针在词向量中寻找句法 / A Structural Probe for Finding Syntax in Word Representations



报告人唐乾桐
报告时间2021-01-12
讨论组语法信息与语言工程
关键词探针;嵌入;句法树;BERT;表征技术;词向量
摘要或简介

句法结构是离散的,而神经网络的运作必须基于连续的数据;因此要想可解释性地论证神经网络能够编码句法结构,就需要论证句法结构能够被嵌入到连续的向量空间中去。本文设计了一个结构探针(structural probe),论证了BERT和ELMO等语言表征技术,在编码大量以词为单位的语义信息的同时,也编码了句法结构(即句法树)的信息,并阐述了对这个议题的一些发现与思考。

发布人assistant
发布范围全网
讨论记录

1. 使用同样的方法,可以去找其他的structure property
2. 只有edge,没有label
3. 没有考虑将范数和距离方法结合起来
4. 训练的是一个统一的线性变换,没有区分句子;虽然效果也不错,但理论上是否有偏颇?还需要深入理解

下载次数2137
浏览次数4799

下载文献(1.4 MB) 查看幻灯片(0 字节)  登录后可执行更多操作


© CCL of   Peking University  2019