BERT



报告人李娟
报告时间2019-05-22
讨论组语法理论与语言工程
关键词BERT, Transformer, GPT, Language Understanding
摘要或简介

BERT是谷歌发布的基于双向Transformer的大规模预训练语言模型,该预训练模型能高效抽取文本信息 并应用于各种NLP任务,在11项NLP任务取得了 SOTA的效果。
它在多大程度上能表示语法知识?Yoav Goldberg针对这个问题设计了主谓一致的任务来评估BERT的句法能力。

发布人李娟
发布范围讨论组内部
讨论记录

下载次数2
浏览次数1881

 登录后可执行更多操作


© CCL of   Peking University  2019