大语言模型构式理解能力评测研究



报告人丁锦坤
报告时间2025-11-26
讨论组语法理论与语言工程
关键词大语言模型,构式理解,构式语法
摘要或简介

构式作为语言中形式与意义结合方式超常的特殊语法单位,是观察人类语言认知机制的重要窗口。如何正确理解和运用构式,不仅是语言学研究的核心问题,也为检验大语言模型是否具备类人认知能力提供了可行途径。本研究尝试提出一套系统化的大模型构式理解能力评测方案,以探究大语言模型在构式掌握方面的能力与局限。我们在北京大学中国语言学研究中心现有构式数据库资源(https://ccl.pku.edu.cn/ccgd)的基础上,拟设计四类评测任务:(1) 测试大语言模型是否能把握构式整体语义;(2) 测试大语言模型对特定构式适用场景的判断能力;(3) 测试大语言模型能否区分构式与同形的普通短语结构;(4) 测试大模型能否辨析近义构式或多义构式。评测数据集涵盖了44个代表性汉语构式,涉及15个核心形义特征,包括成分复现、语法错配、省略成分、主观大量、语义错配、修辞、否定义、周遍义、网络用语、负面评价、否定词、疑问词、冗余成分、论元异常、主观小量等。通过典型构式实例驱动的任务建模与评测,本研究旨在揭示大语言模型对汉语构式的理解深度和使用边界。一方面,这项研究将为汉语构式语法的本体研究提供新的实证资料;另一方面,也为大语言模型的能力评测开辟新的维度,对语言认知研究与人工智能发展均具有一定的参考价值。

发布人djk
发布范围讨论组内部
讨论记录

1. 构式特征表格补充一列代表构式
2. 数据集本身的独特特点
3. 细化任务意图动机
4. 继续扩充数据集,未来考虑(半)自动出题

下载次数0
浏览次数193

 登录后可执行更多操作


© CCL of   Peking University  2019