AT&T公司机器翻译研究介绍

中国科学院计算技术研究所 刘 群

简介

AT&T公司的机器翻译系统

机器翻译实验

总结

 

简介

本人参加了中国科学院和美国AT&T公司合作进行的一项口语翻译项目研究,于1999年5月8日至5月22日赴美国AT&T公司Shannon实验室考察,了解到他们机器翻译研究的一些情况。本文将介绍有关情况。

考察期间用我们提供的数据在他们的系统上做了一个的实验,本文将对这个实验作一简单的介绍。

AT&T公司的机器翻译研究目标是用于一个口语机器翻译系统,这与国内一般开展的文本翻译,尤其是科技文献翻译应用背景有很大的不同。

 

AT&T 公司机器翻译系统的特点(1)

采用纯统计方法,没有规则库和词典,不需要语言学知识,不使用词法、句法和语义标记;

采用中心词变换器(Head Transducer)进行翻译,翻译过程借助依存树(Dependency Tree);

中心词的选择依据统计信息确定,与一般语言学意义上的中心词不同;

训练可以全自动完成,也可以手工完成;

训练维护简单,译文比较自然;

鲁棒性好,适合口语翻译。

 

AT&T 公司机器翻译系统的特点(2)

 

评价标准:

wpe1.jpg (13353 字节)

英语—西班牙语的口语翻译:

全自动训练;

正确率:77%。

英语—汉语航空订票系统对话翻译:

人工训练;

没有正确率数据。

 

AT&T翻译系统工作流程

wpe2.jpg (42138 字节)

 

中心词变换器 Head Transducer (1)

中心词变换器实际上是一种增强的有限状态自动机;

起始状态是中心词,可以向左或向右接受输入,进行识别;

每次输入的不一定是一个词,可能是已经被识别出的一个短语;

在识别过程中同时产生输出;

识别过程类似句法分析(Parsing),可采用常见的分析算法。

 

中心词变换器 Head Transducer (2)

例子:将由字母a,b组成的任意字符串逆转

wpe3.jpg (21515 字节)

机器翻译试验

wpe4.jpg (98791 字节)

 

机器翻译实验说明

训练语料由100个左右汉语模板产生,这些模板总共可以产生约40,000个模拟出租车司机和顾客对话的句子,句子中除了地名和货币名是可替换的之外,总共涉及到的汉语词语约300左右;

汉语句子基本上是合法的(有少数错误),英语句子通过计算所的汉英机器翻译系统翻译得到,得到的是一些比较“古怪”的英语句子;

汉语句子要通过分词处理后再进行训练(理论上可以不分词);

大约25,000个句子用作训练集,15,000个句子用作测试集;另外,挑选100个句子进行人工翻译、分词、对齐,用于训练集,同时用作一个基于实例的翻译引擎的实例库;

训练得到的是一个英汉机器翻译系统,用计算所的汉英机器翻译系统的输出结果(“古怪”的英语句子)作为输入,理想的情况下应该得到合法的汉语句子输出。

 

机器翻译实验结果

训练时间:约3小时

翻译时间:不到1分钟

翻译质量:没有正式统计,直观感觉相当不错

结果分析:实验结果比较好的原因:

测试集词汇量很少,词的歧义少;

初始汉语句子都由100个模板产生,句式非常集中;

场景单一,缺少时态语态变化,符合口语特点。

结果文件:

文件1 :训练过的句子

文件2 :没有训练过的句子

 

总结

本来以为纯语料库的机器翻译方法还非常不成熟,这次看到AT&T公司的纯语料库的机器翻译系统能够达到目前这样的水平确实出乎意料之外。虽然这种作法未必适合于书面语的翻译,方法本身也还有很多不完善之处,但这种方法也显示出了很多传统规则方法所没有的优点,值得我们认真研究与借鉴。