【前言】

近年来，在人文社会科学研究中，出现了越来越显著的学科交叉趋势。所谓“学科交叉”,是指科学研究中为对研究对象的世界及其变化进行探测和再现，在两种或两种以上不同学科间或同一学科内进行的概念移植、理论渗透、方法借用等跨学科活动，最终形成独立的、跨越单一学科性的交叉学科或交叉学科群的一种学术现象。这种学科交叉趋势，甚至超出了人文社会科学的界限，涉及自然科学和工程技术的领域，其目的在于在学科体系中建立起新兴的交叉学科。

计算语言学(Computational Linguistics)是用计算机对自然语言这种研究对象进行研究和处理的一门新兴交叉学科，由于自然语言普遍存在于人类的很多活动领域，涉及语言学、计算机科学、数学、心理学、生物学等多个学科，因此，自然语言处理是最为典型的横跨文科、理科和工科的交叉学科研究。

2018年，教育部提出建设“新文科”的发展战略，计算语言学的研究正好符合这一发展战略的要求，可谓应运而生。

计算语言学在发展过程中，提出了很多方法。这些方法在理论上有一定的深度，在实践上有实用价值，值得我们语言学研究者重视。但是，国内计算语言学界对于这些方法的研究基本上是支离破碎的，缺乏系统的总结，更缺乏理论上的深入分析。本书在全面调查国内外计算语言学各种方法的基础上，对这些方法进行系统的描述，并在理论上进行深入分析和概括，进而总结出规律性的、具有方法论意义的知识，旨在推动计算语言学在我国的发展。

语言学家桂诗春和宁春岩于1997年出版的《语言学方法论》是我国第一本关于语言学方法的专著，也是国家教委人文社会科学研究“八五”规划的重点项目。 可是他们在这本专著中并没有特别地讨论计算语言学的方法。 因此，本书专门论述计算语言学的方法，以弥补这方面研究的不足。

本书对于计算语言学方法的研究可以分为四个方面：计算语言学中形式化方法的研究；计算语言学中自动剖析算法的研究；计算语言学中统计方法的研究；计算语言学中深度学习和神经网络方法的研究。分述如下：

一、计算语言学中形式化方法的研究

计算语言学中提出的各种形式化方法，除了具有深刻的语言学背景之外，还具有明显的方法论色彩，它们很容易在计算机上实现。为此，我深入、系统地考察了计算语言学在语音自动处理、词汇自动处理、形态自动处理、句法自动处理、语义自动处理、语用自动处理中使用的各种形式化方法，比较它们之间的异同，并从中提炼出各种方法的精粹。

二、计算语言学中自动剖析算法的研究

剖析是英语parser的音译兼意译。所谓“剖析”,就是分析语言的结构，也就是把线性的语言符号串转化成某种形式化的结构表达式(如成分结构树、依存关系树、线图等)。我研究了自底向上分析法(Bottom-Up Parser)、自顶向下分析法(Top-Down Parser)、左角分析法(Lefi-Corner Parser)、伊尔利算法(EarleyAlgorithm)等在计算语言学中行之有效的算法，揭示这些算法的数学原理，分析各种算法的效率，并研究各种算法的程序设计方法。

三、计算语言学中统计方法的研究

统计是传统语言学研究的一种重要方法。在与计算机有关的语言研究中，早在1949年，著名美国计算机专家W.Weaver就提出，可以利用信息论的解码(decode)思想，使用统计方法来进行机器翻译，统计语言学因此风靡一时。但是，随着N.Chomsky转换生成语法的兴起，语言学界对于统计方法的兴趣大大减弱了。在20世纪90年代以前，从事自然语言处理的大多数研究人员都把研究目标限定在某个十分狭窄的领域之中，他们采用的主流技术是基于规则的句法语义分析方法。尽管这样的方法在某些受限的子领域中曾经获得一定的成功，但是，如果用这样的方法来处理大规模的真实文本，就会显得捉襟见肘，进退维谷，从而遇到了很大的困难。这就导致了统计方法在计算语言学中的复兴。20世纪90年代以来，统计方法在大规模真实文本语料库的处理中获得了很大的成功。我深入考察了自然语言的马尔可夫模型(Markov Model)、N元语法模型(N-Gram Model)、噪声信道模型( Noisy Channel Model)、最大熵模型( Maximum Entropy Model)、概率上下文无关语法(Probabilistic Context-Free Grammar,简称PCFG)、逻辑斯蒂回归(Logistic Regression)等计算语言学中行之有效的统计方法以及为了避免统计数据稀疏而研制的各种平滑算法(Smoothing Algorithm),并揭示其数学形式所包含的具体语言学内容。

四、计算语言学中深度学习和神经网络方法的研究

进入21世纪以后，人工智能(Artificial Intelligence,简称AI)中的机器学习(Machine Learning)方法被引入计算语言学中，计算语言学中采用了词向量(Word Vector)、词嵌入(Word Embedding)来表示自然语言的结构信息，深度学习(Deep Leaming,简称DL)和神经网络(Neural Network,简称NN)方法成为当前计算语言学的主流方法。本书将深入分析大脑神经网络(Brain NeuralNetwork)、人工神经网络(Artificial Neural Network)、词嵌入(CBOW,Skip-Gram)、词向量、感知机(Perceptron)、前馈神经网络( Feed-Forward Neural Network)、卷积神经网络(Convolutional Neural Network)、循环神经网络( Recurrent Neural Network)、预训练模型(Pre-training Model)等方法，并介绍知识表示、知识融合、实体识别、实体排歧、关系抽取、事件抽取、知识存储等知识图谱(Knowledge Graph)的方法，力图揭示这些方法后面的语言学机理。多年来，我一直使用基于规则的方法和基于统计的方法来做计算语言学研究，现在基于深度学习和神经网络的方法已经成为计算语言学研究的主流，我虽已过耄耋之年，但仍然没有服老，进行了知识更新的再学习，本书中关于深度学习和神经网络方面的内容，就算是我这位年逾古稀的老人与时俱进的一个记录吧!

【目录】

第一章  历史回顾和哲学背景
第一节  计算语言学的历史回顾及其与人工智能的关系
第二节  计算语言学方法的哲学背景

第二章  语音的自动处理方法
第一节  语音自动处理研究的历史回顾
第二节  语音的形式描述方法
第三节  语音自动合成的方法
第四节  语音自动识别的方法

第三章  词汇的自动处理方法
第一节  词汇自动处理研究的历史回顾
第二节  知识本体
第三节  词网
第四节  词汇的计量研究方法
第五节  机器词典中语言信息的形式表示方法

第四章  形态的自动处理方法
第一节  形态自动处理研究的历史回顾
第二节  不同类型语言的形态自动分析
第三节  有限状态自动机与形态自动分析
第四节  词的形式化描述与分析

第五章  句法的自动处理方法
第一节  句法自动处理研究的历史回顾
第二节  基于上下文无关语法的自动句法分析方法
第三节  伊尔利算法
第四节  花园幽径句的自动分析方法
第五节  浅层句法分析
第六节  自然语言的计算复杂性
第七节  基于特征结构的自动句法分析方法
第八节  基于依存语法的自动句法分析方法

第六章  语义的自动处理方法
第一节  语义自动处理研究的历史回顾
第二节  意义的形式化表示方法
第三节  基于优选的语义分析方法
第四节  基于内涵逻辑的语义分析方法

第七章  语用的自动处理方法
第一节  语用自动处理研究的历史回顾
第二节  指代判定方法
第三节  文本衔接的自动分析方法

第八章  计算语言学中的统计方法
第一节  计算语言学中统计方法的历史回顾
第二节  基于概率语法的自动句法分析方法
第三节  噪声信道模型
第四节  最大熵模型
第五节  N元语法与数据平滑的方法
第六节  逻辑斯蒂回归方法

第九章  计算语言学中的神经网络方法
第一节  神经网络方法的历史回顾
第二节  大脑神经元与人工神经网络
第三节  机器学习与深度学习
第四节  词向量和词嵌入
第五节  稠密的词向量
第六节  感知机与XOR问题
第七节  前馈神经网络
第八节  卷积神经网络
第九节  循环神经网络
第十节  注意力机制
第十一节  外部记忆
第十二节  预训练模型

第十章  计算语言学中的知识图谱
第一节  知识图谱的类别
第二节  知识表示
第三节  知识融合
第四节  实体识别与排歧
第五节  关系抽取
第六节  事件抽取
第七节  知识存储

结语
参考文献
附录