【简介】

本书基于多模态语料库语言学的基本方法，以贴真建模思想为研究思路，以汉语现场即席话语多模态语料库为数据来源，综合多模态、语用学、语料库语言学、语音学等多个分支学科的理论和知识，将定性分析和定量分析相结合，考察语力与情感状态、韵律特征、体貌表现等相互之间的关系描写和阐释说话人在表达不同语力时所采用的各种手段之间的互动协同规律，以及现场即席话语中语力显示项的特点和影响因素等。本书具有创新性、实证性和跨学科性等特点，对同类研究具有一定的启示意义和借鉴价值。

【前言】

如今，‘多模态”已成为横跨自然科学、工程技术以及人文社科领域的热门词，涉及的学科也包括语言学、符号学、人类学、社会学、生理学、医学、人工智能、教育学等。

多模态语言研究认识到人类语言交际与发展均需要多模态感官系统支撑这一事实。人类的语言交际本质上是多模态的，除词句结构和话语内容之外，我们还可以通过包括韵律、情、动作等非语言媒介进行意义构建。但限于以往的研究视野和技术手段，传统上对言语交际的研究只关注语言本身的使用，而忽略了意义是由多模态资源构建的事实。

多模态研究是一种整合了多种路径的研究范式。在语言研究及其相关的领域中，这些路径包括:符号学属性的多模态研究多模态语料库语言学研究以及神经语言学、人机交互和学习科学中的多模态研究。多模态语言研究的前景十分广阔，可以涉及语言学的多个领域。其中就包括从人们日常会话的多模态交互本质出发重新考察语用学等传统课题和经典理论，对其进行验证、修补和发展。

在我国，符号学属性的多模态研究成果较为丰富，涉及多模态话语分析、多模态隐喻研究、多模态文体学、模态教学等；神经语言学、人机交互及学习科学中的多模态研究涉及多个学术领域，各类成果也相对突出。相比之下，基于多模态语料库的研究相对较少，而该领域的研究在国外方兴未艾。

在这一背景下，笔者多年前决定尝试采用多模态语料库语言学（Multimodal Linguistics）方法对语用学课题进行研究。在语用学中，言语行为（Speech）是经典研究课题，被视为语言交际的基本单位，相关研究在人机对话、人工智能等方面具有广阔的应用前景，由此成为目前语言学界重点关注的研究领域之一。因此，笔者决定对言语行为进行多模态考察。

多模态语料库是指文字、音频和视频语料等多种信息集成，研究者可以通过多模态方式加工、检索和统计而进行研究的语料库，堪称‘语料库4.0”。多模态语料库的语料采集、转写、切分、标注以及建库与传统文本语料库不尽相同。语言研究要以人们与外界的多模态互动作为重要的数据来源，面对具有充盈意义的现场即席话语，多模态语料库语言学是一种较为理想的研究方法。运用多模态语料库语言学方法对语用学课题进行研究具有重要意义，可以拓展语用研究视野，发展相关理论，并成为目前国际语用学界的前沿领域。

本书运用多模态语料库语言学的基本方法，关注说话人在现场即席话语（Situated DiscourseIllocutionary ForceSimulative Modeling）思想为基本研究思路，以汉语现场即席话语多模态语料库为数据来源，以包括多模态研究、语用学、语料库语言学、语音学等多个学科分支的知识和技术拓展研究视野，考察语力与情感状态、韵律特征、体貌表现之间的关系，分析说话人在不同情感状态下，韵律特征、体貌表现如何帮助说话人表达语力，描写说话人在表达不同语力时各种手段之间的互动协同规律，现场即席话语中语力显示项的特点、呈现规律及其影响因素。

本书认为，言语交际本质上是一种复杂系统，需要在复杂系统范式下加以审视，可以借用自然科学与工程领域的贴真建模作为核心思路参考‘言思情貌整一原则”（sSTFE-MatchTFe- Assumption）构建建模视角，对现场即席话语中的鲜活语力进行建模。在混合研究法的启示下，本书对语力进行了定性和定量相结合的考察。

在构建多模态语料库的基础上，本书对不同语力类型进行了概念分析，采用集合形式对这些语力类型的本体性质、实施条件与规则等进行呈现，建立语力的概念模型；结合具体情境对各个类型对应的语力实例进行了个案分析，并对不同语力实例的差异性和共同性特征进行了展现；绘制了说话人在各种情境下语力表达手段的资源系统，并分析其相应的功能承载；利用统计学方法描述说话人表达不同语力实例时，情感状态与韵律特征、体貌表现之间的互动规律；对说话人语力表达的多模态手段和语力显示项呈现的影响因素进行了推测。

同时，本书初步讨论了多模态语用学的构建必要与研究逻辑，认为多模态研究可以在研究方法上对语用学研究进行升级，这对研究者从人们普通行为的高度更为全面、准确地解读语言使用意义十分关键。另外，本书还对多模态语言研究和相关领域中不同的多模态研究路径及其关系进行了论述，并对多模态语料库语言学的可能选题进行了展望。现场即席话语研究及对应的多模态研究方法，拓展了语言研究的视野，具有深刻的理论意义和广阔的应用前景应当成为未来语言研究的新兴领域之一。

本书既介绍了相关领域的国内外研究现状也全面论述了笔者本人的研究成果，适合希望在多模态、语用学、料库等领域开展前沿研究的师生阅读。

黄立鹤

2017年2月6日于同济园

第１章 绪论

１．１ 言语行为理论与语力研究回顾

１．１．１ 言语行为理论的建立及分析哲学家的早期研究

１．１．２ 言语行为研究中语言学家的加盟

１．１．３ 基于语料库的言语行为研究

１．２ 本书的研究内容与目标

１．２．１ 主要研究内容

１．２．２ 主要研究目标

１．３ 本书的研究路径与方法

１．３．１ 以贴真建模思想为基本研究思路

１．３．２ 以多模态语料库为研究数据来源

１．３．３ 以多学科背景拓展语力研究视野

１．４ 本书的结构安排

１．５ 本章小结

第２章 现场即席话语与多模态语料库

２．１ 现场即席话语与多模态语言研究

２．１．１ 现场即席话语

２．１．２ 本研究中多模态的定义

２．２ 现场即席话语与当下亲历、当下认知及多模态数据

２．３ 多模态语料库简介

２．３．１ 多模态语料库基本情况

２．３．２ 多模态语料库的创建

２．４ 本章小结

第３章 现场即席话语语力研究的核心思路与理论准备

３．１ 贴真建模思路的运用

３．１．１ 复杂系统观下的言语交际

３．１．２ 贴真建模的含义

３．１．３ 贴真建模的步骤及在本研究中的体现

３．２ 话语活动的研究思路与建模对象

３．２．１ 社会场景在本研究中的地位与处理方法

３．２．２ 体貌表现在本研究中的地位与处理方法

３．３ 言思情貌整一原则与现场即席话语语力的分析视角

３．３．１ 言思情貌整一原则与贴真建模

３．３．２ 言、思、情、貌四个视角的意义

３．４ 本研究语力实例的分类、依据及其意义

３．４．１ 分类及其依据

３．４．２ 分类效果与意义

３．４．３ 语力实例的利益关系分析

３．５ 本章小结

第４章 现场即席话语语力的发现程序

４．１ 发现程序的制定原则、依据与特征

４．１．１ 根本原则

４．１．２ 基本依据

４．１．３ 整体特征

４．２ 发现程序的构架与内涵

４．２．１ 概念模型

４．２．２ 情境因素

４．２．３ 情感状态

４．２．４ 韵律特征

４．２．５ 体貌表现

４．３ 本章小结

第５章 多模态语料的采集与加工

５．１ 本研究语料的采集情况

５．１．１ 采集对象与方法

５．１．２ 采录设备

５．１．３ 采录人员

５．１．４ 关于语料采集的两个说明

５．２ 原始语料资源及语料库的构成与加工

５．３ 语料转写说明

５．４ 本章小结

第６章 现场即席话语多模态语力库建设

６．１ 现场即席话语语力的切分与标注方案及其实施

６．１．１ 语力操作单元的工作定义、切分标准与标注方法

６．１．２ 活动类型的工作定义、切分标准与标注方法

６．１．３ 话轮的工作定义、切分标准与标注方法

６．１．４ 情感状态的工作定义、切分标准与标注方法

６．１．５ 韵律特征的工作定义、切分标准与标注方法

６．１．６ 体貌表现的工作定义、切分标准与标注方法

６．１．７ 意图状态的工作定义、切分标准与标注方法

６．１．８ 依存性的工作定义、切分标准与标注方法

６．１．９ 元数据与标注语言

６．２ 概念建模、数据建模与鲜活整人建模视角的对应关系

６．２．１ 鲜活整人建模视角与语力数据建模的关系

６．２．２ 语力概念建模与数据建模的对应

６．３ 汉语现场即席话语多模态语力库

６．３．１ 语力库的建立原则

６．３．２ 语力库的构成信息与呈现形式

６．４ 语料标注的实际操作与评估以及一致性、效度、信度验证

６．４．１ 实际操作与非专家评估

６．４．２ 一致性验证

６．４．３ 效度和信度的专家验证

６．４．４ 语力库的共享与发布

６．５ 本章小结

第７章 现场即席话语语力的类型及实例分析

７．１ 中性类语力的类型本体及具体实例分析

７．１．１ “解释”语力

７．１．２ “评论”语力

７．２ 受益类语力的类型本体及具体实例分析

７．２．１ “满意”语力

７．２．２ “赞扬”语力

７．３ 损害类语力的类型本体及具体实例分析

７．３．１ “抱怨”语力

７．３．２ “诉苦”语力

７．４ 违愿类语力的类型本体及具体实例分析

７．４．１ “失望”语力

７．４．２ “委屈”语力

７．５ 本章小结

第８章 现场即席话语语力表达的多模态互动规律分析

８．１ 语力表达手段及语力显示项统计分析

８．１．１ 统计分析的具体方法

８．１．２ 本语力库中语力表达手段及语力显示项的资源系统

８．１．３ 本语力库中语言结构、韵律特征与体貌表现的功能承载

８．２ 情感状态、韵律特征与体貌表现之间的关系分析

８．２．１ 中性类

８．２．２ 受益类

８．２．３ 损害类

８．２．４ 违愿类

８．３ 语力多模态表达手段与语力显示项的呈现规律

８．３．１ 现场即席话语语力表达手段与语力显示项的多维性

８．３．２ 各类语力显示项对语力判断的不同作用及协同问题

８．３．３ 语力显示项特定趋向性与跨类普遍性的统一

８．３．４ 语力表达手段及语力显示项的动态呈现过程

８．４ 多模态语力表达手段与语力显示项的影响因素

８．４．１ 从参与者视角观察的影响因素

８．４．２ 从活动视角观察的影响因素

８．４．３ 从系统视角观察的影响因素

８．５ 四大类语力实例特征分布比较

８．５．１ 中性类语力实例特征分布

８．５．２ 受益类语力实例特征分布

８．５．３ 损害类语力实例特征分布

８．５．４ 违愿类语力实例特征分布

８．６ 本章小结

第９章 语力的多模态研究：

９．１ 本研究的主要工作

９．１．１ 修订现场即席话语语力的发现程序

９．１．２ 建设汉语现场即席话语多模态语力库

９．１．３ 基于多模态语料库进行现场即席话语语力研究

９．２ 主要结论

９．２．１ 语力的多模态性质及语力显示项的多维性

９．２．２ 情感与韵律、体貌之间的互动协同规律

９．２．３ 多模态语力表达及语力显示项的影响因素

９．３ 本研究的创新之处与研究价值

９．３．１ 创新之处

９．３．２ 研究价值

９．４ 本研究的局限及后续研究方向

９．４．１ 局限与不足

９．４．２ 本研究的后续方向

９．５ 本章小结

第１０章 多模态语言研究：

１０．１ 多模态研究范式再议

１０．１．１ 符号学属性的多模态研究

１０．１．２ 神经语言学、人机交互及学习研究中的多模态

１０．１．３ 多模态基础研究及应用领域的拓展与前景

１０．２ 基于多模态语料库的研究选题展望

１０．３ 多模态语用学及其他

１０．４ 本章小结

后记 

参考文献