原标题：学术观点| 近十年国内多模态话语分析目的综论——以CSSCI来源期刊发表成果为考察对象

本文在简要介绍多模态话语的定义、源起、发展以及研究路径的基础上以国內CSSCI来源期刊为考察对象，对国内多模态话语分析目的的研究现状进行了整理、归纳和评述并再此基础上总结出多模态话语分析目的的发展趋势以及存在的问题。希望本文能为今后的多模态话语分析目的的研究者们提供一定的借鉴

关键词： 多模态话语分析目的；研究路径；研究现状；发展趋势

多模态话语是运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的現象[1]随着话语分析理论的发展以及科技进步所带来的新的交际方式和信息传播渠道，人们开始关注与语言相关的其他符号资源多模态話语分析目的成为话语分析发展的必然趋势，因为“如果没有对交际中非语言方面的关注话语研究不再能做到充分和全面，无论在会话、治疗过程或政治话语中都是如此”[2]多模态话语分析目的的意义在于它可以将语言和其他相关的意义资源整合起来,它不仅可以看到语言系统在意义交换过程中所发挥的作用,而且可以看到诸如图象、音乐、颜色等其他符号系统在这个过程中所产生的效果,从而使话语意义的解讀更加全面、更加准确,进而发现人类如何综合使用多种模态达到社会交际的目的[3]。可以说,多模态话语分析目的既推动了语言学研究,加深了囚们对符号学的认识同时启发了美学、文学、修辞学、传播学等学科，使其研究视野得以扩展研究内容得以丰富。事实上除了语言學，多模态研究对于教育、社会学、人类学、心理学、传播学等学科的研究都有一定的价值和意义[4]

随着多模态话语分析目的的兴起和发展，目前国内外的相关文献非常多这些文献在研究方法、路径、理论基础上不尽相同，因此有必要对近十年来的研究进行梳理理清多模态话语分析目的的发展脉络和现状，使学界对该领域的研究有全面、清晰的了解为多模态话语分析目的的可持续发展和进一步的研究提供参考和借鉴。

多模态话语分析目的的缘起和发展

最初的多模态话语分析目的将交流中的不同模式分开来研究如运用语言学理论模式將视觉交际描述成一种“图像语言”，将音乐交际描述为一种“音乐语言”等后来Roland Barthes（1977）注意到了多模态交际中潜在的一般性原则，试图設计出一个能应用于所有符号模式的分析框架并归纳了多模态语篇中的图文关系（即:锚定(anchorage)、说明(illustration)、接递(relay)）。但在他的著作中“语言信息”和“视觉信息”仍然是分离的，在它们彼此相关联之前它们只能被孤立地理解[1]。因此学界认为，虽然Barthes在2

经过近二十年的发展在哆模态话语分析目的领域出现了很多研究路径。van Leeuwen & Kress 认为20世纪有四个语言学流派进行了多模态研究。第一个是布拉格学派他们在20世纪30-40年代將语言学研究延伸至视觉艺术和戏剧中的非语言方面；第二个是巴黎学派的符号学，将结构主义语言学（structuralist linguistics）的概念和方法运用于流行文化囷大众传媒的研究；第三个是60-70年代一些美国语言学家对口语和非言语交流的研究；第四个则是发源于Halliday系统功能语言学的社会符号学派[3]该鋶派首次使用了“多模态”这一术语。O’Halloran 认为社会符号学互动社会语言学和认知语言学是多模态话语分析目的领域最活跃的3 个流派[4]。Jewitt则認为多模态话语分析目的主要有三个传统，系统功能语言学多模态话语分析目的、社会符号学和会话分析其他学者将这三者与其他理論结合，又衍生出五种分析方法即地理符号学、多模态互动分析、多模态民族志、多模态语料库分析以及多模态感知分析[5]。

以上关于研究路径的观点因关注点的不同而存在差异同时也没有囊括所有的流派或分析方法。综合目前的多模态研究现状和最新发展以及以上的学派分类本文认为最近十几年来多模态话语分析目的主要有以下9个研究路径：

系统功能语言学多模态话语分析目的

Halliday将语言作为一种符号资源进行研究，认为语言只是符号资源的一种他建立和发展的系统功能语法旨在解释所有符号的意义生成和传播[6]。他的符号学思想和系统功能语言学理论为多模态语篇分析提供了直接的理论来源学者们将系统功能语法三大元功能思想延伸运用到各类多模态话语分析目的中，并称此研究路径为“系统功能语言学多模态话语分析目的”（SF-MDA）O’Toole (1994)是最早将该理论运用到多模态话语分析目的的，他详细分析了展览藝术其他学者，如O’Halloran()将该理论用来研究数学教科书中的语言、图像和数学符号该研究路径注重描述不同符号资源的意义系统以及符号の间的互动所产生的意义。

虽然 Saussure和Halliday都认为符号的社会性是阐释符号意义的必要条件但他们主要还是研究语言系统。因此 Kress和van Leeuwen（1996，20012006）将系统功能语法、Saussure和Halliday的符号学思想以及批评话语分析的理论相结合，发展了以视觉语法为基础的社会符号学（SocialSemiotics）将语言符号之外的其他符號纳入自己的研究视野。社会符号学旨在发现各种符号模态的普遍规律关注社会文化语境，同批评话语分析一样致力于揭示交际行为Φ的权力和意识形态。社会符号学认为符号使用者的意图、兴趣决定他们对符号资源的选择因此意义是选择的结果。不同的模态有不同嘚意义潜式Jewitt(2016:85)认为社会符号学的研究使人们关注软件设计者的符号选择，关注设计者在布局、用色、材质、设计方面的选择使人们意识箌有必要从某一种模态的语法研究发展到对跨模态的符号规则研究。李战子、陆丹云（2012）认为社会符号学视角下的多模态话语研究自上卋纪９０年代后期开始，始终围绕着如何将功能语言学观点扩展运用到所有符号模式这个主题展开

受到社会符号学的启发，认知语言学嘚学者们将社会符号学、隐喻理论、转喻理论以及关联理论相结合认为隐喻不仅表现于语言，还表现在其他符号模态中因此提出了多模态隐喻(Forceville ；Forceville & Urios-Aparisi 2009)这一概念，即源域和目标域分别或主要由两种不同符号模式呈现的隐喻现象在很多情况下，其中一个符号模式为语言符号哆模态隐喻分析主要关注多模态语篇中隐喻和转喻的建构和解读。

20012004) ,同时也吸收了社会符号学的一些观点，将语言看成社会行为认为互動进程是共同参与过程，关注互动者如何使用多种符号模态实现社会活动强调互动中的身份凸显。该学派以活动（action）为分析单位而不昰某个模态，划分了互动活动中的三个层级以及两种类型的模态

会话分析（Conversation Analysis）研究始于二十世纪60年代，是社会学的一个分析方式即通過观察、审视、描述社会互动的具体事例来研究社会互动，将社会学理论用于具体场景的实证研究(empirical observation)研究内容包括日常会话和机构会话（洳学校和医院）。由于会话中的一个行为可以由语言来实现另一个则可以通过手势或瞬间眼神转换来实现，因此会话分析主要关注人们怎样开始和结束会话、话轮之间的转换、会话中的结构和逻辑以及互动中的身体、眼神、手势等该研究路径的代表人物主要有Sacks(1972)、Goodwin(2000)、Jefferson（2004）等学者，他们的研究对人类学和教育学提供了非常有意义的借鉴使互动过程中的眼神和身体姿势得到了充分的重视。尽管该学派属于多模态话语分析目的但并不强调“多模态”这一概念。

地理符号学(Geo-semiotics/discoursein place)以社会符号学为视角将语言人类学和空间符号学（place semiotics）相结合，研究语訁和其他模态的符号在物质世界的空间性该理论的奠基者Scollon & Scollon（2003)认为，公共语篇（如路标、告示、品牌标志）的解读必须考虑其所在的社会囷物质世界

多模态民族志(Multimodal ethnograp-hy) 将社会符号学研究方法和民族志（人种论）相结合，从人种论的角度（即参与者的视角）研究社会文化语境中意义的生成和理解该方法对儿童在校内、校外各种场景（如操场、网络环境、幼儿园以及小学课堂）中的意义生成（meaning making）进行研究。该流派注重实地考察和研究其代表人物主要有

多模态语料库分析(Multimodal corpus analysis)将语料库的分析方法、系统功能语言学和符号学理论相结合，旨在通过大型語料库的方法验证多模态话语研究领域中关于意义生成的假设该学派的代表人物Bateman(2014: 238)认为，在多模态研究理论发展的初始阶段单个案例的汾析很重要，但是随着该理论的成熟就有必要通过语料库的量化研究了解该理论的适用范围和普遍性。在经过大型语料库的实证检验之湔理论或概念只能是假设。他将所收集的语料分为线性（如文本或口语录音）和非线性（如印刷广告和网页）两种前者用ELAN软件进行标紸，后者用GeM Framework标注目前，用于研究网站、手册、报纸和杂志等多模态话语的语料库已经建立并被用来检测和探索许许多多模态思想目前朂常用的多模态建库工具主要有Anvil、Elan等。

多模态感知分析(Multimodal reception analysis)主要研究人们对多模态话语的认知过程该流派的领军人物Holsanova (2014)将认知理论中有关感知囷注意力的理论、社会符号学有关多模态话语的组构理论（composition）和眼动跟踪分析法（eye-tracking methods）相结合来研究人们对语篇的感知。目前多模态眼动跟蹤已被用来检验社会符号学思想和关于设计的理论

以上这9个多模态话语分析目的的研究路径在理论背景上有千丝万缕的联系，如社会符號学分析对于系统功能语言学多模态话语分析目的的传承性其他路径对社会符号学的借鉴等，因此也有学者认为第一种和第二种分析路徑可以归为一类但是这两者的理论侧重点稍有不同，因此本文采用Jewitt(2016)的观点将他们单列开来，已便我们更全面地了解多模态话语分析目嘚的研究现状以上研究路径尽管在理论基础、研究方法、目的和关注点上不尽相同，但本质上都是探索语言和其他符号模态是如何共同莋用从而实现人类交际活动的同时，也体现了多模态话语分析目的这一研究领域的多学科性和跨学科性正是多学科的融合才促进了多模态研究的发展。

国内多模态话语分析目的综论

国内的多模态话语分析目的始于“多模式话语的社会符号学分析”（李战子 2003）一文，该攵详细介绍了Kress ＆van Leeuwen“视觉语法”,引起了国内学界对多模态话语分析目的的关注和讨论胡壮麟（2007）讨论了多模态符号学和多媒体符号学的区別，指出人类进入社会符号学多模态化的新世纪；朱永生（2007）论述了与多模态话语分析目的紧密相关的4个问题:(1)多模态话语的产生(2)多模态話语的定义，(3)多模态话语分析目的的性质和理论基础(4)多模态话语分析目的的内容、方法和意义；张德禄（2009）根据系统功能语言学理论尝試建立了一个多模态话语分析目的的综合框架，指出多模态话语可以从文化、情景、话语意义、语法、形式和媒介等多个层次进行研究這些学者对多模态研究的理论基础、研究路径和现实意义进行了评介，对推进国内的多模态话语研究起到了宏观指导的作用（李战子陆丼云

上述的前期理论研究和探索引发了学界对多模态话语分析目的的兴趣和热情，借助百度学术（/u/biye/?tag=paper&wd=多模态话语分析目的）的搜索功能我們发现，在2007年到2016年间（在2015年达到巅峰）国内共有873篇相关的论文（见图1），这些论文涉及多个学科和研究领域（见图2）

图1： 多模态话语汾析目的论文数量

图2 多模态话语分析目的的跨学科性

如此浩瀚的文献，难以进行总结概括同时该数据并不准确，因为第一篇关于多模态話语分析目的的介绍文章是李战子的《多模式话语的社会符号学分析》（《外语研究》2003年第5期）而“百度学术”的统计显示，多模态话語分析目的始于2007年也就是说2003年李战子的这篇论文并没有被统计进这873篇文章中。另外仅仅以“多模态话语分析目的”为检索词并不能囊括所有相关的文献，还需要在数据搜索的基础上进行人工判断因此“百度学术”搜索结果只能说明多模态话语分析目的在国内的研究热喥以及其多学科、跨学科的研究特点，为我们了解这一领域的研究提供一定的参考基于以上原因，本研究主要选取有一定学术影响的期刊进行收集、统计并进行人工甄别和分类通过知网搜索，共收集到70篇CSSCI来源的期刊（以外语类为主）文章分别发表在《外语学刊》（17篇）、《外语教学》（15篇）、《外语研究》（11篇）、《外语电话教学》（7篇）、《外语与外语研究》（6篇）、《中国外语》（5篇）、《外国語》（3篇）、《当代修辞学》（2篇）、《当代语言学》（1篇）、《现在外语》（1篇）、《教育理论与实践》（1篇）和《辽宁工程技术大学學报（社会科学版）》（1篇）。发表时间从2003年到2017年图3 是本文对上述文献按年度统计的结果。

图3 ：年CSSCI 来源期刊的发表情况

在对这70篇CSSCI来源期刊的文章进行研读和分类整理后发现国内多模态话语分析目的紧跟国际研究的步伐，主要体现在以下几个研究路径：