该项目利用多模态方法，包括对话分析和眼球追踪技术，旨在分析讲故事过程中的互动。
研究人员
研究背景
互相讲故事是日常交谈的重要组成部分。对话式讲故事本质上是多模态的，讲故事的参与者使用注视和手势来支持他们的口头互动Rühlemann, Gee & Ptak 2019)．该项目是弗莱堡大学和BCU之间的合作项目，旨在调查这一现象。它汇集了对话分析、话语分析和语料库语言方法，以及最新的视频和眼球跟踪技术，以实现对讲故事过程中多模态交互的全面分析。
研究的目的是
该项目旨在构建一个创新的多模态语料库——讲故事交互语料库。该语料库将由两个人、三个人或四个人之间的对话转录而成。它将以XML格式结合多层注释，以捕捉目光、手势和对话特征。对话将在北京大学进行录制，XTranscript软件(在北京大学开发)将用于语料库的编译和注释。
研究方法
讲故事互动语料库的数据来自与波士顿大学合作的自发对话互动的视频记录。与只使用正字法转录的语料库-语言多模态语料库不同，数据将按照会话分析(杰斐逊)惯例转录，以确保转录本中丰富的多模态细节。对话分析文本将使用XTranscript转换为XML文本，XTranscript是一款与BCU合作专门为这个项目开发的软件。
除了会话分析抄写和标注外，数据还将接受词性标注形式的语料库-语言标注，以捕捉言语动作的形态-句法功能，以及语篇分析标注，以掌握语篇结构、语篇呈现和语篇角色。
在与弗莱堡大学德国语言学教授奥尔的合作中，通过使用眼球跟踪技术，将收集关于凝视行为的定量数据，并将其集成到XML中。语料库的XML结构将为多模式讲故事实践的统计检查提供基础。通过使用XML查询语言XPath和XQuery，可以寻址和提取无限大小和复杂性的相关数据(Rühlemann & Gee 2018)．
研究成果
基于跨学科方法，我们打算研究多模态讲故事互动，解决语料库语言学、话语分析和对话分析这三个学科单独无法充分解决的创新研究问题。这些问题与语言的手势、凝视和口语特征如何与对话互动和故事进展相结合有关。