몸짓 분석을 위한 프랑스어 다면자료 구축 연구
Etude de la construction du corpus multimodal du français pour l'analyse des gestes
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
Les humains parlent en produisant des gestes divers ; hocher la tête, lever les sourcils, abaisser les coins des lèvres, hausser des épaules, etc. Ces mouvements expressifs constituent des facteurs contextuels très importants de la communication verbale. Cependant, ils sont restés longtemps hors de la portée des recherches linguistiques. En effet, d’une part les linguistes étaient occupés à observer les phénomènes internes extrêmement complexes des langues, d’autre part, il leur manquait les outils descriptifs adéquats pour mener de telles recherches sur la relation étroite entre gestes et parole. Mais ce sujet a enfin commencé à attirer l’attention des linguistes comme en témoignent, par exemple, les travaux de D.McNeill et A.Kendon dans les années 1980. Ces linguistes étudient sous différents aspects les gestes associés au langage. Dans le présent article, nous nous proposons de faire le bilan de ces études, en particulier du point de vue de l’apprentissage de la communication en langue étrangère (L2). Nous introduisons également les corpus multimodaux, dits corpus de la quatrième génération. Ils contiennent non seulement les informations sur les énoncés mais aussi celles sur les gestes, la prosodie et les contextes divers non verbaux. Ils permettent d’aligner toutes ces informations sur l’axe temporel si bien qu’on peut les segmenter et les observer toutes en même temps. Nous essayons de caractériser les corpus multimodaux et présentons quelques outils informatiques destinés à la construction des corpus multimodaux dont ELAN. Nous présentons finalement notre corpus multimodal construit avec les images audio-visuels de « Mina, Pierre est les autres », manuel complémentaire à la méthode Festival 1. Nous l’avons construit dans l’objectif de favoriser l’apprentissage de la communication en langue française. Nous avons tenté de décrire la corrélation des gestes et de la parole dans la communication. Nous présentons dans cet article la démarche de la construction du corpus et ensuite nous montrons avec quelques exemples comment les données multimodales pourront être exploitées en vue de l’apprentissage de la communication en français par des étudiants coréens.
Abstract
Les humains parlent en produisant des gestes divers ; hocher la tête, lever les sourcils, abaisser les coins des lèvres, hausser des épaules, etc. Ces mouvements expressifs constituent des facteurs contextuels très importants de la communication verbale. Cependant, ils sont restés longtemps hors de la portée des recherches linguistiques. En effet, d’une part les linguistes étaient occupés à observer les phénomènes internes extrêmement complexes des langues, d’autre part, il leur manquait les outils descriptifs adéquats pour mener de telles recherches sur la relation étroite entre gestes et parole. Mais ce sujet a enfin commencé à attirer l’attention des linguistes comme en témoignent, par exemple, les travaux de D.McNeill et A.Kendon dans les années 1980. Ces linguistes étudient sous différents aspects les gestes associés au langage. Dans le présent article, nous nous proposons de faire le bilan de ces études, en particulier du point de vue de l’apprentissage de la communication en langue étrangère (L2). Nous introduisons également les corpus multimodaux, dits corpus de la quatrième génération. Ils contiennent non seulement les informations sur les énoncés mais aussi celles sur les gestes, la prosodie et les contextes divers non verbaux. Ils permettent d’aligner toutes ces informations sur l’axe temporel si bien qu’on peut les segmenter et les observer toutes en même temps. Nous essayons de caractériser les corpus multimodaux et présentons quelques outils informatiques destinés à la construction des corpus multimodaux dont ELAN. Nous présentons finalement notre corpus multimodal construit avec les images audio-visuels de « Mina, Pierre est les autres », manuel complémentaire à la méthode Festival 1. Nous l’avons construit dans l’objectif de favoriser l’apprentissage de la communication en langue française. Nous avons tenté de décrire la corrélation des gestes et de la parole dans la communication. Nous présentons dans cet article la démarche de la construction du corpus et ensuite nous montrons avec quelques exemples comment les données multimodales pourront être exploitées en vue de l’apprentissage de la communication en français par des étudiants coréens.
참고문헌 (36)
- Allwood, J., "Multimodal corpora, In Corpus Linguistics, Vol.1", pp.207~224 (2008)
- "The MUMIN Multimodal coding Scheme" (2005)[URL]
- Bangerter, A., "Using pointing and describing to achieve joint focus of attention in dialogue", Psychological Science, 15, pp.415~419 (2004)
- Bavelas, J. B., "Visible acts of meaning: An integrated message model of language in face-to-face dialogue", Journal of Language and Social Psychology, 19(2), pp.163~194 (2000)
- Bertrand, R., "Le CID-Corpus of Interactional Data’", TAL, 49(3), pp.105~134 (2008)
- Bertrand, R., "Représentation, édition et exploitation de données multimodales : le cas des backchannels du corpus CID", Cahiers de Linguistique, 33(2), pp.183~212 (2009)
- Blache, Ph., "Creating and Exploiting Multimodal Annotated Corpora: The Kendon, A., ‘Gesticulation and speech: two aspects of the process of utterance’, in The Relationship of Verbal and Nonverbal Communication", pp.207~227 (1980), Mouton, Hague
- Kendon, A., "Gesture, Visible Action as Utterance" (2004), Cambridge University Press
- Kida, T., "Approrpiation du geste par les étrangers : le cas d'étudiants japonais apprenant le français" (2005), Univ. Aix-Marseille I-Univ. de Provence
- Kida,T., "Does Gesture Aid Discourse Comprehension in the L2?, In Gesture, Second Language Acquisition and Classroom Research", pp.131~156 (2008)
- Knight, D., "A Multi-modal corpus approach to the analysis of backchanneling behaviour" (2009), The University of Nottingham
- McCafferty S., "Gesture, Second Language Acquisition and Classroom Research" (2008), Routledge
- McCafferty S., "The appropriation of gestures of the abstract by L2 lesarners’, In Sociocultural Theory and Second Language Learning", pp.199~218 (2000)
- McNeill, D., "So yon think gestures are nonverbal", Psychological Review, 92(3), pp.350~371 (1985)
- McNeill, D., "Hand and Mind, What Gestures Reveal about Thought" (1992), The University of Chicago Press
- McNeill, D., "Gesture and Thought" (2005), The University of Chicago Press
- McNeill, D., "Communicative effective effects of speech-mismatched gestures", Research on Language and Social Interaction, 27, pp.223~237 (1994)
- Meillon, B., "DYNEMO: A Corpus of Dynamic and Spontaneous Emotional Facial Expressions, In Multimodal Corpora proceedings", pp.31~36 (2010)
- Mohan B., "Context and second language development: Preschoolers' comprehension of gestures", Applied Linguistics, 9, pp.275~292 (1988)
- Norris, S., "Analyzing Multimodal interaction" (2004), Routledge
- Pavelin, B., "Le geste à la parole" (2002), Press universitaire du Mirail
- Schegloff, E. A., "On some Gestures' Relation to Talk, In Structures of Social Action", pp.266~298 (1984)
- Sime, D., "“Because of Her Gesture, It's Very Easy to Understand”-Learners' Perceptions of Teachers' Gestures in the Foreign Language Class, In Gesture, Second Language Acquisition and Classroom Research", pp.259~279 (2008)
- Stam, G., "Changes in patterns of thinking about motions with L2 acquisition, In Oralité et gestualité: Communication multimodale, interaction", pp.615~619 (1998)
- Stam, G., "Lexical failure and gesture in second language development, In Oralité et gestualité: Communication multimodale, interaction", pp.271~275 (2001)
- Tan, "Multi-level Annotations of Nonverbal Behaviors in French Spotaneous Conversations, In Multimodal Corpora proceedings", pp.74~79 (2010)
- Tellier, M., "Dire avec des gestes, In Du discours de l’enseignant aux pratiques de l’apprenant en classe de français langue étrangère, seconde et maternelle", Le Français dans le monde, recherche et application, 44 (2008)
- Tellier, M., "Découvrir le pouvoir de ses mains : La gestuelle des futurs enseignants de la langue, In Spécificités et diversité des interactions didactiques: disciplines, fianlités, contextes" (2010)
- Wittenburg, P., "Preprocessing multimodal corpora, In Corpus Linguistics, Vol.1", pp.664~684 (2008)
- Yoshioka, K., "Gesture and information structure in first and second language", Gesture, 8(2), pp.236~255 (2008)
- Yoshioka, K., "Gestural introduction of Ground reference in L2 narrative discourse", International Review of Applied Linguistics, 44(2), pp.171~193
- 권종분, "비언어적 요소를 고려한 한국어 교재 개발 연구", 한국언어문화학, 5(1), pp.13~175, 국제한국언어문화학회
- 김경지, "한국어 학습자를 위한 비언어적 표현 연구", 박사, 국어국문학과, pp.2011
- 안의정, "다면자료의 다양한 양상 및 구축 방법 연구", 제27회 연세대 언어정보연구원 학술대회 자료집, pp.9~36 (2011)
- 임지룡, "신체언어와 일상언어 표현의 의사소통적 상관성", 언어과학연구, (17), pp.59~78, 언어과학학회
- 조현용, "한국인 비언어적 행위의 특징과 한국어교육 연구", 이중언어학, (33), pp.269~296 (2007), 이중언어학회