대화형 인터페이스 진화에 따른 모달리티 유형별 사례 연구
Case Study on Modality Type according to Conversational User Interface Evolution
0
조회
0
다운로드
5
인용
0
참고문헌
키워드
초록
최근 인공지능이 고도화되면서 다양한 대화형 제품 및 서비스가 출시되고 있다. 하지만 대화가 원활하게 이루어지기에 현재의 기술은 아직 미성숙한 상황이다. 또한 기술에 치우친 일방적인 개발로 사용자대화 경험의 고려가 미흡하다. 특히 원활한 대화 경험이 성립되기 위해서 사용자의 대화 인지는 중요한 요인 중 하나이다. 따라서 이 연구는 모달리티 유형에 따른 사용자의 대화 인지 요소 파악을 목적으로 한다. 연구 방법은 인터페이스 변천, 멀티모달리티의 개념과 인터랙션 양식에 대한 문헌 연구를진행하였다. 이를 토대로 사례 연구에 적용할 모달리티 유형을 도출하였다. 사례 연구는 지금까지 출시된 대화형 인터페이스의 대표 제품으로 지능형 비서, 챗봇, 인공지능 스피커, 웨어러블 스마트 기기, 소셜 로봇 등 다섯 개를 선정하여 분석하였다. 연구 결과, 첫째, 대화형 인터페이스는 문자·음성·시각· 몸짓 언어 등을 도구로 상호작용한다. 둘째, 여러 언어를 동시에 사용하는 멀티모달리티 사례가 늘고있다. 셋째, 제각각의 모달리티는 서로 다른 어포던스, 전달 수단, 하위 요소, 특성 등을 갖는다. 대표적 특성으로 음성언어는 신속하고, 문자언어는 정확하다. 이와 같은 연구 내용을 통해 개발 초기 단계에서부터 기획 방향과 목표 사용자에게 적합한 모달리티를 선택 및 조합해야 함을 알 수 있었다. 선택한 모달리티의 특성을 파악하여 이를 활용한 효과적인 대화 경험 디자인을 해야 한다. 더불어 향후 사용자 인지 및 주의를 중심으로 한 사용성 평가 등의 실증 연구가 수반되어야 한다. 앞으로 대화형 인터페이스 관련 산업이 계속 확대될 것으로 전망된다. 따라서 기초 연구로서, 대화 상호작용의 메커니즘과 사용자의 대화 경험, 대화형 시스템을 아우르는 통합적인 체계 연구가 요구되어 진다. 본 연구의유형 분석을 바탕으로 대화형 인터페이스 프로젝트 개발할 때 보다 효과적인 모달리티와 하위 요소를적용해 사용성 및 사용자 경험에 긍정적인 효과를 제공할 수 있을 것으로 기대한다.
Abstract
With the recent advancement of artificial intelligence, various conversational products and services are being released. However, the current technology is still immature for the conversation to take place smoothly. In addition, due to technology-biased unilateral development, consideration of user conversation experiences is insufficient. In particular, the user's conversational cognition is an essential factor in establishing a smooth experience. Therefore, this work aims to identify the conversational cognitive elements of users according to modality types. The study's method conducted a literature study on interface changes, concepts of multimodality, and modalities. Moreover, based on this, derive modality types for apply to case studies. The case study selected and analyzed five representative products of conversational interfaces that have been released so far. As a result of the research is following this. First, conversational interfaces interact with tools such as text, voice, visual, and body language. Second, the number of multimodality cases using multiple languages at the same time is increasing. It can confuse communication. Third, each modality has a different affordance, means of communication, sub-elements, characteristics, etc. Such research shows that planning and modality suitable for target users should be selected and combined from the initial development stage. Besides, it should be accompanied by empirical studies such as usability evaluation centered on future user awareness and attention. As the industry related to conversational interfaces will continue to expand in the future. As a preliminary study, an integrated system study encompassing dialogue interaction mechanisms, the user's conversational experience, and interactive systems, is required. This study's type analysis expects to apply more effective modalities and sub-factors when developing interactive interface projects to affect usability and user experience positively.
참고문헌 (37)
- Austin, J. L., "How to do things with words" (1962), Harvard university press
- "Chatbot Conversation Framework" (2016)[URL]
- Dale, E., "Audio-visual methods in teaching, revised edition. A Holt-Dryden Book" (1954), Henry Holt and Company
- Dewey, J., "Art as Experience" (1938), The Macmillan Conpany
- Gibson, J. J., "The senses considered as perceptual systems" (1966), Houghton Mifflin
- Götzer, J., "Engineering and user experience of chatbots in the context of damage recording for insurance companies", Bachelor, pp.2018
- Janarthanam, S., "Hands-on chatbots and conversational UI development: build chatbots and voice user interfaces with Chatfuel, Dialogflow, Microsoft Bot Framework, Twilio, and Alexa Skills" (2017), Packt Publishing Ltd
- Jeong, J. H., "Almost Every IT History" (2010), Medici Media
- Joo, S., "Study on Conversational User Interface System Architecture and Usability", Proceedings of the 2019 KSDS Fall International Conference, pp.49~50 (2019)
- 주서영, "유아용 스마트 토이 디자인 개발: 36개월령 언어발달 특징을 바탕으로", 산업디자인학연구, 14(4), pp.23~38 (2020), 한국인더스트리얼디자인학회[DOI]
- Kang, J., "Voice First Paradigm" (2017), Butterfly of Amazon
- Kim, K., "Critical Biography of Karel Čapek" (2014), Happy Reading
- Kim, W., "Nonverbal Communication" (2014), Communication Books Inc
- Kress, G., "Multimodal Discourse: The Modes and Media of Contemporary Communication" (2001), Hodder Arnold Publication
- Lee, Y., "Transparent and attachable ionic communicators based on self-cleanable triboelectric nanogenerators", Nature communications, 9(1), pp.1~8 (2018)
- McLuhan, M., "Understanding media: The extensions of man" (1994), MIT press
- McTear, M., "The Conversational Interface: Talking to Smart Devices" (2016), Springer International Publishing
- Mey, J. L., "Pragmatics : an introduction" (2007), Hanshin Publishing Co
- Moore, R. J., "Conversational UX design", Proceedings of the 2017 CHI Conference Extended Abstracts on Human Factors in Computing Systems (2017)
- Nah, K., "Design Ergonomics & Human Factors", pp.101~ (2017), Culture Cod
- Nigay, L., "A design space for multimodal systems: concurrent processing and data fusion", Proceedings of the INTERACT'93 and CHI'93 conference on Human factors in computing systems, pp.172~178 (1993)
- Nishida, T., "Conversational Informatics: An Engineering Approach" (2008), John Wiley & Sons
- Norman, D., "Emotional design: Why we love (or hate) everyday things" (2004), Basic Civitas Books
- Norman, D., "The psychology of everyday things" (1988), Basic books
- Park, H., "Design Tech Theory with Art and Technology" (2020), Jigu Culture Co. Ltd
- Park, W.,, "Post-Corona era, digital transformation of national society", KISO JOURNAL, (39) (2020)
- Pearl, C., "Designing voice user interfaces: principles of conversational experiences" (2016), O'Reilly Media, Inc
- Raskin, J., "The Humane Interface: New Directions for Designing Interactive Systems" (2000), Addison-Wesley Professional
- Roberts, A., "The History of Science Fiction" (2016), Palgrave Macmillan
- Schaefer, R. T., "Sociology: A brief introduction" (2000), McGraw-Hill
- Sutherland, I. E., "A head-mounted three dimensional display", Proceedings of the December 9-11, 1968, fall joint computer conference, part I, pp.757~764 (1968)
- Wachsmuth, I., "Communication: Human, Animal and Artificial Intelligence" (2014), SNU Press
- Weizenbaum, J., "ELIZA—a computer program for the study of natural language communication between man and machine", Communications of the ACM, 9(1), pp.36~45 (1966)
- Yang, H., "Intelligent Personal Secretary Market Trends and Forecast of Influence of Domestic Industry", Trends and Issues, 35, pp.1~30 (2017)
- A Prospective Analysis of Artificial Intelligence(AI) Technology and Innovation Policies : Focused on Improving Korea’s National AI R&D Policy, "Yang, H.", ~ (2019)
- 양진숙, "뉴미디어 시대의 웨어러블 디바이스 사례분석 연구-휴대형 디바이스를 중심으로-", 한국디자인문화학회지, 20(2), pp.353~363 (2014), 한국디자인문화학회
- "Design Actions for the Google Assistant beyond smart speakers, 2018 Google I/O"[URL]