Detección de comportamiento no verbal en interacción humano-robot

Detection of non-verbal behavior in human-robot interaction

Ernesto Adrián Lozano De la Parra (2023)

La comunicación no verbal desempeña un papel vital en la interacción humana. En el contexto de la interacción humano-robot (IHR), los robots sociales están diseñados principalmente para la comunicación verbal con los humanos, dejando a la comunicación no verbal como un área de investigación abierta. En este trabajo, se presenta una arquitectura flexible y abierta llamada Software Arquitechture for Nonverbal Interaction in Human-Robot Interaction (SANI-HRI) diseñada para facilitar las interacciones no verbales en IHR. Entre sus componentes se encuentra un Cuaderno Computacional P2P basado en navegador web, aprovechado para codificar, ejecutar y compartir programas reactivos. Pueden incluirse modelos de aprendizaje automático para el reconocimiento en tiempo real de gestos, poses y estados de ´animo, empleando protocolos como MQTT. Otro componente clave es un Broker para distribuir datos entre distintos dispositivos físicos, como robots, dispositivos vestibles y sensores ambientales, así como modelos de aprendizaje automático que comprendan diferentes tipos de datos. Se demuestra la utilidad de esta arquitectura mediante tres escenarios de interacción: (i) el primero que emplea la proxémica y la dirección de la mirada para iniciar un encuentro improvisado, (ii) un segundo que utiliza técnicas de visión por computadora para detectar y analizar expresiones faciales y corporales, así como el uso sensores biométricos para obtener datos de ritmo cardiaco durante una rutina de ejercicio, y (iii) un tercero que incorpora el reconocimiento de objetos y Modelos de Lenguaje Grandes para sugerir comidas a cocinar en función de los ingredientes disponibles. Estos escenarios ilustran cómo los componentes de la arquitectura pueden integrarse para abordar nuevos escenarios, en los que los robots necesitan inferir señales no verbales de los usuarios.

Nonverbal communication plays a vital role in human interaction. In the context of Human-Robot Interaction (HRI), social robots are designed primarily for verbal-based communication with humans, making nonverbal communication an open research area. We present a flexible, open framework called Software Architecture for Nonverbal Interaction in Human-Robot Interaction (SANI-HRI) designed to facilitate nonverbal interactions in HRI. Among its components it has a P2P Browser-Based Computational Notebook, leveraged to code, run, and share reactive programs. Machine-learning models can be included for real-time recognition of gestures, poses, and moods, employing protocols such as MQTT. Another key component is a broker for distributing data among different physical devices like the robot, wearables, and environmental sensors and also machine learning models. We demonstrate this framework’s utility through three interaction scenarios: (i) the first one employing proxemics and gaze direction to initiate an impromptu encounter, (ii) a second that uses computer vision techniques to detect and analyze facial and body expressions, as well as the use of biometric sensors to obtain heart rate data during a workout routine, and (iii) a third one incorporating object recognition and a Large-Language Model to suggest meals to be cooked based on available ingredients. These scenarios illustrate how the framework’s components can be seamlessly integrated to address new scenarios, where robots need to infer nonverbal cues from users.

Tesis de maestría

Interacción humano-robot, Comunicación no verbal, Broker MQTT, Notebook computacional, Modelos linguísticos grandes, SANI-HRI Human-robot interaction, Nonverbal communication, Broker MQTT, Computational notebook, Large language models, SANI-HRI INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES SISTEMAS DE RECONOCIMIENTO DE CARACTERES SISTEMAS DE RECONOCIMIENTO DE CARACTERES