Detección de comportamiento no verbal en interacción humano-robot

Detection of non-verbal behavior in human-robot interaction

Ernesto Adrián Lozano De la Parra (2023, [Tesis de maestría])

La comunicación no verbal desempeña un papel vital en la interacción humana. En el contexto de la interacción humano-robot (IHR), los robots sociales están diseñados principalmente para la comunicación verbal con los humanos, dejando a la comunicación no verbal como un área de investigación abierta. En este trabajo, se presenta una arquitectura flexible y abierta llamada Software Arquitechture for Nonverbal Interaction in Human-Robot Interaction (SANI-HRI) diseñada para facilitar las interacciones no verbales en IHR. Entre sus componentes se encuentra un Cuaderno Computacional P2P basado en navegador web, aprovechado para codificar, ejecutar y compartir programas reactivos. Pueden incluirse modelos de aprendizaje automático para el reconocimiento en tiempo real de gestos, poses y estados de ´animo, empleando protocolos como MQTT. Otro componente clave es un Broker para distribuir datos entre distintos dispositivos físicos, como robots, dispositivos vestibles y sensores ambientales, así como modelos de aprendizaje automático que comprendan diferentes tipos de datos. Se demuestra la utilidad de esta arquitectura mediante tres escenarios de interacción: (i) el primero que emplea la proxémica y la dirección de la mirada para iniciar un encuentro improvisado, (ii) un segundo que utiliza técnicas de visión por computadora para detectar y analizar expresiones faciales y corporales, así como el uso sensores biométricos para obtener datos de ritmo cardiaco durante una rutina de ejercicio, y (iii) un tercero que incorpora el reconocimiento de objetos y Modelos de Lenguaje Grandes para sugerir comidas a cocinar en función de los ingredientes disponibles. Estos escenarios ilustran cómo los componentes de la arquitectura pueden integrarse para abordar nuevos escenarios, en los que los robots necesitan inferir señales no verbales de los usuarios.

Nonverbal communication plays a vital role in human interaction. In the context of Human-Robot Interaction (HRI), social robots are designed primarily for verbal-based communication with humans, making nonverbal communication an open research area. We present a flexible, open framework called Software Architecture for Nonverbal Interaction in Human-Robot Interaction (SANI-HRI) designed to facilitate nonverbal interactions in HRI. Among its components it has a P2P Browser-Based Computational Notebook, leveraged to code, run, and share reactive programs. Machine-learning models can be included for real-time recognition of gestures, poses, and moods, employing protocols such as MQTT. Another key component is a broker for distributing data among different physical devices like the robot, wearables, and environmental sensors and also machine learning models. We demonstrate this framework’s utility through three interaction scenarios: (i) the first one employing proxemics and gaze direction to initiate an impromptu encounter, (ii) a second that uses computer vision techniques to detect and analyze facial and body expressions, as well as the use of biometric sensors to obtain heart rate data during a workout routine, and (iii) a third one incorporating object recognition and a Large-Language Model to suggest meals to be cooked based on available ingredients. These scenarios illustrate how the framework’s components can be seamlessly integrated to address new scenarios, where robots need to infer nonverbal cues from users.

Interacción humano-robot, Comunicación no verbal, Broker MQTT, Notebook computacional, Modelos linguísticos grandes, SANI-HRI Human-robot interaction, Nonverbal communication, Broker MQTT, Computational notebook, Large language models, SANI-HRI INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LOS ORDENADORES SISTEMAS DE RECONOCIMIENTO DE CARACTERES SISTEMAS DE RECONOCIMIENTO DE CARACTERES

Aproximación de señales acústicas a través de funciones polinomiales

Approximation of acoustic signals through polynomial functions

Andrea Cruz Rojas (2023, [Tesis de maestría])

Las señales acústicas presentan diversas características, como la frecuencia, amplitud y duración. Existen varias formas de representar una señal acústica, siendo la representación en el dominio del tiempo la más común. Esta representación permite visualizar la variación de la amplitud a lo largo del tiempo, analizar la duración, la forma de onda y los cambios rápidos o lentos en la amplitud. Sin embargo, las señales acústicas pueden contener un gran número de elementos, lo que resulta en archivos digitales de gran tamaño que dificultan su envío y almacenamiento. En este trabajo, se llevó a cabo un estudio de aproximación de señales acústicas utilizando diversas funciones polinomiales, como las funciones Zernike, Bessel y Jinc para reducir la cantidad de datos necesarios para representar la señal acústica, lo que simplifica la manipulación de dichos datos. El objetivo es identificar qué polinomio y cuántos coeficientes ofrecen un mejor rendimiento, es decir, una mejor señal acústica. Este estudio se basa en una evaluación objetiva y subjetiva de la reconstrucción de las señales acústicas, lo cual, hasta donde tenemos conocimiento, no se ha estudiado utilizando ambas metodologías en conjunto.

Acoustic signals have various characteristics, such as frequency, amplitude and duration. There are several ways to represent an acoustic signal, with time domain representation being the most common. This representation allows you to visualize the variation of the amplitude over time, analyze the duration, the waveform and the fast or slow changes in the amplitude. However, acoustic signals can contain a large number of elements, resulting in large digital files that make them difficult to send and store. In this work, an approximation study of acoustic signals was carried out using various polynomial functions, such as the Zernike, Bessel and Jinc functions to reduce the amount of data necessary to represent the acoustic signal, which simplifies the manipulation of said data. The objective is to identify which polynomial and how many coefficients offer better performance, that is, a better acoustic signal. This study is based on an objective and subjective evaluation of the reconstruction of acoustic signals, which, to the best of our knowledge, has not been studied using both methodologies together.

Calidad de audio, Compresión de señal acústica, Polinomios ortogonales, Pruebas objetivas y subjetivas. Audio quality, Acoustic signal compression, Orthogonal polynomials, Objective and Subjective Tests INGENIERÍA Y TECNOLOGÍA CIENCIAS TECNOLÓGICAS TECNOLOGÍA DE LAS TELECOMUNICACIONES ELECTROACÚSTICA ELECTROACÚSTICA