Este sistema es conocido como AM2S-SR.
La piel artificial combinada con sensores y tecnología de aprendizaje automático permite a las personas, con trastornos de la voz, comunicarse mediante movimientos de la boca sin sonido.
Solo en Estados Unidos, más de 18 millones de personas tienen problemas para crear o formar sonidos del habla.
“ Esta tecnología permite comunicarse de forma más natural, utilizando únicamente los movimientos de la boca, cuando quieran y donde estén”, afirma Montserrat Ramírez De Ángel, una bioingeniera que cursa su doctorado en la KAUST, bajo la supervisión de Khaled Salama.
El sistema combina pieles magnéticas portátiles con aprendizaje automático para rastrear los movimientos de la boca y reconstruir el habla.
La primera piel artificial de su tipo desarrollada por Abdullah Almansouri en el laboratorio de Salama es segura y cómoda de usar, se puede modificar para darle cualquier forma y tamaño y no requiere una conexión por cable a otros dispositivos.
Contiene micropartículas magnetizadas que, cuando se combinan con sensores magnéticos, pueden medir la vibración, el tacto y el movimiento.
Trabajos anteriores han demostrado cómo la piel magnética puede utilizarse para rastrear expresiones faciales en personas con cuadriplejia, ayudándolas a controlar los movimientos de la silla de ruedas.
La piel también puede rastrear los movimientos oculares, lo que podría utilizarse para analizar patrones de sueño o interactuar con máquinas sin hacer contacto.
“Cuando probamos muestras de piel magnética alrededor de la boca, nos dimos cuenta de que podía ‘leer’ con precisión los movimientos involucrados en la producción del habla, explica Ramírez De Ángel.
AM2S-SR, ha sido diseñado para ayudar a personas con trastornos de la voz causados por daños físicos o funcionales, que afectan el movimiento del aire desde los pulmones a las cuerdas vocales, la garganta, la nariz, la boca o los labios.
El sistema consta de dos parches magnéticos para la piel que se colocan cerca del labio inferior. A medida que el usuario habla, la piel artificial se mueve, lo que provoca cambios en el campo magnético que rodea la boca.
Estos cambios son detectados por sensores (dos magnetófonos colocados a cada lado de la cara) que transmiten los datos a una unidad central donde se procesan y analizan utilizando un algoritmo de aprendizaje automático, que puede predecir las palabras y letras deseadas.
Las palabras predichas se exportan luego a una pantalla o a unos altavoces.
Sorprendentemente, AM2S-SR logró una tasa de éxito del 94,96 % en la identificación de todas las letras del alfabeto inglés.
Las personas con un trastorno de la voz o de los sonidos del habla (SSD, por sus siglas en inglés) (es decir, personas afónicas o mudas) pueden tener cualquier combinación de dificultades con la percepción, la articulación/producción motora y la fonotáctica, lo que puede afectar la inteligibilidad y aceptabilidad del habla, encontrando así un desafío para comunicarse con el público.
La incapacidad para hablar es el resultado de varios fenómenos diferentes, puede estar originado por una interrupción en el proceso neurológico, pérdida de la voz, parálisis por lesión o un trastorno motor del habla caracterizado como una debilidad o incapacidad para controlar los músculos del habla.
Los niños con SSD a menudo no reciben educación y aquellos que la reciben tienen un rendimiento inferior al de sus compañeros, lo que posteriormente obstaculiza sus perspectivas como adultos.
Para comunicarse, los pacientes con SSD suelen emplear intérpretes de lengua de signos o recurrir a la lectura de labios o la vocalización.
Aunque existe una lengua de signos internacional, se practican más de 300 lenguas de signos diferentes, lo que hace que la estandarización no sea práctica.
Además, la mayoría de la población no puede entender el lenguaje de señas (por ejemplo, menos del 0,2% de la población en los Estados Unidos entiende el lenguaje de señas), lo que dificulta que las personas afectadas por SSD se comuniquen con el público.
El AM2S-SR combina la inteligencia de ML con la practicidad de una piel magnética transpirable, biocompatible y extremadamente flexible.
El sistema del dispositivo ofrece un nuevo enfoque para seguir el movimiento de la boca. Combinado con ML, permite la detección y predicción de las letras pronunciadas, permitiendo a los pacientes con SSD tener una conversación natural con el público de forma verbal y visual.
Concepto
El AM2S-SR es una solución integral que permite a los pacientes con SSD hablar usando la boca y tener una conversación más natural con otras personas de forma verbal y con facilidad. El AM2S-SR consta de:
- cubiertas magnéticas (es decir, un compuesto magnético biocompatible, altamente flexible y estirable) adheridas a diferentes lugares cerca de los labios,
- dos magnetofonos (es decir, rastreadores de campo magnético) con sensores de campo magnético integrados colocados en frente de los labios para rastrear la variación del campo magnético,
- una unidad principal con un microcontrolador incorporado,
- un algoritmo ML para la reconstrucción de letras,
- una pantalla o altavoz para interacción verbal y visual.
El funcionamiento del AM2S-SR es el siguiente: mientras el usuario habla, los labios se mueven y la piel magnética adherida también se mueve.
Como consecuencia, cambia el campo magnético que rodea la boca.
Los sensores de campo magnético de los Magnetphones miden estos cambios y los datos se transmiten a la unidad principal para su posterior procesamiento.
Después de eso, los datos procesados se analizan utilizando el algoritmo ML para predecir las palabras y letras deseadas.
Finalmente, las palabras predichas se exportan visualmente en una pantalla o verbalmente mediante parlantes.
La piel magnética
La colocación correcta de la piel magnética es en la línea donde se unen el labio cutáneo inferior y su bermellón. El propósito de esta ubicación es capturar el movimiento de los labios y traducirlos en variaciones únicas del campo magnético.
Además, la principal división en la detección del habla se da entre vocales y consonantes.
La ubicación de la piel magnética debe elegirse en un lugar donde se puedan rastrear el mayor número posible de letras mientras se habla, incluso si el paciente tiene cuerdas vocales lesionadas, y tratar de evitar la detección de movimientos o actividades comunes como reír, tragar o estornudos; además, es deseable que la ubicación no moleste o incomode al usuario.
El teléfono magnético
El Magnetphone consta de un sensor de campo magnético de 3 ejes para rastrear el movimiento de los labios en tres dimensiones (es decir, planos coronal, sagital y transversal).
Se colocan dos Magnetphones a los lados de los labios (es decir, uno a cada lado de la cara), cada uno de los cuales consta de un sensor de campo magnético de 3 ejes para rastrear el movimiento 3D de los labios (es decir, planos coronal, sagital y transversal). Esta configuración de dos Magnetphones proporciona una mejor relación señal-ruido y permite la detección del movimiento asimétrico de los labios,
La unidad principal
La unidad principal actúa como el eje central del AM2S-SR, que recibe los datos de los magnetófonos y los combina en una matriz de vectores. Consta de un microcontrolador y está interconectada con el Magnetphone mediante un protocolo de circuito integrado.
La comunicación verbal natural para los pacientes con SSD ahora es factible gracias a los avances en las pieles artificiales portátiles y el aprendizaje automático.