El proyecto INCLUVERSO 5G tiene como objetivo la investigación en tecnologías de XR y de telecomunicaciones 5G avanzado que permitan crear experiencias de comunicación inmersivas aplicadas a casos de uso de terapia, telepresencia y teleformación, de modo que sean aplicables a personas en situación de vulnerabilidad psicosocial, como un paso fundamental hacia el desarrollo de un Metaverso completamente inclusivo o Incluverso.
El desarrollo del proyecto implica abordar dos áreas tecnológicas: en primer lugar, diseñar la tecnología de red y de Edge necesaria para desplegar los servicios de XR; en segundo, diseñar y desarrollar un sistema de realidad extendida que, apoyado en dicha plataforma 5G, permita proporcionar servicios XR a población diversa y, muy en particular, a personas en situación de vulnerabilidad psicosocial.
En lo relativo al área de tecnología de red, el proyecto se va a centrar en los servicios avanzados 5G en la banda de 2300-2400 MHz para redes de comunicaciones móviles de banda ancha en régimen de autoprestación. Se desplegará una red móvil 5G, en banda N40, sobre la que se proporcionarán las aplicaciones inmersivas. Esta red incluirá también una plataforma de computación en el Edge y una arquitectura orientada a servicios que optimice el uso de las capacidades de red por parte de los servicios de realidad extendida.
En el proyecto se investigará también la relación entre la QoE y la QoS ofrecida por la red, y se investigarán posibles técnicas para controlar QoS/QoE basadas en network slicing, priorización, planificación de red (scheduling), etc. Para aquellas funcionalidades de red que no estén disponibles en los despliegues de 5G existentes, se utilizará el emulador de Nokia FikoRE, que permite emular distintas configuraciones de red.
La red 5G y los sistemas de Edge asociados servirán como base para el desarrollo de un sistema de Realidad Extendida que permita implementar los casos de uso de interés del proyecto. Este sistema incorporará las distintas tecnologías de XR e IA que sean precisas para construir la experiencia inmersiva. En primer lugar, se desarrollarán los contenidos y escenas inmersivas necesarias para el desarrollo de los casos de uso. Además, para mejorar la inmersión en el entorno, se investigará en algoritmos para que el usuario pueda ver su propio cuerpo dentro de la escena inmersiva. Para ello, se incorporarán algoritmos de segmentación semántica basados en visión estéreo egocéntrica. Partiendo de ellos, se investigará en tecnología para ver objetos de interés, integrarlos en la escena inmersiva e interactuar con ellos de forma natural, bien a través de segmentación semántica de los mismos, bien a través de marcadores fiduciarios. También se incorporará funcionalidad de telepresencia inmersiva: transmisión en tiempo real un lugar remoto, de modo que la persona en el entorno virtual pueda comunicarse con las que estén en el lugar remoto de la forma más natural posible. Finalmente, se investigará en la detección de biomarcadores digitales, bien con sensores en los cascos de realidad virtual, bien con dispositivos no invasivos, que se emplearán para entrenar mecanismos de regulación emocional, que proporcionen al usuario realimentación adecuada sobre su estado emocional o cognitivo.
Para que el desarrollo de INCLUVERSO 5G sea efectivo, es necesario disponer de esa diversidad desde el inicio, de modo que las distintas tecnologías puedan diseñarse siempre con la realimentación de sus posibles usuarios, y que se puedan validar de forma efectiva en casos de uso realistas. Para hacerlo posible, en el proyecto se contará con la participación de la Fundación Juan XXIII, que trabaja con personas con discapacidad intelectual y otras situaciones de vulnerabilidad psicosocial. Los casos de uso propuestos se validarán también como parte de los distintos servicios que proporciona la Fundación Juan XXIII:
- Terapia conductual y cognitiva. Orientado a las personas con mayor nivel de dependencia y, por tanto, con necesidades terapéuticas muy específicas. Los contenidos de XR son muy controlados y sistemáticos (estímulos específicos para la terapia), lo que facilita la investigación en tecnologías como la interacción o la regulación emocional.
- Telepresencia para pisos tutelados. Orientado a personas más independientes, pero que requieren de una tutela externa. Permite desarrollar tecnologías de XR dedicadas a la comunicación entre personas, como la telepresencia, favorecidas por el hecho de que siempre hay un profesional de apoyo (educador) en la evaluación.
- Teleformación para inserción laboral. Orientado a cualquier tipo de persona, aunque diseñado y evaluado con personas que presentan algún grado de discapacidad intelectual. Permite incorporar todas las tecnologías desarrolladas en el proyecto, en un entorno mucho menos controlado y, por tanto, validarlas para su uso general.
Como conclusión del proyecto, se elaborará una guía de recomendaciones y lecciones aprendidas para el desarrollo futuro de la tecnología, de modo que tenga en cuenta su aspecto inclusivo, en particular con relación a las personas en situación de vulnerabilidad psicosocial.