Se trata del proyecto Siceman (Sistema Cibernético Experto para la captación, almacenamiento, gestión y transferencia del conocimiento en el Mantenimiento de Aeronaves Militares),  exportable a otras áreas como la automoción o la aeronáutica civil.

El Grupo de Investigación sobre Tecnologías de la Información para la Digitalización 3D de Objetos Complejos (Tidop) de la Universidad de Salamanca ha presentado el primer sistema inteligente de realidad virtual aumentada para la asistencia al operario en el desempeño de tareas de mantenimiento de los aviones F-18, en colaboración con la empresa líder en el sector de la aeronáutica ITP (Industria de Turbo Propulsores).

González Aguilera, responsable del grupo y director del Departamento de Ingeniería Cartográfica y del Terreno en la Escuela Politécnica Superior, prevé que la herramienta "ayudará significativamente en la toma de decisiones relacionadas con el mantenimiento del emblemático cazabombardero", así como en las labores de entrenamiento de los operarios en el despiece de los diferentes componentes mecánicos del avión, "agilizando procesos y ahorrando costes en tareas de gran complejidad".

Tiempo real

Con la toma de datos a través de distintos sistemas de captura, que incluyen fotogrametría-visión computacional, un brazo robótico, gaming sensor y luz estructurada, se creen modelos tridimensionales que "proporcionan un entorno virtual en tiempo real" para el desempeño de dos de las tareas fundamentales a testar en estas aeronaves, como son "el mantenimiento del paquete de frenos y la compuerta de aterrizaje".

Además, el sistema presenta dos vertientes y puede utilizarse para brindar, por una parte, asistencia directa al profesional en sus labores de reconocimiento, o bien explotarlo en su modo más didáctico y enfocarlo al entrenamiento virtual del alumno en las tareas de montaje, desmontaje y la inspección y reparación de piezas.

En cuanto a las tareas de supervisión en el hangar, el operario podrá ejecutar su labor provisto de unas gafas tipo google glasses y un dispositivo electrónico en su antebrazo que le guiará durante todo el proceso. Podrá seguir las instrucciones indicadas a través de las gafas, de manera sencilla, e incluso empleando comandos de voz. El visor, con la ayuda de la tableta, será el encargado de reconocer los elementos a revisar, previamente modelados e insertados en el sistema de realidad virtual.

El proyecto Siceman ha facilitado que los investigadores desarrollen la librería 'Retrack 3D' (Recognition and Tracking in 3D), que proporciona capacidades de reconocimiento de objetos en tiempo real. Lo detallado de los descriptores y los elementos que la componen permite la identificación “de todas y cada una de las piezas y tareas a desempeñar, indicando los pasos sistemáticos pautados para cada procedimiento”.

Por otra parte, también ofrece la interesante posibilidad de ser ejecutado a modo de simulador en el aula para que el alumno pueda entrenar, en esa realidad virtual, tareas concretas. Además de poder grabar sus sesiones de entrenamiento podrá beneficiarse del "feedback resultante al contrastar sus progresos con las tareas realizadas por los operarios expertos que, almacenadas también en el sistema, le servirán como modelos de referencia", según explica González Aguilera.

También destaca como uno de los grandes desafíos a los que se enfrentaron para la codificación de toda esta realidad compleja fue "la dotación de una semántica apropiada y clara que incorporase todas esas reglas de conocimiento, tanto formal como informal, que el experto operario posee y aplica".

Pericia profesional

"Enriquecer el sistema con la pericia adquirida por el técnico en su trayectoria profesional", ese que “no se encuentra recogido en ningún manual”, y poder transferirlo a las tareas de instrucción fue “uno de los grandes retos en el proyecto”, destaca.

El Siceman (Sistema Cibernético Experto para la captación, almacenamiento, gestión y transferencia del conocimiento en el Mantenimiento de Aeronaves Militares) se estructura en cuatro módulos independientes y una librería, para crear -a través de la combinación de la información recopilada en las distintas fases de modelado, ensamblaje e incorporación a un sistema de realidad virtual y aumentada- una herramienta “redonda que, en tres dimensiones y a escala, proporciona un entorno idóneo de asistencia o instrucción”, en palabras del profesor de la Usal.

Entre los hitos destacados del trabajo figura la obtención en 3D de las piezas y objetos del F-18, lo que supuso la modelización en torno a 200 objetos en la propia base aérea -con la colaboración de los mecánicos que los instalan- para alimentar así el sistema de reconocimiento y realidad aumentada.

Al respecto, hay que destacar en la fase de modelado que los procesos desarrollados garantizan resoluciones equivalentes al tamaño del píxel de la imagen y superiores a muchos sistemas de escaneo láser.

Desde 2013

La iniciativa, que comenzó a desarrollarse en 2013 con un presupuesto de 2,5 millones de euros, cofinanciado por el Ministerio de Economía y Competitividad y la Unión Europea a través del Feder, ha sido validada con éxito en la Maestranza Aérea de Albacete -en dos casos para el estudio del paquete de frenos y el sistema de aterrizaje de uno de los F-18 en proceso de reparación- y su prototipo acaba de ser presentado en 2016 en la Base Aérea de Cuatro Vientos (Madrid).

Esta ha sido la primera vez que se han utilizado tecnologías de realidad virtual aumentada en el ámbito del Ejército del Aire para este tipo de tareas y ha servido como experiencia piloto para confirmar la aplicabilidad de estos desarrollos digitales en el ámbito de la enseñanza, mantenimiento y entrenamiento de las aeronaves militares, en concreto, y civiles, por extensión.

González Aguilera señala como las aplicaciones de la realidad virtual "son múltiples y se encuentran en un punto álgido de desarrollo". Este mismo sistema recién desarrollado puede seguir "implementándose y ser trasladado a otras áreas con ciertas características en común, como podría ser el sector de la automoción", e incluso a un sector tan diferente como el de la medicina para "crear entornos artificiales de calidad que permitan entrenar intervenciones quirúrgicas de precisión, disminuyendo así el riesgo para el paciente".