Cuando hace unos meses oíamos que fuentes internas de la compañía hablaban de que iOS 18 sería prácticamente la mayor actualización de la historia de Apple, quizá costaba un poco de creer. Hoy, con los papers de una buena cantidad de nuevas IAs ya publicados y viendo su potencial, es fácil imaginar que así sea. Es el caso de la última inteligencia artificial de la que Apple ha publicado, una que podría hacer que la accesibilidad del iPhone y Siri dieran un enorme y gigantesco paso hacia adelante.
Accesibilidad como nunca antes la habíamos visto
La reciente investigación de Apple, centrada en el desarrollo de Ferret-UI, una IA generativa diseñada para interpretar las pantallas de aplicaciones, promete abrir nuevas puertas hacia una accesibilidad sin precedentes en los dispositivos iOS.
La comprensión y el manejo de interfaces de usuario (UI por sus siglas en inglés) por parte de las IA tradicionales, basadas principalmente en Modelos de Lenguaje de Gran Escala, se han limitado hasta ahora al procesamiento de texto. Sin embargo, la nueva IA de Apple, Ferret-UI, amplía el espectro hacia los Modelos de Lenguaje Multimodal de Gran Escala, que también pueden interpretar información no textual, como imágenes, vídeo y audio. Este avance es crucial, ya que las pantallas de los iPhone presentan desafíos únicos para las IA, incluyendo variaciones en las proporciones de aspecto y la presencia de elementos visuales pequeños, como iconos y botones.
Ferret-UI destaca por su capacidad para adaptarse a estas particularidades, incorporando técnicas para ampliar y examinar detalladamente las interfaces que nos encontramos al usar aplicaciones o navegar por la red. Según leemos en el paper de Apple, esto se logra a través de un meticuloso proceso de recopilación de muestras de entrenamiento que abarca desde tareas elementales de la UI hasta funciones más complejas, permitiendo a la IA interpretar y, sobre todo, interactuar con las aplicaciones de manera efectiva.
La accesibilidad, por lo tanto, se encuentra muy cerca de un cambio casi completo de paradigma. Hasta ahora, eran los desarrolladores los encargados de facilitar al sistema la información de forma ordenada para que una app pudiera ser accesible. Ahora, el sistema se ocupará, dicho de forma simplificada, de recopilar esta información, de darle sentido y de permitir al usuario actuar sobre la aplicación en base a ella.
Por ejemplo, en lugar de depender de lectores de pantalla que verbalizan de forma lineal todo el contenido de una pantalla, Ferret-UI podría ofrecer resúmenes según el contexto o centrarse en ciertas secciones de la interfaz al mismo tiempo que permitirían luego ejecutar comandos específicos sobre el contenido.
Si nos llevamos a esta nueva IA al ámbito del desarrollo, los desarrolladores tendrían la posibilidad de utilizar Ferret-UI para probar la usabilidad y comprensibilidad de sus aplicaciones de forma rápida y económica, antes incluso de recurrir a pruebas de usabilidad con humanos. Parece un detalle menor, pero aceleraría el proceso de desarrollo sustancialmente, abarataría varios costes asociados y apoyaría la creación de aplicaciones más accesibles y fáciles de usar desde sus etapas iniciales.
Un súper Siri literalmente capaz de todo
Pero quizás la aplicación más interesante de Ferret-UI esté en Siri. Imaginemos un Siri capaz de interpretar y ejecutar tareas complejas dentro de las aplicaciones, como buscar y reservar vuelos, por ejemplo, todo mediante comandos de voz. Una simple conversación con el asistente de Apple podría apoyarse en cualquier aplicación instalada en nuestro teléfono para hacer algo que ahora no sería capaz de hacer. Las posibilidades son enormes y, según la implementación que haga Apple, es posible que ni siquiera tenga que aparecer la app en pantalla para conseguir esta interacción.
A lo largo del paper, el equipo de investigación de Apple ha sido realmente cuidadoso al no detallar específicamente cómo se aplicará esta tecnología, pero las posibilidades son realmente prometedoras. Desde mejorar la accesibilidad hasta redefinir por completo la interacción con nuestros dispositivos y hacer que Siri sea mucho, muchísimo, más capaz, Ferret-UI representa un avance realmente significativo.
Un avance que llegaría en iOS 18 que rápidamente se está postulando, ahora con pruebas específicas y no solo con rumores, en una actualización muy importante. Una que, a través de la IA, puede, no ofrecernos un chat como podría ser ChatGPT, sino transformar cómo interactuamos con nuestros dispositivos y también cómo accedemos y procesamos la información en nuestro día a día.
A medida que nos acercamos a la posible integración de estas tecnologías en iOS 18, estamos ante la perspectiva de una era en la que las barreras entre el usuario y la tecnología se disipan, haciendo de la interacción con nuestros dispositivos una experiencia más intuitiva, accesible y enriquecedora para todos.
