¿El fin de los menús? Así es la IA de Apple que ‘ve’ tu pantalla y pulsa los botones por ti

Hasta ahora, Siri era una voz que abría apps o ponía alarmas. Pero Apple ha publicado los detalles de Ferret-UI Lite, un modelo de IA «compacto» de 3.000 millones de parámetros que cambia las reglas del juego. No solo escucha; ahora Siri puede ver tu pantalla, entender dónde están los botones y ejecutar tareas complejas dentro de tus aplicaciones favoritas.

¿Cómo funciona el ‘ojo’ de Apple?

Lo increíble de Ferret-UI Lite es su técnica de «Zoom-in». A diferencia de otras IA que se pierden en pantallas pequeñas, el modelo de Apple:

  1. Hace una predicción inicial de dónde está el elemento que buscas.
  2. Recorta y amplía esa zona de la pantalla.
  3. Vuelve a analizarla con una resolución altísima para no fallar el clic. Es, literalmente, como si la IA tuviera una lupa para pulsar exactamente donde debe.

Pequeño pero matón: 24 veces más eficiente

No te dejes engañar por el apellido «Lite». A pesar de su tamaño reducido (diseñado para no fundir la batería de tu iPhone), Ferret-UI Lite ha demostrado en los benchmarks (ScreenSpot-V2) que puede superar a modelos que son hasta 24 veces más grandes. Esto es gracias a su entrenamiento con datos reales y sintéticos de interfaces de iPhone, Android y Web.

La privacidad como bandera

Lo mejor de todo es que Ferret-UI Lite es un agente local. Todo lo que «ve» en tu pantalla (tus mensajes, tu banco, tus fotos) se procesa dentro del chip de tu iPhone. Nada sale a los servidores de Apple, cumpliendo la promesa de privacidad que diferencia a los de Cupertino de la competencia.

Conclusión: El iPhone que se usa solo

Estamos ante el primer paso para un iPhone que realmente nos ahorre tiempo. ¿Imaginas decirle a Siri: «Reserva mesa para dos el viernes en el italiano de siempre y mándale la confirmación a mi pareja»? Con Ferret-UI Lite, eso ya no es ciencia ficción; es el código que ya está corriendo en los laboratorios de Apple Park.

Apple ha entendido que el futuro no es chatear con una IA, sino que la IA trabaje por ti. Con Ferret-UI Lite, han construido el puente perfecto entre nuestras apps y nuestra voz. Puede ser el movimiento más inteligente de Apple en años. ¿Te sientes cómodo dejando que una IA vea todo lo que haces en pantalla para ayudarte con tus tareas diarias? Suscríbete a nuestro canal de YouTube, síguenos en Instagram y únete a la comunidad en Facebook y no te pierdas ninguna noticia.

Alfredo Santiago Martín
Alfredo Santiago Martín
Ingeniero Químico, Máster en Aplicaciones Multimedia por la UOC y un apasionado de la Ciencia y de la Tecnología desde que tiene conocimiento de causa. Se define como un Geek en un mundo imperfecto. Ciudadano del mundo y nómada por suerte, su hábitat natural transcurre entre ordenadores y máquinas con muchos cables y botones. CEO y Fundador de GurúTecno.

Últimos artículos

1.330 Seguidores
Seguir

Related articles

Cuéntanos tu opinión

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.