El Crecimiento Exponencial de la IA

La inteligencia artificial está avanzando a un ritmo sin precedentes. Cada pocos meses vemos nuevos modelos que superan a sus predecesores, pero ¿cómo podemos medir este avance de manera significativa? Un nuevo estudio propone una métrica fascinante: la longitud de las tareas que los sistemas de IA pueden completar de forma autónoma.

Una reciente investigación revela un patrón alarmante: la longitud de tareas que los modelos de IA pueden completar se duplica aproximadamente cada 7 meses. Esta tendencia ha sido consistente durante los últimos 6 años.

Si esta progresión continúa, en menos de cinco años podríamos ver agentes de IA capaces de completar independientemente gran parte de las tareas de software que actualmente requieren días o semanas para los humanos.

¿Has notado que las IAs actuales son extraordinarias para algunas cosas pero sorprendentemente limitadas para otras? Esta investigación ayuda a explicar esta aparente contradicción:

• Los modelos actuales superan a los humanos en predicción de texto y tareas de conocimiento
• Obtienen mejores resultados que expertos en problemas tipo examen, a una fracción del coste
• Funcionan como herramientas útiles en muchas aplicaciones específicas

Sin embargo:

• No pueden llevar a cabo proyectos sustanciales por sí mismos
• Son incapaces de manejar de forma fiable incluso trabajos relativamente sencillos basados en computadora
• No pueden sustituir directamente el trabajo humano en muchos contextos

El estudio muestra que el tiempo que necesita un experto humano para completar una tarea predice fuertemente el éxito del modelo en esa misma tarea:

• Tareas de menos de 4 minutos: los modelos actuales tienen casi 100% de éxito
• Tareas de más de 4 horas: menos del 10% de éxito

Para cada modelo, podemos caracterizar sus capacidades determinando "la longitud (para humanos) de las tareas que el modelo puede completar con éxito con una probabilidad del x%".

Utilizando una probabilidad de éxito del 50% como referencia, el estudio encontró que los mejores modelos actuales (como Claude 3.7 Sonnet) tienen un "horizonte temporal" de aproximadamente una hora.

Esto explica por qué, a pesar de su rendimiento sobrehumano en muchas pruebas, estos modelos no parecen ser sólidamente útiles para automatizar partes del trabajo diario de las personas: pueden realizar algunas tareas que incluso a los expertos humanos les llevan horas, pero sólo pueden completar de manera confiable tareas de hasta unos pocos minutos de duración.

Si la tendencia de los últimos 6 años continúa hasta finales de esta década, los sistemas de IA de vanguardia serán capaces de llevar a cabo proyectos de un mes de duración de forma autónoma. Esto tendría enormes implicaciones, tanto en términos de beneficios potenciales como de riesgos.

La pendiente de la tendencia significa que nuestras previsiones sobre cuándo llegarán diferentes capacidades son relativamente robustas incluso ante grandes errores de medición. Por ejemplo, si las mediciones absolutas están equivocadas por un factor de 10x, eso solo cambia el tiempo de llegada en unos 2 años.

Esta investigación tiene importantes implicaciones para benchmarks, previsiones y gestión de riesgos de IA:

• Para evaluaciones: Medir el rendimiento de la IA en términos de la longitud de las tareas que puede completar proporciona una interpretación significativa del rendimiento absoluto, no solo del rendimiento relativo.
• Para previsiones: Existe una tendencia exponencial bastante robusta en un parámetro que importa para el impacto en el mundo real. Esta métrica permite hacer predicciones más precisas sobre las capacidades futuras.
• Para estrategia: Si diriges un equipo o empresa, deberías empezar a prepararte para un futuro donde las IAs puedan manejar proyectos cada vez más largos y complejos.

1. Identifica procesos en tu organización que podrían beneficiarse de la automatización mediante IA

2. Experimenta temprano con las capacidades actuales para estar listo cuando lleguen las más avanzadas

3. Desarrolla habilidades complementarias que serán valiosas junto a la IA

4. Mantente informado sobre los avances en capacidades de IA para anticipar cambios en tu industria

Esta investigación no solo nos ayuda a entender las capacidades actuales de la IA, sino que también nos proporciona una hoja de ruta para lo que está por venir. La pregunta ya no es si la IA podrá realizar tareas complejas, sino cuándo lo hará y cómo nos adaptaremos a ese cambio.

¿Estás preparado para un futuro donde la IA pueda manejar proyectos de semanas o meses de duración? ¿Cómo cambiaría eso tu trabajo o negocio?

Un saludo y nos vemos pronto,

Victor Blanco tu estratega digital

Basado en la investigación "Measuring AI Ability to Complete Long Tasks"