+55,8%
GitHub / Microsoft Research · 2023 · Peng, Kalliamvakou, Cihon, Demirer
El grupo con acceso a GitHub Copilot completó la tarea un 55,8% más rápido que el grupo de control.
Experimento controlado (RCT) con desarrolladores de software reclutados a los que se pidió implementar un servidor HTTP en JavaScript lo más rápido posible. Se midió el tiempo de compleción del grupo con Copilot frente al grupo sin él.
Matiz: Es una única tarea de laboratorio bien acotada, no trabajo real en un codebase de producción, y los autores trabajan en GitHub/Microsoft, el vendor de la herramienta.
Cómo lo aplicamos: La ganancia grande aparece en tareas bien delimitadas. Por eso enseñamos a trocear el trabajo en specs pequeñas y acotadas antes de dárselas a los agentes: la aceleración de laboratorio solo se traslada a producción si la tarea se le parece.
Leer el estudio →+25,1%
Harvard Business School / BCG · 2023 · Dell'Acqua et al. (Organization Science)
En 18 tareas dentro de la frontera de capacidades de la IA, los consultores con GPT-4 completaron un 12,2% más de tareas, un 25,1% más rápido y con una calidad un 32% mayor de media.
Experimento de campo prerregistrado con 758 consultores de BCG asignados aleatoriamente a sin IA, GPT-4, o GPT-4 con introducción a prompting, sobre tareas realistas de consultoría (creativas y analíticas) con baseline previo de rendimiento.
Matiz: En una tarea compleja elegida fuera de la frontera de la IA, los sujetos con IA fueron un 19% menos propensos a producir soluciones correctas que los que trabajaron sin ella.
Cómo lo aplicamos: Entrenamos exactamente esa frontera: el criterio de qué delegar a la IA y qué no. En las formaciones se practica a reconocer cuándo la tarea está dentro de sus capacidades y cuándo te va a llevar, con mucha confianza, al sitio equivocado.
Leer el estudio →+14%
NBER · 2023 · Brynjolfsson, Li, Raymond
El acceso a un asistente de IA generativa aumentó un 14% de media los casos resueltos por hora en soporte al cliente, con un +34% en agentes novatos o de baja cualificación.
Estudio del despliegue escalonado de un asistente conversacional basado en IA generativa con datos de 5.179 agentes de soporte al cliente. La productividad se midió como casos resueltos por hora.
Matiz: El efecto medio esconde una fuerte heterogeneidad: casi todo el beneficio está en los novatos y el impacto en agentes experimentados y cualificados es mínimo.
Cómo lo aplicamos: La IA rinde más cuando lleva dentro el criterio de los mejores. En las transformaciones codificamos el saber sénior del equipo —specs, contexto, guardrails— para que la herramienta eleve a todo el equipo, no solo asista a quien ya sabía.
Leer el estudio →hasta 2x
McKinsey Digital · 2023 · Karaci Deniz, Gnanasambandam, Harrysson et al.
Con IA generativa, documentar código se completó en la mitad del tiempo, escribir código nuevo en casi la mitad, y refactorizar en casi dos tercios del tiempo — hasta el doble de rápido en tareas comunes.
Estudio de laboratorio de McKinsey con más de 40 de sus desarrolladores en EE. UU. y Asia, que durante varias semanas realizaron tareas de generación, refactorización y documentación de código, alternando entre grupo con dos herramientas de IA y grupo de control.
Matiz: En tareas de alta complejidad el ahorro cayó por debajo del 10%, y a los desarrolladores con menos de un año de experiencia algunas tareas les llevaron un 7-10% MÁS tiempo con las herramientas; además es un estudio interno de consultora, no peer-reviewed.
Cómo lo aplicamos: El retorno depende de la tarea y del nivel de partida — por eso medimos Tech Fluency y AI Fluency antes y después de formar, y priorizamos las tareas donde el retorno es real en vez de prometer el doble en todo.
Leer el estudio →
