Linux Foundation: el 25% de las pull requests sería «AI slop» pese al ahorro de tiempo

Linux Foundation: el 25% de las pull requests sería «AI slop» pese al ahorro de tiempo

Linux Foundation Research ha publicado un estudio sobre el impacto de la inteligencia artificial generativa en los proyectos de código abierto, revelando una situación contradictoria: las herramientas de IA permiten acelerar numerosas tareas de desarrollo, pero también están incrementando el trabajo de los responsables de revisar las contribuciones. Según las estimaciones recogidas, el 25% de las pull requests recibidas corresponde a aportaciones de baja calidad, conocidas como «AI slop».

La investigación también señala que el 59% de los mantenedores ha observado un aumento de las contribuciones, mientras que los desarrolladores declaran reducciones del tiempo necesario para determinadas tareas de hasta el 52%. Sin embargo, solo el 35% de los proyectos dispone de políticas formales que permiten el uso de IA generativa, reflejando una diferencia importante entre la adopción de estas herramientas y las normas destinadas a controlar sus resultados.

Una de cada cuatro pull requests se considera código de IA de baja calidad

Uno de los resultados más relevantes del informe es que los mantenedores estiman que aproximadamente el 25% de las pull requests recibidas puede clasificarse como «AI slop», una expresión utilizada para describir contribuciones generadas mediante IA que presentan problemas de calidad y requieren trabajo adicional de revisión.

La proporción aumenta hasta el 31% en los proyectos de mayor tamaño, donde también se registra un incremento más acusado del volumen de contribuciones. En este grupo, el 69% de los mantenedores afirma haber recibido más aportaciones desde la popularización de las herramientas de programación generativa, frente al 59% registrado en el conjunto de participantes.

Conviene precisar que el 25% es una estimación basada en las respuestas de los mantenedores, no el resultado de una auditoría individual de todas las pull requests publicadas en plataformas de desarrollo. Tampoco significa que una cuarta parte de todo el código generado mediante IA sea defectuoso, puesto que el estudio se refiere a las contribuciones entrantes consideradas de baja calidad.

El problema es especialmente relevante en proyectos comunitarios. Generar una modificación mediante IA puede resultar mucho más rápido que comprobar su funcionamiento y su adecuación al código existente. Si aumenta el número de propuestas sin una verificación suficiente, parte del tiempo ahorrado por quienes contribuyen termina convirtiéndose en trabajo adicional para los mantenedores, que deben revisar, solicitar correcciones o rechazar esos cambios.

La IA reduce hasta un 52% el tiempo de programación, pero no siempre mejora la productividad

El informe también identifica beneficios significativos en diferentes actividades de desarrollo de software libre. Los participantes estiman reducciones medias del tiempo necesario que oscilan entre el 19% en las discusiones de propuestas y el 52% en la escritura de código, una diferencia que muestra cómo el impacto de estas herramientas depende del tipo de trabajo realizado.

La programación es una de las actividades donde la automatización puede resultar más útil, especialmente cuando permite generar estructuras repetitivas o acelerar la preparación de cambios. Sin embargo, escribir código más deprisa no equivale necesariamente a completar antes una contribución, ya que posteriormente deben comprobarse su funcionamiento, compatibilidad y mantenimiento.

De hecho, el 21% de los encuestados afirma que las tareas de elevada complejidad requieren más tiempo cuando utiliza IA generativa. Este resultado introduce una limitación importante: cuando el problema exige comprender numerosas dependencias o analizar comportamientos específicos, revisar y corregir las respuestas del modelo puede consumir más tiempo que resolverlo directamente.

Los desarrolladores también explican cómo aprovechan el tiempo que consiguen ahorrar. El 66% lo dedica a reducir deuda técnica, mientras que el 63% trabaja en nuevas funciones y el 58% lo emplea en formación y aprendizaje. Son actividades que pueden beneficiar a los proyectos a largo plazo, especialmente cuando permiten atender tareas de mantenimiento que anteriormente quedaban pendientes.

No obstante, estas cifras reflejan la experiencia declarada por los participantes y no constituyen una medición universal del rendimiento de las herramientas de IA. El estudio muestra ventajas concretas, pero también evidencia que su utilidad depende de la complejidad de las tareas y de la capacidad de los desarrolladores para verificar los resultados.

Linux Foundation: el 25% de las pull requests sería «AI slop» pese al ahorro de tiempo

Solo el 35% de los proyectos dispone de políticas formales que permiten utilizar IA

La adopción de herramientas generativas también está avanzando más rápido que las normas de colaboración. Según Linux Foundation Research, el 35% de los proyectos dispone de una política formal que permite utilizar IA, mientras que el 32% no tiene ninguna política y tampoco contempla establecerla.

Esta ausencia de criterios comunes puede generar conflictos sobre qué contribuciones deben aceptarse, cómo declarar la utilización de modelos generativos o quién debe responsabilizarse de verificar los cambios. Las discusiones aparecidas en comunidades como KDE y Godot reflejan parte de estas dificultades, especialmente ante la llegada de propuestas cuyo autor no siempre puede explicar correctamente el código presentado.

El estudio señala que el 61% de los colaboradores realiza revisiones detalladas y pruebas funcionales completas del código generado mediante IA antes de enviarlo. Sin embargo, la declaración de asistencia mediante estas herramientas continúa siendo irregular, lo que dificulta establecer prácticas homogéneas entre proyectos con procedimientos de revisión diferentes.

La cuestión no se limita a identificar si un fragmento fue escrito por una persona o por un modelo. Una pull request necesita cumplir los requisitos técnicos del proyecto independientemente de cómo se haya generado su contenido. Por eso, la investigación recomienda reforzar las políticas de contribución, establecer criterios de atribución y exigir que los autores comprueben y documenten adecuadamente sus modificaciones antes de enviarlas.

El 53% de los mantenedores no considera que la IA haya mejorado la confianza

Los resultados también muestran diferencias entre accesibilidad y confianza. El 71% de los mantenedores considera que los agentes de IA reducen las barreras de entrada al desarrollo de código abierto, facilitando que más personas participen en proyectos comunitarios. Sin embargo, el 53% discrepa de que estas herramientas hayan mejorado la confianza dentro de las comunidades.

La formación de nuevos colaboradores tampoco presenta una valoración uniforme. El 46% de los mantenedores cree que la IA aumenta la necesidad de ofrecer acompañamiento y mentoría, mientras que el 32% considera que esa necesidad disminuye. La diferencia refleja que facilitar la generación de código no implica necesariamente adquirir los conocimientos necesarios para comprenderlo, mantenerlo o integrarlo correctamente.

El principal desafío que plantea el estudio es evitar que las mejoras individuales de productividad se traduzcan en una mayor carga colectiva de mantenimiento. La IA puede acelerar la preparación de contribuciones y facilitar la participación, pero esos beneficios dependen de que el código recibido sea verificable y cumpla los requisitos de cada proyecto.

Para Linux Foundation Research, la prioridad debe situarse en unas políticas claras, una revisión técnica responsable y una mayor transparencia sobre las contribuciones asistidas por IA. Los resultados no justifican considerar problemático todo el código generado mediante estas herramientas, pero sí muestran que aumentar la cantidad de pull requests carece de valor si los mantenedores deben invertir cada vez más recursos en comprobar su calidad.

Vía: TechPowerUp

Sobre el autor