Un equipo de investigadores propone una estrategia para contener
uno de los mayores riesgos del futuro de la inteligencia
artificial: que los modelos pierdan calidad al entrenarse con
contenido generado por otras máquinas.
Recreación artística de un cerebro de cristal (la
IA) que recibe un flujo ordenado de información que se degrada
progresivamente hasta convertirse en un "torbellino rojo" de
ruido digital (Foto: César Noragueda).
Durante décadas, aprender se ha entendido como un
proceso
acumulativo. Cuanta más experiencia incorpora una persona,
mayor suele ser su conocimiento. Ese mismo principio ha guiado el
desarrollo de la inteligencia artificial desde sus orígenes:
alimentar un sistema con enormes cantidades de información
debería
traducirse en respuestas progresivamente más precisas.
Sin embargo, la rápida expansión de herramientas capaces de
redactar
textos,
crear imágenes,
programar software o
producir vídeos ha abierto un escenario inédito. Una parte
creciente de Internet ya no nace directamente de la creatividad
humana, sino de
algoritmos entrenados con inmensos conjuntos
de datos. Ese caudal regresa después a la red, donde termina
mezclándose con recursos de muy diversa procedencia.
La consecuencia plantea una pregunta inquietante: ¿qué ocurrirá
cuando las futuras generaciones de inteligencia artificial
pasen
a nutrirse principalmente de información elaborada por otras
inteligencias artificiales? Un estudio publicado en
npj Artificial
Intelligence concluye que esa dinámica
puede
erosionar gradualmente su rendimiento, aunque también
describe una
estrategia capaz de contener ese fenómeno.
Cuando las copias empiezan a alimentarse de otras copias
Los grandes modelos lingüísticos
no interpretan el mundo como
lo hace una persona. Su funcionamiento descansa en la
detección
de regularidades estadísticas dentro de enormes corpus
documentales. A partir de millones de ejemplos, reconocen
qué
palabras suelen aparecer juntas, qué estructuras resultan más
probables y cómo completar una secuencia con la mayor precisión
posible.
Hasta hace pocos años, casi toda esa base
procedía de libros,
artículos periodísticos, revistas científicas, páginas web o
conversaciones escritas por seres humanos. Aquella variedad
ofrecía una representación extraordinariamente rica del lenguaje,
repleta de matices, excepciones y registros muy distintos.
Ese panorama empieza a modificarse con rapidez. Cada jornada
aparecen cantidades inmensas de publicaciones redactadas mediante
asistentes conversacionales, descripciones comerciales generadas
automáticamente, resúmenes elaborados por algoritmos, comentarios
sintéticos e
incluso páginas completas producidas sin
intervención directa de un autor. Poco a poco, ese caudal
pasa a integrar el inmenso
océano digital del que beberán las
próximas generaciones de modelos.
Los investigadores recurren a una comparación inspirada en la
endogamia.
No equiparan un sistema informático con una población biológica,
sino que utilizan esa analogía para ilustrar una idea sencilla:
cuando el intercambio queda restringido dentro de un mismo grupo,
la diversidad disminuye y determinados rasgos tienden a
consolidarse generación tras generación. En la inteligencia
artificial, el riesgo consiste en que
los algoritmos acaben
nutriéndose, cada vez más, de producciones creadas por otros
algoritmos.
Un desgaste que se manifiesta de forma paulatina
Ese comportamiento recibe el nombre de "
model collapes" o
"colapso del modelo". Lejos de describir un fallo repentino,
designa
una degradación progresiva. Cada nueva generación
entrenada con una proporción creciente de datos sintéticos
conserva
peor los ejemplos menos habituales,
intensifica patrones
excesivamente comunes y
renuncia a parte de la riqueza
estadística presente en el corpus inicial.
Una analogía ayuda a visualizar el fenómeno. Imaginemos que un
cuadro se fotografía una vez. Después, alguien retrata esa primera
copia. Más tarde, otra cámara reproduce la segunda imagen, y así
sucesivamente. Aunque cada reproducción parezca aceptable por
separado,
pequeños defectos terminan acumulándose hasta
alterar detalles que el original sí conservaba. Con estos
sistemas ocurre algo parecido: la información no desaparece de
golpe, pero
determinados matices se difuminan conforme una
generación toma como referencia a la precedente.
Los autores subrayan que
el inconveniente no radica en la
existencia de contenido sintético. Ese tipo de material
resulta útil para numerosas aplicaciones. La dificultad
surge
cuando su proporción aumenta hasta desplazar una parte
significativa de los textos, imágenes o registros creados
directamente por personas. En ese contexto, la arquitectura
acaba reforzando aquello que otras ya consideraban más probable,
reduciendo
paulatinamente la amplitud sobre la que construye sus
predicciones.
Las consecuencias van
mucho más allá de repetir expresiones
similares. El trabajo describe una pérdida progresiva de
representaciones poco frecuentes, precisamente las que permiten
responder correctamente a situaciones excepcionales o captar
relaciones menos evidentes. Dicho de otra manera,
el
conocimiento termina concentrándose alrededor de los casos más
comunes mientras las situaciones más raras van perdiendo
representación.
La inquietud aumenta porque
el volumen de información generada
automáticamente crece a gran velocidad. Cada respuesta
publicada en un foro, cada reseña automatizada, cada noticia
redactada por un asistente o cada descripción comercial
incorporada a una tienda digital
puede acabar incorporándose
al material empleado para entrenar futuras generaciones.
Una fórmula para preservar la variedad
Con ese escenario como punto de partida, el equipo creó una
familia de funciones de entrenamiento denominada "
Confidence-Aware
Loss" o "pérdida sensible al grado de confianza". Su
finalidad no consiste en impedir que un modelo utilice datos
sintéticos, sino en
modificar la relevancia que concede a
determinados ejemplos durante el aprendizaje.
Recreación artística de un túnel infinito de
pantallas de IA que muestra cómo un flujo digital se deteriora
gradualmente en sucesivas copias hasta acabar en caracteres
distorsionados y ruido (Foto: César Noragueda).
La propuesta parte de una observación sencilla. Cuando un modelo
encuentra secuencias extremadamente previsibles,
suele
atribuirles un grado muy elevado de confianza. Esas
respuestas, justo por resultar tan evidentes,
aportan poco
contenido nuevo. Si el entrenamiento insiste una y otra vez
sobre ese mismo tipo de patrones,
termina reforzando aquello
que ya domina mientras
concentra menos atención en los
casos capaces de enriquecer su representación del lenguaje.
Para evitarlo, los investigadores diseñaron una variante
denominada "
Truncated Cross-Entropy" o "entropía cruzada
truncada", que
reduce el peso de esas predicciones
excesivamente seguras. En lugar de tratar todos los ejemplos
por igual, el procedimiento
concentra una mayor parte del
esfuerzo en los fragmentos que todavía contienen información
valiosa. De ese modo, el modelo
deja de premiar de forma
desproporcionada lo más repetitivo y
conserva mejor la
diversidad estadística del conjunto de datos.
Un desafío que crecerá junto con Internet
Los ensayos mostraron
una mejora muy significativa. Según
los resultados, el método permitió que los modelos
soportaran
más de 2,3 veces una mayor proporción de información sintética
antes de manifestar los efectos característicos del colapso.
Eso no significa que el fenómeno desaparezca por completo, pero sí
que
retrasa notablemente su aparición, ampliando el margen
para combinar contenido humano y el generado automáticamente sin
perder rendimiento con la misma rapidez.
Otro aspecto destacable es que
los autores no se limitaron a
presentar esta propuesta. También publicaron un
banco de
pruebas abierto destinado a evaluar de forma sistemática
cómo evoluciona esa degradación
cuando cambia la proporción
entre material original y sintético. Contar con una
referencia común facilitará comparar futuras aproximaciones y
determinar con mayor precisión cuáles ofrecen mejores resultados.
La relevancia de esta investigación trasciende un nuevo
procedimiento matemático. En realidad,
anticipa una dificultad
que probablemente acompañará a la inteligencia artificial
durante los próximos años. La cantidad de contenido generado
automáticamente aumenta a tal velocidad que
distinguir entre
material producido por personas y por algoritmos será cada vez
más complicado.
Ese cambio plantea
un reto inédito para quienes diseñan
grandes modelos lingüísticos. Hasta ahora, la prioridad
consistía en reunir conjuntos de entrenamiento cada vez más
extensos. En adelante, quizá resulte igual de importante
conocer
la procedencia de esos datos y conservar suficiente diversidad
para impedir que las futuras generaciones acaben alimentándose
principalmente de información sintetizada por otras máquinas.
La inteligencia artificial ha demostrado una
extraordinaria
capacidad para aprender. Ahora empieza a revelar una
enseñanza menos intuitiva: la calidad del conocimiento
no
depende únicamente de cuánto se asimila, sino también de la
procedencia de aquello que actúa como maestro. En un futuro
donde
una parte creciente de Internet será escrita por
máquinas, el mayor desafío quizá no consista en producir más
información, sino en
evitar que los algoritmos acaben
encerrados en un inmenso circuito de adiestramiento sobre sí
mismos.
(Fuente: Muy Interesante / Xataka / varios /
redacción propia)
