Fine-tuning de modelos abiertos con tus propios datos

Los grandes modelos de lenguaje llegan preentrenados con inmensas porciones de la internet pública. Esa amplitud los hace impresionantemente generalistas, pero generalista no es sinónimo de experto. Cuando tu empresa necesita un modelo que entienda tu taxonomía interna, escriba con tu estilo corporativo o razone sobre procesos propietarios, se abren tres caminos de adaptación: ingeniería de prompts, generación aumentada por recuperación (RAG) y fine-tuning. Cada uno tiene su lugar, y elegir el correcto — o la combinación adecuada — puede marcar la diferencia entre un prototipo y un sistema en producción. Privonis ayuda a organizaciones europeas a navegar esa elección y ejecutarla íntegramente en su propia infraestructura.

Tres caminos para la adaptación al dominio

La ingeniería de prompts no cuesta más que tiempo de prueba y error, pero choca contra un límite concreto: solo cabe cierta cantidad de contexto en una ventana, y el modelo puede carecer sencillamente del conocimiento de dominio que necesitas. El RAG sortea ese límite recuperando fragmentos relevantes de una base de conocimiento en el momento de la consulta y entregándolos al modelo. Es potente y sorprendentemente económico, pero la calidad de la recuperación limita la calidad de la respuesta: si no se encuentra el fragmento correcto, el modelo no puede razonar sobre él.

El fine-tuning adopta un enfoque diferente: actualiza los pesos del modelo con tu conjunto de datos curado para que el conocimiento del dominio se vuelva intrínseco. El resultado es un modelo que responde desde una experiencia interiorizada en lugar de fragmentos recuperados. Suele ofrecer mejor rendimiento en tareas sensibles al estilo, salidas estructuradas y flujos críticos en latencia donde no puedes permitirte un round-trip de recuperación adicional. La desventaja es el coste — tanto en tiempo de GPU como en preparación de datos —, por lo que conviene emplearlo cuando los otros dos métodos han tocado techo.

Cuándo el fine-tuning es la opción correcta

• Tus salidas deben seguir un formato preciso (notas clínicas, cláusulas legales, JSON estructurado) que las plantillas de prompt no pueden garantizar de forma fiable.
• El modelo carece sistemáticamente de vocabulario de dominio, acrónimos o nombres de producto que nunca aparecieron en su corpus de preentrenamiento.
• Los requisitos de latencia descartan un salto de recuperación en cada solicitud.
• Quieres comprimir un prompt complejo de múltiples ejemplos en comportamiento zero-shot para reducir coste y mejorar velocidad.
• Estás destilando un modelo grande en uno más pequeño y económico para despliegue en el borde o en instalaciones propias.

LoRA y QLoRA: fine-tuning sin presupuesto de centro de datos

El fine-tuning completo actualiza cada peso del modelo, lo que resulta prohibitivamente caro para modelos de decenas de miles de millones de parámetros. La adaptación de bajo rango (LoRA) sortea esto inyectando matrices entrenables pequeñas en las capas de atención mientras congela los pesos originales. El número de parámetros entrenables se reduce en un factor de 100 o más, y sin embargo el modelo resultante iguala o supera al fine-tuning completo en la mayoría de tareas. QLoRA añade cuantización: el modelo base congelado se carga en precisión de 4 bits, reduciendo de forma tan dramática los requisitos de memoria GPU que un modelo de 70.000 millones de parámetros puede entrenarse en una sola A100.

Con QLoRA, un equipo que dispone de una A100 puede hacer fine-tuning de un modelo abierto de última generación en una tarde, sin cuenta en la nube y sin que los datos abandonen el edificio.

Preparación de datos: el paso que lo decide todo

La calidad del modelo está acotada por la calidad de los datos. Antes de cualquier proceso de entrenamiento, Privonis trabaja con los clientes para curar un conjunto de datos supervisado de pares entrada-salida que representen exactamente el comportamiento deseado. Las fuentes habituales incluyen: interacciones con clientes revisadas, salidas del modelo corregidas, documentos anotados por expertos y datos sintéticos generados por un modelo instructor más potente y luego filtrados. El volumen importa menos que la diversidad y la corrección: mil ejemplos cuidadosamente revisados suelen superar a diez mil ruidosos. Los pipelines de limpieza gestionan deduplicación, recorte de longitud y normalización de formato antes del entrenamiento.

Evaluación: saber cuándo has terminado

Hacer fine-tuning sin una evaluación rigurosa es optimizar a ciegas. Un conjunto de evaluación reservado — nunca visto durante el entrenamiento — mide si el modelo ha generalizado o simplemente memorizado. Las métricas dependen de la tarea: coincidencia exacta y F1 para tareas de extracción, ROUGE para resumen, valoraciones de preferencia humana para generación abierta. Privonis ejecuta evaluaciones automatizadas tras cada checkpoint y detecta el olvido catastrófico — casos en los que el modelo gana habilidad en el dominio pero pierde razonamiento general — incluyendo una muestra de benchmark estándar en cada suite de evaluación.

Los pesos son tuyos

Este es el punto que a menudo se pierde en las discusiones sobre las API de fine-tuning alojadas en la nube: cuando haces fine-tuning a través de un servicio de terceros, los pesos resultantes pueden quedar bloqueados en ese proveedor. Con Privonis, el modelo base es de pesos abiertos, el proceso de entrenamiento ocurre en hardware que tú controlas, y el adaptador LoRA o el checkpoint fusionado es tuyo para conservar, versionar y desplegar donde elijas. Eso significa cero dependencia de proveedor, sin comisión por token en un modelo que pagaste por entrenar, y sin riesgo de que el proveedor reentrené con tus datos. Para empresas europeas que manejan información sensible, conservar los pesos no es un lujo, es un requisito de gobernanza.