En IAGT nos gusta explorar los límites de la innovación, y en nuestra última sesión de formación interna tuvimos la suerte de disfrutar de una presentación exclusiva: el proyecto fin de máster de Juan Carlos Gómez, nuestro responsable de Python y AWS. Un estudio apasionante sobre cómo diseñar una IA generativa personalizada que no solo sea capaz de generar código en Python, sino también de procesar entradas y validar su aplicabilidad. ¡Te contamos los puntos más destacados!
¿Por qué personalizar una IA generativa?
Todos hemos probado herramientas como GitHub Copilot, ChatGPT o Google Gemini, que han revolucionado la manera de programar, permitiendo ahorrar tiempo, evitar errores y optimizar procesos. Pero, ¿qué ocurre cuando necesitamos una solución específica? Por ejemplo, soporte para lenguajes no incluidos en los modelos existentes o funcionalidades completamente adaptadas a nuestras necesidades. Ahí es donde entra en juego la posibilidad de crear un sistema propio.
El estudio de Juan Carlos se centra precisamente en esto: entender y desarrollar los pasos necesarios para construir una IA generativa desde cero o adaptando un modelo preexistente a través de técnicas como el fine-tuning.
Pilares del desarrollo
1. Selección de arquitectura
El proyecto explora diferentes tipos de redes neuronales que han marcado hitos en la IA generativa:
- LSTM (Memoria a Corto Plazo): útil pero con grandes requisitos de datos y capacidad de cómputo.
- Transformers (2017): base de los modelos más avanzados como GPT.
- Fine-tuning de modelos existentes como Meta Llama 3: permite personalizar la IA para dominios específicos.
2. Dataset y entrenamiento
El acceso a datos de calidad es crítico. Se utilizaron recursos como BigCode, un dataset comunitario con más de 6,4 TB de código abierto. Además, se realizó un análisis exhaustivo para seleccionar datos actualizados y relevantes para Python.
3. Procesamiento del lenguaje
Para validar las entradas y garantizar que el modelo solo procese datos útiles, se usaron herramientas como SpaCy, que permiten vectorizar textos, eliminar ruido y calcular similitudes con un corpus predefinido.
Resultados destacados
- Desarrollo desde cero: Se utilizaron arquitecturas como LSTM y se concluyó que requería una alta demanda de recursos.
- Fine-tuning de Meta Llama 3: Aunque no permite uso comercial, fue ideal para demostrar el potencial del modelo personalizado.
- Validación de entradas: Se implementó un sistema que garantiza que solo las entradas válidas sean procesadas, ahorrando tiempo y consumo de recursos.
Aplicaciones prácticas
Este proyecto abre la puerta a múltiples posibilidades:
- Asistentes virtuales personalizados: adaptados a sectores concretos.
- Traducción de código a lenguajes no soportados actualmente.
- Procesamiento de lenguaje natural: aplicar restricciones para evitar malgasto de recursos.
- Generadores de documentación automatizados.
- Auto-completado de código específico para un proyecto.
Conclusiones y futuro
La investigación demuestra que, aunque el desarrollo de una IA generativa desde cero requiere una infraestructura robusta, el fine-tuning de modelos existentes es una solución práctica, eficiente y completamente personalizable.
2025 será clave en IAGT donde llevaremos más allá la aplicación de IA generativa, no solo para uso interno, sino también para el desarrollo de productos avanzados para nuestros clientes.
¿Quieres saber más? ¡Sigue atento a nuestras publicaciones!