En Baufest buscamos mejorar la vida con tecnología, por lo que nos encontramos en la búsqueda de un Especialista LLMOps Sr para sumarse a un importante proyecto bancario.

Responsabilidades:

• Monitorear el rendimiento de modelos de lenguaje en entornos de producción, asegurando estabilidad y eficiencia operativa.
• Evaluar y optimizar la calidad de las respuestas generadas por los LLMs mediante las métricas propiadas.
• Implementar herramientas de observabilidad y diagnóstico para detectar degradaciones en el rendimiento y prevenir problemas en modelos en producción.
• Utilizar plataformas especializadas como Azure AI Evaluation, Ragas, LangSmith, etc para la evaluación sistemática de los modelos.
• Analizar grandes volúmenes de datos de interacción con modelos para identificar patrones de error, sesgos y oportunidades de mejora.
• Diseñar estrategias de evaluación automatizada y frameworks de prueba para realizar comparaciones entre versiones de modelos y asegurar mejoras progresivas.
• Colaborar con equipos de MLOps y desarrollo para definir procesos de validación antes de la implementación de nuevas versiones de modelos.
• Generar reportes claros y detallados sobre el desempeño de los modelos, presentando hallazgos a stakeholders clave y proponiendo ajustes para optimización.
• Integrar prácticas de MLOps enfocadas en LLMs, incluyendo versionado de modelos, pruebas continuas y mecanismos de recolección de feedback de usuarios.

Requisitos Principales:

• Perfil Senior con amplia experiencia en roles similares. 
• Experiencia en desarrollo, evaluación y monitoreo de modelos de IA generativa, especialmente en producción.
• Manejo de métricas clave para evaluar la calidad de respuestas de LLMs.
• Familiaridad con herramientas de evaluación como como Azure AI Evaluation, Ragas, LangSmith, etc.
• Conocimiento en MLOps, incluyendo pruebas automatizadas y versionado de modelos.
• Capacidad de procesar y analizar datos de evaluación, identificando tendencias en la calidad de respuesta y rendimiento de modelos.
• Conocimientos en Python y frameworks de IA para realizar pruebas y análisis de modelos.
• Experiencia en el uso de plataformas en la nube como Azure para la implementación y monitoreo de modelos de IA.
• Inglés nivel B2 o superior (Deseable).

Te ofrecemos: