LLMs Data Analyst | Senior (Hybrid/SP)

.

Responsabilidades e atribuições

• Desenvolver e evoluir soluções de IA Generativa para diferentes casos de negócio
• Projetar e implementar integrações com LiteLLM para orquestração de múltiplos provedores de LLM
• Definir estratégias de roteamento, fallback, observabilidade e governança de modelos
• Construir pipelines de dados para treinamento, avaliação e monitoramento de aplicações de IA
• Implementar práticas de LLMOps e MLOps, garantindo escalabilidade, confiabilidade e eficiência operacional
• Estruturar métricas, dashboards e indicadores para acompanhamento da performance dos produtos de IA
• Analisar utilização, qualidade das respostas, custos de inferência e eficiência dos modelos
• Identificar oportunidades de otimização de custos, considerando prompts, seleção de modelos, cache e estratégias de roteamento
• Apoiar times multidisciplinares na definição e adoção de boas práticas de arquitetura para soluções GenAI
• Atuar na evolução contínua da observabilidade, qualidade e performance das aplicações baseadas em LLMs.

Requisitos e qualificações

• Experiência sólida como Analista de Dados Sênior, Data Scientist, ML Engineer ou em funções correlatas
• Experiência prática em projetos de IA Generativa em ambiente corporativo
• Conhecimento avançado em LiteLLM
• Experiência com múltiplos provedores de LLM, como OpenAI, Azure OpenAI, Anthropic, Gemini ou similares
• Experiência com LLMOps e MLOps
• Domínio de Python aplicado a dados e soluções de IA
• Experiência com APIs REST e integração de serviços de IA
• Conhecimento em observabilidade, monitoramento e avaliação de aplicações baseadas em LLMs
• Experiência com AWS, Azure ou Google Cloud Platform
• Domínio de SQL e experiência com grandes volumes de dados
• Experiência na construção de dashboards, métricas e análises para produtos digitais
• Conhecimento de Git, CI/CD e versionamento de modelos e artefatos.