No Grupo Stefanini, acreditamos no poder da colaboração. Co-criamos soluções inovadoras em parceria com nossos clientes, combinando tecnologia de ponta, inteligência artificial e a criatividade humana. Estamos na vanguarda da resolução de problemas de negócios, proporcionando impacto real em escala global.

Ao se juntar à Stefanini, você se torna parte de uma jornada global de transformação. Estamos empenhados em criar impacto positivo não apenas nos negócios, mas também na vida de nossos colaboradores. Se você procura uma oportunidade de crescimento profissional em uma empresa que valoriza inovação, respeito, autonomia e parceria, você encontra aqui!

Junte-se a nós e seja parte da mudança!

LI#REMOTELI#RL1Responsabilidades e atribuições

Garantir que soluções baseadas em inteligência artificial entreguem respostas:Corretas e relevantes

Seguras e éticas

Consistentes e reproduzíveis

Adequadas ao contexto do negócio

Alinhadas às políticas da empresa

Com boa experiência para o usuário

Com baixo risco de: Alucinação; Viés; Exposição de dados.

Principais atribuições1. Avaliação de respostas de IAAnalisar respostas geradas por diferentes modelos de IA;Avaliar: Precisão; Clareza; Completude; Relevância; Aderência ao contexto; Identificar: Alucinações; Contradições; Vieses; Informações sem evidência

Verificar se a IA compreendeu corretamente a intenção do usuário

Avaliar a aderência às instruções, políticas e critérios de negócio

Classificar respostas conforme critérios previamente definidos

Comparar diferentes: Modelos; Prompts; Versões; Configurações.2. Criação de critérios e rubricas de avaliação

Definir métricas de qualidade para cada caso de uso

Criar rubricas com critérios objetivos e escalas de pontuação

Estabelecer exemplos de respostas: Boas; Aceitáveis; Inadequadas

Criar conjuntos de testes, casos-limite e cenários adversariais

Padronizar o processo de avaliação entre os curadores

Garantir consistência e rastreabilidade das avaliações.3. Curadoria de dados e exemplos

Selecionar e organizar exemplos para: Treinamento; Avaliação; Melhoria de prompts

Revisar bases de conhecimento utilizadas pela IA;Identificar dados: Desatualizados; Duplicados; Incompletos; Conflitantes

Garantir qualidade, representatividade e diversidade dos dados

Remover informações sensíveis ou inadequadas

Criar conjuntos de dados de validação e benchmark

Manter o histórico das alterações e decisões de curadoria.4. Engenharia e melhoria de prompts

Criar, revisar e otimizar prompts

Definir: Instruções de sistema; Contextos; Restrições; Formatos de resposta

Testar técnicas como: Uso de exemplos; Decomposição de tarefas; Classificação; Validação

Avaliar o impacto das mudanças nos prompts

Reduzir ambiguidades e comportamentos inconsistentes

Trabalhar em conjunto com áreas de: Produto; Desenvolvimento; Negócio

Criar padrões reutilizáveis de prompts e templates.5. Testes de segurança e comportamento

Realizar testes de: Prompt injection; Jailbreak; Manipulação da IA;Avaliar a exposição indevida de dados confidenciais

Testar respostas para temas sensíveis

Identificar riscos de: Viés; Discriminação; Tratamento desigual

Avaliar se a IA recusa adequadamente solicitações impróprias

Criar testes de regressão

Apoiar processos de red teaming de IA.6. Monitoramento de qualidade em produção

Acompanhar o comportamento da IA após a implantação

Analisar feedbacks, reclamações e avaliações dos usuários

Identificar degradação de desempenho

Monitorar indicadores de: Erro; Abandono; Retrabalho; Escalonamento humano

Investigar incidentes relacionados às respostas da IA;Recomendar ajustes em: Prompts; Modelos; Dados; Fluxos

Manter processos de melhoria contínua.7. Governança e documentação

Documentar critérios, decisões, testes e resultados

Elaborar relatórios de qualidade dos modelos e soluções

Manter catálogo de: Prompts; Versões; Casos de uso

Registrar limitações conhecidas da IA;Apoiar políticas de uso responsável da inteligência artificial

Contribuir para auditorias internas e externas

Garantir a rastreabilidade das alterações realizadas.8. Liderança técnica e orientação

Orientar curadores, analistas e prompt engineers menos experientes

Revisar avaliações realizadas por outros profissionais

Definir padrões e boas práticas

Conduzir workshops de avaliação de IA;Apoiar decisões sobre: Modelos; Fornecedores; Arquiteturas

Atuar como referência técnica para as áreas de: Produto; Tecnologia; Jurídico

Compliance

Transformar problemas subjetivos de qualidade em critérios mensuráveis.

Requisitos e qualificações

Competências técnicas desejáveis

Experiência com modelos de linguagem e IA generativa

Conhecimento em prompt engineering

Experiência com avaliação humana e automática de modelos

Criação de datasets de teste

Conhecimento de métricas de qualidade de IA;Noções de machine learning e processamento de linguagem natural

Familiaridade com: RAG; Embeddings; Agentes; Bases de conhecimento

Conhecimento de técnicas de segurança para LLMs

Capacidade de análise de dados

Conhecimentos em SQL e, preferencialmente, Python

Experiência com ferramentas de: Anotação; Avaliação; Observabilidade de IA;Conhecimento de versionamento e documentação

Noções de LGPD, privacidade e uso responsável de IA.O profissional não precisa necessariamente ser cientista de dados ou desenvolvedor avançado. Entretanto, para uma posição sênior, deve compreender tecnicamente o funcionamento dos sistemas e dialogar com as equipes de engenharia.

Informações adicionais🍛 Vale-alimentação ou vale-refeição;👨🏼‍🎓 Desconto em cursos, universidades e instituições de idiomas;📚 Academia Stefanini — plataforma com cursos on-line, gratuitos, atualizados e com certificado;🗣 Mentoring;💉 Clube de vantagens para consultas e exames;🏥 Assistência médica;🦷 Assistência odontológica;💰 Clube de vantagens e descontos nos melhores estabelecimentos;🛫 Clube de viagens;🐶 Convênio para pets.