AI Software QA Engineer

¡ÚNETE A TP COMO AI SOFTWARE QA ENGINEER!TP es una compañía global de servicios digitales para negocios. Nuestra escala global y presencia local nos permiten ser una fuerza para el bien al apoyar a nuestras comunidades, a nuestros clientes, a sus consumidores y al medio ambiente. Ofrecemos servicios empresariales avanzados y digitalmente potenciados para ayudar a las mejores marcas del mundo a optimizar sus operaciones de manera significativa y sostenible. Como AI Software QA Engineer, serás el responsable directo de liderar la validación y el aseguramiento de calidad técnico de soluciones de IA dentro del ecosistema de TP.ai. Tu foco primordial no será el testeo tradicional de UI, sino la validación especializada de Inteligencia Artificial Agéntica (Agentic AI), Chatbots y Modelos LLM, evaluando sesgos, alucinaciones, seguridad ética y consistencia mediante herramientas y frameworks de evaluación de vanguardia.
¿Cuáles serán tus funciones principales?Validación y Evaluación de IA y LLMs (Prioridad Principal): Diseñar y ejecutar pruebas semánticas, heurísticas y basadas en rangos/patrones para evaluar modelos LLM, agentes de IA (Agentic AI) y chatbots. Validar consistencia, precisión, alucinaciones, sesgos (bias) y seguridad de las respuestas. Pruebas de Seguridad y Robustez de Prompts: Realizar pruebas adversariales (adversarial testing), inyección de prompts (prompt injection), jailbreaking y validación de guardrails para garantizar una IA responsable y segura. Manejo de Herramientas Especializadas de Evaluación de IA: Utilizar e integrar herramientas de evaluación y validación de modelos como DeepEval, Ragas, Giskard, Garak, Promptfoo, Phoenix y observabilidad con Langfuse. Pruebas de APIs y Contratos de Servicio: Validar servicios backend, endpoints REST, esquemas y respuestas JSON donde interactúan los modelos de IA utilizando Postman y Newman. Automatización y Scripting con Python: Construir scripts de prueba, validaciones automatizadas y pruebas funcionales utilizando Python como lenguaje principal. Gestión de Defectos y Ciclo Ágil: Documentar anomalías, comportamientos inesperados de los modelos y fallos en Jira y TestRail, colaborando activamente con ingenieros de IA, científicos de datos y desarrolladores.
Requisitos:Formación académica: Profesional graduado o formación técnica/tecnológica equivalente en Ingeniería de Sistemas, Ciencias de la Computación, Software o carreras afines. Años de experiencia: Mínimo 5 años de experiencia total en QA / Pruebas de Software, con al menos 1 a 2 años de experiencia específica y comprobable en Validación y Pruebas de IA (Agentic AI, Chatbots, evaluación de LLMs o modelos heurísticos). Ubicación: Colombia- RemotoIdiomas: Inglés B2+/C1 (Avanzado / Fluido para interactuar a diario con los líderes técnicos en India y stakeholders globales).
Conocimientos técnicos indispensables: Metodologías de evaluación de LLMs y Chatbots (alucinaciones, sesgo, coherencia semántica, seguridad). Herramientas de evaluación de IA: DeepEval, Ragas, Promptfoo, Giskard, Garak o Langfuse. Manejo y desarrollo de scripts de validación con Python (indispensable). Pruebas y validación de APIs con Postman o Newman. Gestión de casos de prueba y defectos con Jira y TestRail. Conocimientos deseables / Plus:Comprensión de pipelines RAG y bases de datos vectoriales. Nociones de arquitecturas agénticas (LangChain / LangGraph). Integración en pipelines CI/CD (Azure DevOps, GitHub Actions o Jenkins). SQL intermedio a avanzado. Automatización funcional con Playwright o Selenium.
Lo que ofrecemos:Contrato a término indefinido. Modalidad Teletrabajo - COL Horario: de lunes a viernes horario Colombia con disponibilidad ocasional para trabajar con equipos globalesOportunidad única de liderar la calidad en proyectos pioneros de IA a escala global en. Beneficios: TP4U – Fondo de Empleados de Teleperformance Colombia
Si te apasiona el aseguramiento de calidad en la nueva era de la Inteligencia Artificial y quieres liderar la confiabilidad de sistemas inteligentes de vanguardia, ¡te estamos esperando! ¡Postúlate ahora y da el siguiente paso para unirte a TP, el mejor Great Place To Work en Colombia!