Ingeniero De Datos - Temporal
Aviso de fuente externaen Zigi App
Zigi App busca un ingeniero de datos temporal para modernizar pipelines, optimizar costos e implementar soluciones con Databricks y Apache Spark.
Salario
No especificado
Ubicación
Guatemala City, Guatemala
Tipo de empleo
Tiempo completo
Modalidad
No especificado
Ingeniero De Datos - Temporal
Guatemala City, Guatemala
Descripción del empleo
Sobre el puesto
En Zigi App, trabajarás con un equipo de diferentes áreas de expertise y grados de experiencia, responsable de mejorar los procesos y la experiencia de los productos y usuarios. Como ingeniero de datos temporal, ayudarás a modernizar la infraestructura actual, mitigar la deuda técnica, optimizar costos operativos e implementar características avanzadas del ecosistema de Databricks, bajo estándares estrictos de desarrollo y aseguramiento de calidad.
Responsabilidades
- Auditar, refactorizar y limpiar pipelines de datos para mejorar el rendimiento y reducir costos de cómputo en la nube.
- Diseñar e implementar soluciones con Unity Catalog, Delta Live Tables, Liquid Clustering y computación Serverless.
- Aplicar prácticas de ingeniería de software para datos, incluido el control de versiones con Databricks Git Folders, la modularización de código y la revisión por pares mediante Pull Requests.
- Diseñar y desplegar pipelines de integración y despliegue continuo con Databricks Asset Bundles (DABs) o herramientas similares.
- Crear pruebas unitarias automatizadas y validaciones de calidad de datos para asegurar la confiabilidad de la información en la arquitectura Medallion.
Requisitos
- Mínimo 3 años de experiencia comprobable con Databricks y Apache Spark (PySpark / Spark SQL).
- Dominio de Delta Lake, incluidas las transacciones ACID, la optimización y el control de versiones de datos.
- Experiencia aplicando prácticas de DevOps/DataOps en entornos de datos, como Git, CI/CD y pruebas unitarias con pytest o similar.
- Conocimiento sólido de modelado relacional, dimensional (Star Schema) y arquitectura Medallion.
- Experiencia trabajando con AWS.
Datos clave
- El puesto es temporal.
- Se requiere mínimo 3 años de experiencia con Databricks y Apache Spark.
- Se requiere experiencia trabajando con AWS.
Preguntas frecuentes
¿Qué actividades realizaré en el puesto?
Auditarás y optimizarás pipelines de datos, implementarás soluciones de Databricks y crearás pruebas y validaciones de calidad.
¿Qué experiencia se requiere?
Se requiere mínimo 3 años de experiencia comprobable con Databricks y Apache Spark, además de experiencia con AWS.
¿Qué conocimientos técnicos se solicitan?
Se solicitan conocimientos de Delta Lake, prácticas de DevOps/DataOps, modelado relacional y dimensional, y arquitectura Medallion.