Data Engineer

Sobre el puesto

En Zigi App, como Data Engineer, ayudarás a modernizar la infraestructura actual, mitigar la deuda técnica, optimizar costos operativos e implementar características avanzadas de Databricks, bajo estándares de desarrollo y aseguramiento de calidad.

Responsabilidades

• Auditar, refactorizar y limpiar pipelines de datos para mejorar el rendimiento y reducir costos de cómputo en la nube.
• Diseñar e implementar soluciones con características de Databricks como Unity Catalog, Delta Live Tables, Liquid Clustering y Computación Serverless.
• Aplicar prácticas de ingeniería de software para datos, incluido control de versiones con Databricks Git Folders, modularización de código y revisión por pares mediante Pull Requests.
• Diseñar y desplegar pipelines de integración y despliegue continuo con Databricks Asset Bundles (DABs) o herramientas similares.
• Crear pruebas unitarias automatizadas y validaciones de calidad de datos para asegurar la confiabilidad de la información en la arquitectura Medallion.

Requisitos

• Mínimo 3 años de experiencia comprobable con Databricks y Apache Spark (PySpark o Spark SQL).
• Dominio de Delta Lake, incluidas transacciones ACID, optimización y control de versiones de datos.
• Experiencia con prácticas de DevOps/DataOps en entornos de datos, Git, CI/CD y pruebas unitarias con pytest o similar.
• Entendimiento de modelado relacional, dimensional (Star Schema) y arquitectura Medallion.
• Experiencia trabajando con AWS.
• Mentalidad orientada a la eficiencia y reducción de costos, atención al detalle y calidad del código, y capacidad para trabajar en equipo y proponer mejoras.

Cómo postularte

Postúlate directamente en CazVid.

Datos clave

• El puesto requiere mínimo 3 años de experiencia con Databricks y Apache Spark.
• Se requiere experiencia trabajando con AWS.
• El trabajo incluye modernizar pipelines de datos y aplicar prácticas de CI/CD y QA.
• Postúlate directamente en CazVid.