Databricks + Azure Developer
Aviso de fuente externaen EROS Technologies Inc
EROS Technologies Inc busca un Databricks + Azure Developer para crear pipelines ETL/ELT escalables y soluciones de ingeniería de datos en Azure.
Salario
No especificado
Ubicación
Bogotá, Colombia
Tipo de empleo
Tiempo completo
Modalidad
No especificado
Databricks + Azure Developer
Bogotá, Colombia
Descripción del empleo
About the role
EROS Technologies Inc is looking for a Databricks + Azure Developer to design, build, and optimize scalable data engineering solutions on Azure. The role focuses on high-performance ETL/ELT pipelines, Lakehouse architecture, and reliable, secure, and scalable data operations.
Responsibilities
- Design, develop, and maintain data pipelines using Azure Databricks and PySpark.
- Build and orchestrate ETL/ELT workflows using Azure Data Factory (ADF).
- Develop ingestion and transformation pipelines for structured and semi-structured data using ADLS Gen2, Delta Lake, and Spark SQL.
- Implement Medallion architecture (Bronze/Silver/Gold layers), incremental loads, CDC, MERGE, and SCD Type 1/2.
- Optimize Spark jobs through partitioning, caching, file-size optimization, and performance-tuning techniques.
- Configure and maintain Databricks Workflows/Jobs, clusters, and workspace environments.
- Implement data quality checks, validation, error handling, monitoring, and reconciliation processes.
- Work with Unity Catalog for governance, lineage, RBAC, and secure data access.
- Integrate Databricks with Azure services, including ADLS, Azure SQL, APIs, and JDBC connections.
- Implement CI/CD pipelines using Azure DevOps and Git; automate infrastructure using Terraform or ARM/Bicep.
- Troubleshoot production pipelines, perform root-cause analysis, and ensure SLA compliance.
- Collaborate with architects, analysts, BI teams, and business stakeholders in an Agile environment.
Requirements
- 7–10+ years of experience in Data Engineering or Azure cloud data development.
- Strong hands-on experience with Azure Databricks, PySpark, Spark SQL, and Delta Lake.
- Experience building scalable ETL/ELT pipelines using Azure Data Factory (ADF).
- Strong understanding of ADLS...
Datos clave
- El puesto requiere 7–10+ años de experiencia en Data Engineering o desarrollo de datos en Azure.
- Se requiere experiencia práctica con Azure Databricks, PySpark, Spark SQL y Delta Lake.
- El rol incluye crear pipelines ETL/ELT con Azure Data Factory.
Salario estimado
Salario estimado para desarrollador de software en Colombia: COP 3.000.000 - 4.750.000 al mes, según 6 ofertas con salario publicado en CazVid. Es una estimación, no el salario ofrecido.
Preguntas frecuentes
¿En qué consiste el puesto?
Consiste en diseñar, desarrollar y optimizar soluciones escalables de ingeniería de datos en Azure, incluidos pipelines ETL/ELT y arquitectura Lakehouse.
¿Qué experiencia se requiere?
Se requieren 7–10+ años de experiencia en Data Engineering o desarrollo de datos en Azure, además de experiencia práctica con Azure Databricks, PySpark, Spark SQL y Delta Lake.
¿Qué herramientas de datos se utilizan?
El puesto utiliza Azure Databricks, Azure Data Factory, ADLS Gen2, Delta Lake y Spark SQL, entre otras tecnologías descritas en la oferta.
¿Cuánto paga este empleo?
Esta oferta no indica el salario. Como referencia, el salario estimado para desarrollador de software en Colombia es de COP 3.000.000 - 4.750.000 al mes, según 6 ofertas con salario publicado en CazVid. Es una estimación, no el salario ofrecido.