Data Engineer Cloud

Formación Académica:
- Carreras: Ingeniería de Sistemas, Ingeniería Informática, Tecnologías de la Información, Ciencias de la Computación.
Funciones principales:
- Diseño e implementación de soluciones de ingesta y procesamiento de datos entre entornos on-premise y AWS, considerando múltiples fuentes, formatos y volúmenes de información.- Desarrollo de procesos ETL/ELT con Python, PySpark y SQL para la extracción, validación, transformación y carga de datos.- Implementación y optimización de procesamiento distribuido sobre Amazon EMR, asegurando escalabilidad, rendimiento y disponibilidad.- Parametrización de procesos, reglas y configuraciones operativas mediante Amazon DynamoDB, facilitando la ejecución dinámica y reutilización de pipelines.- Integración de información entre Teradata, Amazon Redshift, Amazon S3 y otras fuentes internas o externas.- Orquestación de pipelines mediante AWS Step Functions, AWS Glue y AWS Lambda, incorporando validaciones, manejo de errores y control de dependencias.- Diseño y despliegue de arquitecturas DevOps para soluciones de datos, aplicando buenas prácticas de integración y entrega continua.- Automatización de infraestructura y despliegues mediante Infrastructure as Code, utilizando AWS CDK o Terraform.- Administración de repositorios, estrategias de branching, revisión de cambios y despliegues mediante Bitbucket, Git o GitLab.- Configuración de redes, servicios y arquitecturas multicuenta en AWS, garantizando conectividad, seguridad y disponibilidad.- Ejecución de controles de calidad, cuadraturas y reconciliaciones para asegurar la integridad y consistencia de los datos.- Monitoreo de ejecuciones, análisis de incidencias y optimización continua de pipelines y recursos cloud.- Elaboración y actualización de documentación técnica, diagramas de arquitectura y procedimientos operativos.
Requisitos:
- Experiencia en ingeniería de datos y desarrollo de soluciones sobre AWS.- Dominio de Python, PySpark y SQL.- Experiencia con procesos ETL/ELT, cargas batch y procesamiento distribuido.- Conocimientos de arquitecturas Data Lake e integración on-premise/cloud.- Experiencia en automatización de despliegues, CI/CD e Infrastructure as Code.- Conocimientos de configuración, seguridad y conectividad de servicios AWS.- Experiencia trabajando bajo metodologías ágiles y en coordinación con equipos técnicos y de negocio."