Ingeniero de data Senior (Inglés intermedio - avanzado)
Aviso de fuente externaen Staff Boom Perú
Staff Boom Perú busca un Ingeniero de Datos Senior para liderar pipelines con Dagster, dlt y dbt, y migrar modelos a Trino/Iceberg sobre OpenShift.
Salario
No especificado
Ubicación
Lima, Perú
Tipo de empleo
Tiempo completo
Modalidad
No especificado
Ingeniero de data Senior (Inglés intermedio - avanzado)
Lima, Perú
Descripción del empleo
Sobre el puesto
Staff Boom Perú busca un Ingeniero de Datos Senior para ser el principal responsable técnico de la capa de pipelines de datos, que traslada datos desde más de 15 sistemas fuente a través de la arquitectura medallón (Bronze → Silver → Gold) y los pone a disposición de analistas y modelos de ML.
El trabajo abarca la orquestación con Python (Dagster), la extracción (dlt) y el modelado de transformaciones con dbt. A corto plazo, el enfoque es migrar el motor de transformación de Databricks a Trino/Iceberg sobre OpenShift. Es un rol senior de contribución individual con responsabilidades de mentoría y propiedad arquitectónica. Reporta al Arquitecto de Datos dentro del Hub Central de Plataforma e Ingeniería.
Responsabilidades
- Liderar de extremo a extremo el proyecto de orquestación con Dagster: definiciones de assets, jobs, sensores, programaciones, recursos e IO managers.
- Diseñar e implementar pipelines de extracción con dlt siguiendo el patrón de pod de ejecución única, y ampliar la biblioteca compartida de fuentes (SQL Server, Postgres, MariaDB, BigQuery, SharePoint).
- Ser responsable de las capas Bronze y Silver de dbt y brindar soporte de ingeniería para modelos Gold fundacionales y transversales a dominios.
- Hacer cumplir el acuerdo de granularidad antes de construir cualquier modelo: granularidad, claves primarias, frecuencia de actualización, retención y SLA definidos y aprobados antes de escribir SQL.
- Liderar la migración de modelos dbt de dbt-databricks a dbt-trino y validar la paridad en cada capa de la arquitectura medallón antes de la promoción.
- Tratar las fallas de pruebas de dbt como alertas intencionales de calidad de datos e investigar los datos aguas arriba en lugar de ocultarlas con reintentos.
- Ser responsable del justfile como única fuente de verdad para operaciones locales y de CI.
- Mentorear a dos ingenieros de datos de nivel medio y realizar revisiones de código enfocadas en...
Requisitos
El título indica inglés intermedio a avanzado.
Datos clave
- El rol lidera pipelines de datos desde más de 15 sistemas fuente.
- El trabajo incluye Python (Dagster), extracción con dlt y transformaciones con dbt.
- El enfoque a corto plazo es migrar de Databricks a Trino/Iceberg sobre OpenShift.
- Incluye mentoría, revisión de código y propiedad arquitectónica.
Preguntas frecuentes
¿Qué abarca el puesto?
La responsabilidad técnica de la capa de pipelines que traslada datos desde más de 15 sistemas fuente a través de la arquitectura medallón.
¿Qué herramientas se utilizan?
El trabajo abarca orquestación con Python (Dagster), extracción con dlt y modelado de transformaciones con dbt.
¿Qué incluye la migración prevista?
Migrar el motor de transformación de Databricks a Trino/Iceberg sobre OpenShift y validar la paridad de los modelos dbt en cada capa.