El mercado demanda ingenieros de datos end to end
POR OSCAR DAVID ZENDEJAS RANGEL, DATA ENGINEER
Recientemente he observado un incremento en las tareas requeridas para un ingeniero de datos (data engineer), a quien se le solicita todo un pipeline productivo completo, que va desde un streaming de datos hasta la presentación formal de resultados, incluso con modelos de aprendizaje automático.
Antes de continuar quiero dar un poco de contexto acerca de la ingeniería de datos: esta disciplina nace de la necesidad de tener cantidades masivas de registros disponibles para la toma de decisiones de las organizaciones.
¿Cómo trabaja un ingeniero de datos?
Un ingeniero de datos es el encargado en diseñar y construir sistemas de recogida, almacenamiento y análisis de datos. Su objetivo final es crear un sistema que permita tener accesibilidad a los datos de negocio. La forma de realizar esto varía entre organizaciones:
Usualmente se trabaja en conjunto con equipos de Inteligencia de Negocios (BI), Infraestructura (DevOps) e incluso con equipos especializados de ciberseguridad. Sin embargo, en organizaciones pequeñas el ingeniero de datos es el encargado de crear todo este flujo de datos por su cuenta, esto es:
- Crear el backend en donde se depositarán registros, es decir, el destino de los datos recopilados a partir de la Interfaz de Usuario.
- Canalización de dichos registros a bases de datos mediante arquitecturas que permitan la interconexión.
- Desarrollo de algoritmos para procesamiento de los registros obtenidos en información útil y accesible.
- Integración de sistemas de validación de datos y herramientas que permitan un análisis de datos de forma interactiva.
En algunas organizaciones en las que he trabajado, los roles dentro del equipo de datos se centran principalmente con equipos de reportería, para que tengamos los registros totalmente disponibles sin afectar procesos críticos de otros equipos, es decir, se replican todos los datos para manipularlos y entregar soluciones útiles, entendibles y accesibles.
No obstante, las responsabilidades no terminan en entregar tablas con sumas, agrupaciones, etc., sino que conllevan toda una planeación para obtener y entregar dichas soluciones de forma estratégica, pues se planean para que puedan ser consultadas grandes cantidades de información desde varios puntos de conexión.
Conocimientos de un ingeniero de datos
Con las actividades mencionadas anteriormente es necesario preguntarnos: ¿qué tan capacitado debo estar un ingeniero de datos en ciberseguridad, gobernanza de datos, desarrollo de operaciones, aprendizaje automático, arquitecturas de software, cómputo y servicios en la nube?
La realidad es que se puede ser un experto en un área solamente o saber lo único indispensable en muchas áreas. En mi experiencia, un ingeniero de datos puede llegar a dominar cada una de ellas, lo que tiene que ser valorado por las organizaciones.
En este sentido, una vez que te adentras en el mundo tech se va ampliando el panorama en cuanto a qué necesitas para desarrollarte en roles como éste. Familiarizarte con algún proveedor de servicios de la nube debe ser tu primera prioridad, ya que es bien sabido que los servicios de cómputo funcionan de manera similar en la mayoría de las compañías de computación en la nube.
Por ejemplo, ¿qué requieres para procesar un grupo de datos? Necesitas una fuente de dónde obtenerlos, un procesador, un lugar de destino y, opcionalmente, una forma de presentarlos. Para ello existen servicios que tienen la capacidad de realizar tareas específicas en el proceso y la tarea de un ingeniero de datos se concentra en interconectar dichos servicios para construir un sistema sólido automatizado que funcione con simples instrucciones.
Hoy en día existen muchos cursos de capacitación para la formación de analistas de datos, ingeniero de datos y/o científico de datos, los cuales pueden ayudarte a tener una noción básica de los roles que estos perfiles pueden desempeñar dentro de una organización.
Sin embargo, es necesario tomar decisiones sobre realmente qué quieres hacer por el resto de tu vida laboral. Por eso me pregunto: ¿quienes desempeñamos esta actividad realmente debemos dominar todas las herramientas y habilidades solicitadas?
Expectativas de un data engineering
Si bien cada día existen más herramientas que facilitan que las organizaciones no dependan de personal, sigue siendo necesaria la interpretación y el entendimiento humano en procesos para la toma de decisiones, por lo que es natural la búsqueda de perfiles más completos y para esto deberíamos estar muy bien preparados.
Más importante es estar seguros de que podemos manejar situaciones complejas como las que pide el mercado laboral actual, contar con la certeza de que sabemos a qué nos estamos enfrentando en el día a día o tener áreas de oportunidad en las que sepamos desarrollarnos.
Considero que el deber de todos nosotros es estar capacitándonos continuamente y no conformarnos, buscar mejoras en procesos, conocer cómo se conforma toda la línea de producción en la que trabajamos, proponer nuevas tecnologías, e incluso compartir información con compañeros que tengan algún bloqueo, pues esto nos ayuda a mejorar como profesionistas.