Los Ingenieros de Datos están en alta demanda ya que son el vínculo para mejorar el procesamiento, y análisis, de los datos para las organizaciones, es por esto que están al tanto de las implementaciones de la nube que sirven para para satisfacer las demandas de modernización, costo y seguridad de los datos.
Esto lleva a que la adopción se divida aún más en lo que ahora se anuncia como entornos de múltiples nubes y Gartner predice que «más del 85% de las organizaciones adoptarán un principio de nube primero para 2025».
Este 2023, la cantidad de puestos de trabajo en el dominio de la ciencia de datos seguirá aumentando y la ingeniería de datos y MLOps tendrán prioridad.
Todavía se requieren habilidades de ingeniero de datos certificado con un exceso de nuevas herramientas tecnológicas en el mercado, tanto de código abierto como de pago, en las instalaciones o basadas en la nube.
Aquí veremos las habilidades y los requisitos de los ingenieros de datos que tienen sentido para un ingeniero de datos en 2023:
Secuencias de comandos
Sí, aún se requieren habilidades de ingeniería de datos en secuencias de comandos. Linux Bash, PowerShell, Typescript, JavaScript y Python todavía están aquí y, en todo caso, estaban tratando con más tipos de datos (la autorización basada en texto incluye CSV, TSV, JSON, Avro, Parquet, XML, ORC, etc.) en los datos pipeline que requieren conocimientos adicionales de técnicas y herramientas ETL/ELT.
Programación
El cambio a la nube ha cambiado poco los lenguajes requeridos en el último año con Java, C# y C++ aún importantes en las instalaciones.
Los lenguajes de nube más predominantes se centran en Go, Ruby y Rust y, especialmente, Python, y Scala con el almacén de datos Apache Spark y sus implementaciones en la nube en línea, como Amazon Glue y DataBricks.
Trabajar con la transmisión de elementos de datos en tiempo real como redes sociales, NLP, correo electrónico, controles en sistemas basados en la nube solo aumentará en los próximos años.
DevOps
En este 2023 se divide en su propia área de múltiples piezas. Esta área incluye técnicas y herramientas de ciclo de vida de desarrollo de software (SDLC), desarrollo continuo (CD) e integración continua (CI) como Jenkins, Git y GitLab.
El proceso especialmente relacionado con DataOps y Data Governance da como resultado prácticas de mayor calidad de datos y mejores resultados más precisos.
SQL
De hecho, más sistemas basados en la nube están agregando interfaces similares a SQL que permiten el uso de SQL, por ejemplo, Looker de Google o la combinación de Athena y QuickSight de Amazon.
Los sistemas de administración de bases de datos relacionales (RDBMS) siguen siendo clave para el descubrimiento y la generación de informes de datos, sin importar dónde residan.
ETL está en el centro de la obtención de datos donde se necesitan. Las herramientas de transformación de datos más antiguas como SSIS, Informatica, Talend Studio siguen siendo relevantes hoy en día, la próxima generación es Apache Airflow, Kafka y AWS Glue basado en la nube, Azure Data Factory y Azure HDInsight en aumento para 2023.
NoSQL.
Google BigTable, AWS S3, Azure File y Blob están todos relacionados y administran datos de archivos jerárquicos como los ecosistemas de código abierto de Hadoop.
La nube está llena de almacenes de datos no estructurados o semiestructurados (que carecen de un esquema SQL), de hecho, más de 225.
NoSQL, ya sea basado en Apache de código abierto, o MongoDB y Cassandra, están de moda.
Saber cómo manipular pares de valores clave y formatos de objetos como JSON, Avro o Parquet sigue siendo una necesidad para estos.
Canalizaciones de datos
Data Lakes sigue recibiendo nuevos nombres como implementaciones de DataBricks Lakehouse y Snowflakes Data Cloud, lo mismo, año nuevo. Operar con flujos en tiempo real, consultas de almacenamiento de datos, JSON, CSV, datos sin procesar es algo que ocurre todos los días.
La forma y el lugar en el que los ingenieros de datos configuran el almacenamiento pueden cambiar las habilidades y las herramientas de los ingenieros de datos que se requieren para la inyección de ETL/ELT.
Esta es un área que se está volviendo más compleja y sesgada según la fuente y el recurso utilizado.
Machine Learning e Inteligencia Artificial
Como mínimo, la familiaridad con las bibliotecas de Python NumPy, SciPy, pandas, sci-kit learn y alguna experiencia real con Notebooks (Jupyter o la nube en línea) es vital.
Llevado al siguiente nivel en herramientas basadas en la nube como AWS Sagemaker, HDInsight de Microsoft o los conjuntos de herramientas DataLab de Google. Los conjuntos de herramientas de estos campos se vuelven más complejos cada año.
Visualización
El análisis exploratorio de datos (EDA) vuelve a aparecer ahora como parte de los talentos de los ingenieros de datos para garantizar que el trabajo de ETL/ELT mencionado anteriormente sea exitoso.
Trabajar con herramientas como SSRS, Excel, PowerBI, Tableau, Google Looker, Azure Synapse es imprescindible.
La calidad de los datos resultantes es crucial a medida que los ingenieros de datos procesan y visualizan conjuntos de datos.
Hiperautomatización
Las tareas de valor agregado, como ejecutar trabajos, programaciones, eventos, ahora se encuentran en el requisito del conjunto de habilidades de un ingeniero de datos.
Los últimos 10 años muestran que esta tendencia se vuelve más predominante con las tareas especializadas de Scripting y Data Pipelines requeridas para mover con éxito los datos a la nube.
Gartner afirma que “los equipos de hiperautomatización más exitosos se centran en tres prioridades clave: mejorar la calidad del trabajo, acelerar los procesos comerciales y aumentar la agilidad en la toma de decisiones.
Computación en múltiples nubes
Sigue siendo el número uno por segundo año, pero solo agregue la palabra multi al frente para una buena medida.
Ya no están contentos con estar atados a proveedores de una sola nube, las empresas están optando por unirse a la nube múltiple, en lugar de qué tecnología de nube elegir, el 76% de las empresas ya ha elegido un par.
Un ingeniero de datos aún necesita tener una buena comprensión de las tecnologías subyacentes que componen la computación en la nube y, en particular, conocimiento sobre las implementaciones de IaaS, PaaS y SaaS.
imagen: @studioworkstock
