El campo de la gestión de datos está adoptando tecnologías basadas en la nube. Los equipos se están descentralizando, dando prioridad a las aplicaciones que facilitan el trabajo colaborativo y ampliando la cantidad de usuarios que pueden acceder y trabajar con sus datos.

Los dos factores más influyentes en el éxito de la gestión de datos también estaban relacionados con las nuevas tendencias: la automatización y la infraestructura. Seguir y comprender estas tendencias podría ponerlo en el camino para lograr un éxito similar.

Conoce las tendencias más recientes a continuación.

Democratización de datos, malla de datos y estructura de datos

El cambio ocurre más rápido en la era moderna. Las empresas necesitan procesos de datos dinámicos que puedan responder y adaptarse a este entorno en constante evolución. Esta necesidad ha llevado a las empresas a adoptar un enfoque descentralizado a la hora de organizar su sistema de gestión de datos.

La gestión de datos se puede considerar «descentralizada» cuando los datos se gestionan por dominio, lo que otorga más responsabilidad a los departamentos o equipos individuales en lugar de a un organismo centralizado. Tres términos se relacionan con el enfoque descentralizado: democratización de datos, tejido de datos y malla de datos.

• Democratización de datos. Las empresas que emplean esta filosofía responsabilizan a TODOS en la organización por la producción, el uso y la calidad de los datos en lugar de una sola función o departamento. Se centra en proporcionar a los usuarios un mayor acceso a los datos, la alfabetización de datos y la cultura de datos.
• Tejido de datos. Este diseño de solución de gestión de datos conecta todas las fuentes de datos y los componentes de gestión de datos a través de metadatos. Una vez conectados, formarán una red sin fricciones que brindará acceso a los datos empresariales a todas las partes interesadas relevantes. Cuando está completamente integrado, el tejido de datos puede crear una interfaz de cobertura de datos para toda la empresa fácil de usar y predominantemente autónoma.
• Malla de datos. Este concepto de gobernanza y arquitectura descentralizada pone la responsabilidad de los datos en los equipos que producen, y en realidad poseen, los datos. Bajo esta arquitectura, todavía hay algunos principios de gobierno centralizados para evitar que los datos se conviertan en silos.

La gente se está moviendo hacia un enfoque descentralizado porque:

• Las decisiones son más inmediatas, con menos demoras para las aprobaciones y esperas para el acceso a los datos.
• Da más poder a los usuarios finales.
• Crea productos de datos que están listos para usar y no requieren preparación.

Estos beneficios permiten que los enfoques descentralizados sean más efectivos en el manejo del panorama de datos dinámico y en constante cambio de la actualidad. Sin embargo, también presentan algunos desafíos cuando se trata de la gestión de datos. Para lograr un panorama descentralizado, necesita herramientas de administración de datos que puedan recopilar metadatos, brindar acceso a los datos a todos y combinar varias herramientas en una plataforma fácil de usar (para que todos puedan usarla).

Observabilidad de datos impulsado por IA

Al igual que con toda la industria de datos, la calidad de los datos está en constante evolución. Las iniciativas de calidad de datos comenzaron con un enfoque basado en reglas. Más tarde, las organizaciones aumentaron su uso de datos y comenzaron a trabajar en soluciones sin reglas que se basan en IA/ML para encontrar datos de baja calidad. Ahora hay una nueva tendencia en aumento. Analiza la detección y resolución de problemas de calidad de datos de manera integral y emplea varias técnicas para monitorear el estado de los datos. Se llama observabilidad de datos.

La observabilidad de datos es la capacidad de su organización para comprender el estado de sus datos en función de la información que está recopilando. Proporciona esta comprensión al monitorear su sistema a través de la automatización, con poca intervención manual. Las organizaciones con observabilidad de datos pueden reconocer problemas de calidad de datos, anomalías, cambios de esquema y más sobre sus sistemas de datos completos.

Los beneficios de la observabilidad de datos incluyen:

• Monitoreo de la calidad de los sistemas de datos con poco o ningún conocimiento del dominio.
• Después de la implementación, los usuarios pueden monitorear el paisaje y prevenir problemas con un mínimo esfuerzo.
• Detecte problemas de forma proactiva y notifique a los usuarios aguas abajo (antes de que los problemas afecten a los sistemas aguas abajo).
• Puede manejar sistemas de datos más complejos y reconocer problemas en los que los expertos del dominio pueden no haber pensado.

Pila de datos moderna

A medida que los enfoques de la calidad de los datos evolucionan y mejoran, observamos un crecimiento similar en la integración de datos. La «pila de datos moderna» es un conjunto de herramientas que ahorra tiempo de ingeniería, permite a los analistas e ingenieros realizar actividades de mayor valor y tiene escalado automático.

Algunas de las herramientas y funciones que hacen que una pila de datos sea «moderna» son:

• basado en la nube
• Canalización ETL automatizada
• Almacén en la nube
• Visualización de datos
• Transformación de datos
• Descendencia: ETL inversa

La diferencia más significativa entre las pilas de datos modernas y heredadas es la facilidad de uso, lo que las hace más rápidas, más autoservicio y con una mejor experiencia de usuario. Al ser nativo de la nube, la pila de datos moderna tiene varias ventajas:

• Más fácil de integrar/a bordo.
• Barrera de entrada más baja.
• Funciona bien con otras aplicaciones basadas en la nube.
• No requiere configuración técnica.

Con la pila de datos moderna, los usuarios pueden recibir soluciones accesibles que se adaptan a las necesidades de datos exclusivas de su organización.

El auge de las plataformas de gobernanza de datos y análisis

Hasta ahora (y sigue siendo muy cierto ahora y lo será durante algún tiempo), las empresas se vieron obligadas a integrar múltiples herramientas en su sistema de datos para cumplir el mismo propósito. Podría tener un proveedor para su catálogo de datos, otro para la calidad de los datos. Esto presentó desafíos como:

• Necesidad de integrar varias herramientas de forma individual (demasiado tiempo).
• Las herramientas no funcionan bien juntas.
• Todo debe ser hecho a mano para su caso de uso.
• Desafíos en el desempeño.
• Gestión del cambio y adopción de usuarios.

Según Gartner, «las iniciativas modernas de análisis y datos necesitan un conjunto equilibrado de capacidades de gobernanza, pero los productos independientes a menudo no proporcionan lo que se necesita».

El espacio de gestión de datos ya está cambiando hacia un enfoque más integral. Las empresas que se especializan en un área ahora están ampliando sus productos para satisfacer la necesidad de consolidación de herramientas. Un proveedor de BI que solo se enfocaba en la preparación de datos ahora puede incluir integración de datos y un catálogo en sus soluciones. Un proveedor de gobernanza podría considerar expandir la calidad de los datos o las opciones de observabilidad de los datos. En general, las herramientas individuales se están volviendo obsoletas rápidamente a favor de las plataformas que ofrecen más de una funcionalidad.

Tecnologías nativas de la nube y aplicaciones en contenedores

Como se mencionó en la sección «pila de datos moderna», las tecnologías de administración de datos nativas de la nube presentan varias ventajas. Debido a esto, la adopción de la nube se está acelerando en todas las industrias. El cuadrante mágico de Gartner de 2021 encontró que Cloud DBMS representó el 93 % del crecimiento de los ingresos de DBMS. También pronostican que representarán el 50 % de los ingresos totales de DBMS en 2022. Podemos vincular este interés y éxito en la nube con cuatro beneficios significativos:

• Escalabilidad
• Bajos costos iniciales
• Más fácil de usar (buena experiencia de usuario)
• Precios basados en el consumo (paga solo por lo que usas)

Otra tendencia creciente en el espacio de gestión de datos es el uso de aplicaciones en contenedores. Las aplicaciones en contenedores le permiten implementar (usando tecnologías como Docker o Kubernetes) una aplicación en cualquier hardware sin necesidad de cambiar la base del código. También requieren menos recursos para su mantenimiento.

Debido a esto, Gartner espera que la cantidad de organizaciones que tienen aplicaciones en contenedores aumente del 40 % al 90 % entre 2021 y 2027. Además, esperan que el 25 % de todas las aplicaciones empresariales se ejecuten en contenedores para 2027. Más allá de su flexibilidad, las empresas están adoptar aplicaciones en contenedores porque son más confiables, robustas y escalables.

Automatización

La automatización no solo ocurre en la calidad de los datos. Podemos ver más procesos automatizados en toda la industria de gestión de datos. ¿La razón principal? Ahorro de tiempo. Gartner mencionó que solo hay un ingeniero de datos por cada cinco consumidores de datos. Los recursos y los ingenieros de datos son escasos (especialmente durante una recesión).

Las empresas necesitan soluciones listas para usar que puedan automatizar algunas de sus tareas. En este momento, vemos que muchos procesos se automatizan con IA y metadatos:

• Detección de datos e incorporación de fuentes de datos
• Supervisión de la calidad de los datos

A medida que las empresas adopten más la democratización de los datos, deberán automatizar muchos procesos de gestión de datos y brindar controles simples a los usuarios comerciales.

Aplicaciones de datos de código bajo/sin código

Al hacer que las aplicaciones sean más sencillas (que requieren menos codificación), puede hacer que los procesos de administración de datos estén disponibles para más usuarios y roles. Las aplicaciones como MS Powerapps, Airtable y Notion son excelentes ejemplos de aplicaciones de código bajo/sin código que casi cualquier usuario puede aprender a usar.

Más allá de eso, las organizaciones también están creando sus propias aplicaciones localizadas con flujos de trabajo simples. Las aplicaciones localizadas pueden conducir a bases de datos localizadas que pueden gestionar problemas locales menores. Por supuesto, este es un gran beneficio para las organizaciones descentralizadas porque pueden utilizar herramientas equipo por equipo, priorizando las preferencias de los usuarios individuales.

imagen: @freepik