Desde plataformas híbridas y multinube hasta plataformas de datos modernas y análisis en tiempo real, una estrategia de arquitectura de datos sólida es fundamental para respaldar los objetivos de su organización. Una mayor velocidad, flexibilidad y escalabilidad son elementos comunes de la lista de deseos, junto con capacidades de seguridad y gobernanza de datos más inteligentes. Muchas nuevas tecnologías y enfoques han llegado al frente de las discusiones sobre arquitectura de datos.

Aquí van algunas de las tendencias que transformarán las arquitecturas de datos:

El auge de las operaciones de datos

Tal como lo define CIO Magazine, DataOps (operaciones de datos) es una metodología ágil y orientada a procesos para desarrollar y entregar análisis. El objetivo es permitir:

• Innovación y experimentación rápidas que brindan nuevos conocimientos a los clientes con mayor velocidad.
• Calidad de datos extremadamente alta y tasas de error muy bajas.
• Mayor colaboración entre el equipo de desarrollo (los creadores del código) y el equipo de operaciones (los consumidores del código).

A medida que las empresas buscan obtener más valor de los datos y marcar el comienzo de una nueva era de innovación impulsada por la inteligencia artificial (IA), DataOps demuestra ser una forma poderosa de lograr estos objetivos. De hecho, más de 10 mil personas firmaron el The DataOps Manifesto . Además, según un estudio de 2020, Rethink Data: Put More of Your Business Data to Work— From Edge to Cloud, mientras que sólo el 10% de las organizaciones informa haber implementado DataOps por completo en toda la empresa, la mayoría de los encuestados dice que DataOps es “muy” o “extremadamente” importante.

Democratización de los stack de datos

Si los conocimientos basados ​​en datos son la clave para el crecimiento y la innovación, es lógico que las organizaciones quieran asegurarse de que la mayor cantidad de personas posible tenga acceso a ellos. Como resultado, las organizaciones están adoptando herramientas como la visualización de datos y herramientas de código bajo para democratizar los datos y el análisis.

De hecho, según un estudio realizado por Google y Harvard Business Review, el 97% de los líderes de la industria encuestados dijeron que democratizar el acceso a los datos y análisis en toda la organización es importante para el éxito empresarial.

Las organizaciones están desarrollando nuevas formas de proporcionar a los empleados no técnicos las herramientas de análisis y el conocimiento para utilizar y actuar sobre los datos empresariales. Por ejemplo, BNP Paribas construyó un Enterprise Data Nerve Center de última generación para no solo democratizar los datos y, por lo tanto, innovar, sino también garantizar que su proyecto de análisis dirigido por el negocio cumpliera con los complejos requisitos normativos de la organización.

Arquitectura preparada para IA

Las aplicaciones de ciencia de datos de vanguardia, como el análisis avanzado, la IA aplicada y el aprendizaje automático, requieren entornos de datos de gran volumen y alta velocidad, un estado que, en este momento, solo se puede lograr con modelos de arquitectura de datos de alto rendimiento.

Según RedHat, un modelo de arquitectura de datos de alto rendimiento listo para IA generalmente incluye:

• Herramientas de IA/ML y DevOps.
• Las canalizaciones de datos proporcionan datos limpios a los científicos de datos para crear, entrenar y probar modelos ML/DL y a los desarrolladores de aplicaciones para las necesidades de gestión de datos.
• Una plataforma en la nube brinda a los ingenieros de datos, científicos de datos, ingenieros de ML y desarrolladores de aplicaciones acceso a los recursos que necesitan para trabajar rápidamente.
• Los aceleradores de cómputo, almacenamiento y red aceleran la preparación de datos, el desarrollo de modelos y las tareas de inferencia.
• Los puntos finales de infraestructura proporcionan recursos en entornos de nube in situ, virtuales, perimetrales y privados, públicos e híbridos para todas las etapas de las operaciones de inteligencia artificial y aprendizaje automático.

De vuelta a lo básico – Gobierno y calidad de datos

En medio de la carrera para adoptar la innovación basada en datos y la evolución de las regulaciones relacionadas con los datos, la calidad y el gobierno efectivo de los datos nunca han sido más importantes. Aunque anteriormente se descartó como un problema de cumplimiento en el pasado, el gobierno de datos se está convirtiendo cada vez más en un objetivo estratégico y un imperativo moral.

De hecho, según un estudio reciente de Teradata, el 77 % de los líderes empresariales globales afirman que sus organizaciones están más centradas que nunca en la precisión de los datos. Esto se debe a que las sólidas prácticas de limpieza y gobernanza de datos no sólo hacen que los datos sean legibles por máquina, sino que también ayudan a combatir el sesgo de la IA.

El perfil del Ingeniero Analítico

Tradicionalmente, los ingenieros de datos eran responsables del diseño de la infraestructura de datos, mientras que los científicos y analistas de datos se centraban en el uso de modelos estadísticos para analizar los datos. Ahora está surgiendo un nuevo rol: el ingeniero analítico.

Esteperfil se ubica entre los científicos de datos, analistas e ingenieros, cerrando la brecha entre los distintos equipos. Tanto técnicamente como con mentalidad empresarial, es su trabajo crear herramientas e infraestructura para respaldar los esfuerzos del equipo de análisis y datos en su conjunto. En algunas empresas, también son responsables de democratizar los datos en toda la empresa e incorporar análisis de autoservicio en productos orientados al cliente.

imagen: @biancoblue