Cuando compras a través de enlaces de afiliados en nuestra web, es posible que obtengamos una comisión sin coste adicional para ti. Aprende ¿Qué es una malla de datos?
Una malla de datos es un concepto de arquitectura en ingeniería de datos que otorga a los dominios de negocio (divisiones/departamentos) de una gran organización la propiedad de los datos que producen. El equipo de gestión de datos centralizado se convierte entonces en el equipo de gobierno de datos de la organización.
En una arquitectura de datos tradicional, el equipo de gestión de datos centralizado es responsable de todas las actividades relacionadas con los datos. El problema es que cuando todas las cuestiones relacionadas con los datos requieren la intervención de las mismas personas, se crea un cuello de botella.
La distribución de las responsabilidades operativas para la gestión de datos a los dominios individuales dentro de la organización elimina este cuello de botella y permite que el equipo de datos centralizado centre su atención en la gobernanza, el riesgo y el cumplimiento (GRC).
Historia
La idea de descentralizar la propiedad de los datos y las responsabilidades y distribuirlas entre los equipos de dominio de una organización se atribuye a Zhamak Dehghani.
Al igual que el Edge Computing procesa los datos lo más cerca posible de la fuente, Dehghani vio la necesidad de llevar la gestión de datos lo más cerca posible de la fuente. Desde su introducción, el concepto de arquitectura de malla de datos no ha dejado de ganar fuerza y evoluciona continuamente para adaptarse a los retos prácticos de su aplicación.
Cómo funciona una arquitectura de malla de datos
El modelo de malla de datos integra los datos de los almacenes y lagos de datos de una organización vinculándolos a través de directrices de gobernanza e intercambio de datos gestionadas de forma centralizada.
En esta arquitectura, los dominios que producen datos dentro de la organización son responsables de documentar las definiciones semánticas, catalogar los metadatos y establecer las políticas de uso.
Cada dominio debe establecer su propia canalización de datos para limpiar, filtrar y cargar sus propios productos de datos, y son responsables de la calidad, descubrimiento, seguridad y privacidad de sus datos.
El equipo centralizado de gobierno de datos es responsable de crear, gestionar y hacer cumplir las normas de creación, almacenamiento, acceso y uso de datos.
¿Quién debería implantar una arquitectura de malla de datos?
Las arquitecturas de malla de datos suelen ser adoptadas por organizaciones grandes y complejas que generan y consumen una cantidad significativa de big data procedente de diversos ámbitos empresariales, como ventas, marketing, atención al cliente y finanzas.
El objetivo último de adoptar una arquitectura de malla de datos es permitir a la organización establecer una plataforma de big data de autoservicio que soporte el cambio continuo, proporcione escalabilidad y responda de forma autónoma a las necesidades empresariales de todas las partes interesadas.
Los candidatos para la adopción de la malla de datos incluyen:
- Empresas tecnológicas de nivel empresarial;
- Bancos, aseguradoras y otras instituciones financieras;
- Grandes proveedores de atención sanitaria;
- Grandes proveedores de comercio electrónico minorista;
- Empresas de telecomunicaciones;
- Agencias gubernamentales.
Implementar una malla de datos es una operación importante que implica cambios en la tecnología, así como cambios perturbadores en la cultura organizativa y los procesos de flujo de trabajo.
Puede que no sea la opción adecuada para organizaciones más pequeñas con necesidades de gestión de datos menos complejas.
Por qué las mallas de datos suponen un gran cambio
El concepto de malla de datos requiere un cambio radical en la organización. Para que la implemantación de una malla de datos tenga éxito, cada división empresarial debe considerar los datos que crea como el producto final de la organización, y no sólo como un subproducto del trabajo de cada dominio.
Los otros dominios son los clientes de la organización, y las mejores prácticas para crear una buena experiencia de cliente incluyen garantizar que cada producto de datos:
- Siga convenciones de nomenclatura, sintaxis y semántica estándar;
- Se registra en el catálogo de datos de la organización para facilitar su localización;
- Tenga una dirección única para ayudar a los consumidores a acceder al producto de datos mediante programación;
- Permita a los consumidores de datos internos solicitar acceso a los datos directamente a los propietarios de los datos del dominio;
- Tenga un acuerdo de nivel de servicio (SLA) que respalda las necesidades de uso de datos de la organización.
Retos y consideraciones
Sin embargo, la implementación de una arquitectura de malla de datos no está exenta de dificultades.
El paso a una arquitectura de malla de datos requiere una planificación cuidadosa, una comprensión clara de las necesidades de la organización, un buen plan de comunicación y la voluntad de todos los empleados de abordar los problemas de gestión del cambio organizativo que se van a producir.
El cambio requiere adoptar un nuevo lenguaje y un conjunto de valores que den prioridad al descubrimiento y uso de datos, al procesamiento de datos en tiempo real y a la distribución de la propiedad de los datos.
Aunque esta arquitectura está pensada para mejorar la calidad de los datos al otorgar la propiedad de los mismos a los dominios que realmente los crean y comprenden su contexto, puede hacer lo contrario si las normas y políticas de GRC del equipo de gestión de datos centralizado no están claramente definidas o no se aplican de forma fiable y coherente.
El papel de la IA en las arquitecturas de malla de datos
La inteligencia artificial (IA) desempeña un papel importante en la ejecución y el funcionamiento de una arquitectura de malla de datos.
Se utiliza para automatizar muchas tareas que serían difíciles o imposibles de gestionar manualmente y para ayudar a garantizar que los datos que contiene la malla se puedan utilizar eficazmente para generar información y tomar decisiones empresariales basadas en datos.
Esto incluye:
- Automatizar las comprobaciones de calidad de los datos e identificar posibles problemas de integridad de los datos;
- Automatizar el proceso de catalogación de datos y gestión de metadatos para realizar un seguimiento de los datos disponibles, dónde residen, a quién pertenecen y cómo se puede acceder a ellos;
- Recomendar conjuntos de datos relevantes a los consumidores de datos basándose en su uso anterior, las tareas que intentan realizar o las similitudes semánticas entre los conjuntos de datos;
- Automatizar el proceso de preparación de datos mediante la identificación de características relevantes, la realización de las transformaciones necesarias y el tratamiento de los datos que falten o sean incoherentes;
- Ayudar al equipo centralizado de gobernanza de datos a supervisar el cumplimiento por parte de los dominios de la normativa sobre privacidad de datos y las políticas de seguridad;
- Ayudar a los equipos de dominio a dar sentido a las grandes cantidades de datos que generan mediante la búsqueda de patrones, la generación de perspectivas y la realización de predicciones.
