Darya Data LakeDatosZS019000

Plataforma de data lake

Darya es la plataforma de data lake de Niadad que ingiere, almacena, cataloga y gobierna los datos empresariales para la analítica y la IA.

Familia
Datos
Propietario
Niadad
Estado
En desarrollo

Problema

Los datos empresariales están dispersos en decenas de sistemas, archivos y sensores, y cada análisis empieza con una nueva extracción manual. Sin un repositorio gobernado con catálogo, reglas de calidad y control de acceso, los informes no coinciden y los modelos de IA no disponen de datos fiables de los que aprender.

Visión general de la plataforma

Darya es el data lake de Niadad: recopila datos de sistemas transaccionales, archivos, API y flujos de eventos, los conserva en capas en bruto, refinada y curada, y los pone a disposición de analistas y modelos con un catálogo, políticas de acceso y linaje. Binesh y Rayon trabajan directamente sobre él.

Capacidades clave

Ingesta por lotes y en streaming

Carga datos de bases de datos, archivos, API y flujos (a través de Jarian) con conectores predefinidos.

Almacenamiento por capas

Conserva los datos en bruto, refinados y curados en formatos abiertos y columnares con versionado.

Catálogo y linaje

Cada conjunto de datos puede buscarse con su descripción, responsable, clasificación y linaje.

Calidad de los datos

Ejecuta comprobaciones de validación y calidad en los pipelines e informa de las desviaciones.

Control de acceso y enmascaramiento

Aplica el acceso a nivel de tabla, columna y fila mediante políticas y enmascaramiento de datos sensibles.

Acceso analítico

Disponible para Binesh, Rayon y las herramientas analíticas mediante SQL, notebooks y API.

Arquitectura

01

Capa de ingesta con conectores y CDC

02

Almacenamiento de objetos con formatos de tabla abiertos

03

Motor de procesamiento y pipelines de transformación

04

Catálogo, metadatos y linaje

05

Capa de políticas de acceso y enmascaramiento

06

Motor de consultas y API de acceso

Integraciones

Jarian (ingesta en streaming)
Binesh (modelo semántico y cuadros de mando)
Rayon (recuperación y entrenamiento)
Shanasa (autenticación y roles)
Bases de datos relacionales y core banking
Almacenamiento de objetos compatible con S3

Casos de uso

Repositorio de referencia de los datos empresariales
Datos de sensores en la agricultura inteligente
Datos de entrenamiento para modelos de IA
Archivo de eventos y registros
Base para los informes regulatorios

Construyamos juntos.

Si su organización, banco o sector está preparado para convertir los datos en decisiones, inicie la conversación aquí.