Che cos'è il tessuto dati?

Pubblicato: 2022-02-14

Si afferma che il data fabric è un elemento indispensabile per tutte le organizzazioni incentrate sui dati. Negli ultimi anni, questa terminologia è stata piuttosto rilevante con la gestione dei dati aziendali e le integrazioni dei dati aziendali. Secondo la società di analisi Gartner, il data fabric è considerato le prime 10 tendenze di dati e analisi per il 2021. Gartner stima inoltre che entro il 2024 quasi il 25% di ogni fornitore di data management fornirà una soluzione di data fabric completa. Questo sarà un enorme salto dall'attuale contributo del 5%.

In questo articolo
  • Definizione del tessuto di dati
  • Necessità di data fabric
  • L'architettura
  • Capacità chiave
  • Il confronto
  • Casi d'uso di Data Fabric
  • Vantaggi di Data Fabric

Che cos'è il data fabric?

In parole povere, il data fabric è un'architettura semplificata, unificata e unica che comprende un insieme integrato di tecnologie e servizi. Questa raccolta è creata per fornire dati integrati e arricchiti utilizzando la metodologia corretta, al cliente giusto e al momento giusto; affrontando sia il lavoro operativo che quello analitico.

Il data fabric comprende le principali tecnologie di gestione dei dati come: catalogo dei dati, governance dei dati, integrazione dei dati, pipeline dei dati e orchestrazione dei dati.

Fonte: Gartner Inc. e/o sue affiliate

Perché hai bisogno di un data fabric?

Un motivo fondamentale per cui le organizzazioni hanno bisogno del data fabric è che serve molti driver di allineamento di natura aziendale, tecnica e organizzativa.

Driver aziendali

  • Per i driver di business, il data fabric aiuta a ridurre il tempo per accedere alle informazioni dettagliate e aiuta a velocizzare il processo decisionale informato. Questo viene fatto convogliando rapidamente i dati nei data warehouse e nei data lake.
  • Data fabric aiuta anche a fornire una visione a 360 gradi in tempo reale di tutti gli aspetti di un'entità aziendale come clienti, fornitori, ordini, consegna, prodotto, ecc.

Driver organizzativi

  • Il data fabric funge da linguaggio comune tra i data engineer e i data consumer, contribuendo così a una migliore collaborazione tra i team aziendali e i data team.
  • Esistono funzionalità di accesso ai dati self-service che consentono ai consumatori di ottenere i dati di cui hanno bisogno e in qualsiasi momento.

Driver di gestione dei dati

  • La gestione della preparazione dei dati aiuta i data scientist e altre risorse IT a evitare di intraprendere qualsiasi tipo di attività ripetitiva relativa all'arricchimento, alla trasformazione e alla pulizia dei dati.
  • Attraverso il data fabric, è possibile accedere a qualsiasi tipo di dati a livello aziendale utilizzando qualsiasi metodo. Ciò include lo spostamento di dati in blocco, la virtualizzazione dei dati e persino le API.
  • Inoltre, il data fabric snellisce e integra gli attuali strumenti di gestione dei dati utilizzati nell'organizzazione e ottimizza altri ridondanti per migliorare l'efficienza in termini di costi.

L'architettura di Data Fabric

Un'architettura data fabric ben definita è di natura modulare e supporta un'implementazione su larga scala che può essere multi-cloud, on-premise o anche un'implementazione ibrida. Per un'architettura data fabric, le origini dati vanno da molti sistemi legacy che funzionano in silos agli ambienti cloud più recenti.

Il diagramma seguente fornisce un'idea dell'architettura di data fabric

Fonte: Gartner Inc. e/o sue affiliate

I consumatori di data fabric comprendono data scientist e analisti, analisti di marketing, analisti di vendita e risorse che lavorano sulla privacy dei dati insieme ad architetti del cloud.

Funzionalità chiave del data fabric

Di seguito sono elencate le funzionalità chiave supportate da Data Fabric quando è integrato in un'unica piattaforma unificata:

  1. Catalogo dati
    Per classificare, classificare e inserire le risorse di dati in una struttura di inventario adeguata, presentandolo così visivamente.
  1. Ingegneria dei dati
    Sviluppare pipeline di dati affidabili per scopi analitici e operativi
  1. Governance dei dati
    Per garantire la qualità dei dati e anche per conformarsi alle normative e ai protocolli in materia di privacy, sicurezza dei dati e scalabilità dei dati
  1. Preparazione dei dati
    Si tratta di definire il processo del flusso di dati, che include anche i passaggi coinvolti nella pulizia, arricchimento, trasformazione e convalida dei dati.
  1. Integrazione e consegna dei dati
    Ciò comporta l'estrazione o il recupero di dati da qualsiasi fonte affidabile e la loro messa a disposizione del consumatore di dati per un'ulteriore elaborazione. Questo viene fatto tramite API, ETL, ecc.

Oltre alle funzionalità principali menzionate sopra, ci sono anche alcune capacità non core, che il data fabric porta sul tavolo.

Questi sono i seguenti:

  1. Scala, volume e prestazioni dei dati
  2. Accessibilità
  3. Distribuzione
  4. Sicurezza

Confronto tra Data Fabric/Data Lake/Database per carichi di lavoro operativi

Per aiutarti a comprendere il significato del data fabric, esaminiamo un confronto tra i pro ei contro di varie origini dati

Varie fonti di dati Professionisti contro
Data Lake, Data Warehouse Supporta le query di dati su molti dati strutturati e non strutturati

Non proprio ottimale per le query di dati a voce singola che causano risposte lente.

Non supporta i dati in tempo reale, quindi gli aggiornamenti continui dei dati non sono affidabili.

Nessun database SQL Supporta la scalabilità lineare attraverso l'architettura del datastore distribuito Non supporta SQL quindi richiede competenze specializzate
Tessuto di dati • Supporto SQL completo
• Supporta la scalabilità lineare attraverso l'architettura distribuita del datastore
• Supporta un'elevata simultaneità con prestazioni in tempo reale
• Supporta query complesse per singole entità aziendali
• Supporta tutti i tipi di metodologia di integrazione
• Struttura di governance dei dati flessibile e dinamica
N / A

Sebbene il data fabric serva da tecnologia superiore per carichi di lavoro operativi su larga scala, è anche una soluzione che funge da tecnologia reciproca per data lake e data warehouse. Per tale quantità di carichi di lavoro di dati, un data fabric può:

1. Convogliare dati aggiornati e affidabili DENTRO di essi, per scopi di analisi offline.
2. Ricevi approfondimenti aziendali DA loro, da incorporare in casi d'uso operativi in ​​tempo reale.

Casi d'uso di Data Fabric

In tutte le operazioni aziendali, esistono più casi d'uso che richiedono un'architettura dati su larga scala e ad alta velocità in grado di supportare più transazioni. Questi esempi includono:

  • Fornire una visione del cliente a 360 gradi

    Fornire una visione completa e unica dei clienti tramite sistemi CRM, IVR o un portale self-service per i clienti.

  • Aderendo alle leggi sulla privacy dei dati

    Adottando un flusso di lavoro flessibile e una soluzione di automazione dei dati conforme alla conformità tra persone, sistemi e dati.

  • Testare i dati su richiesta

    Aiutare nella creazione di un data warehouse di test e condividere dati di test anonimi con vari data center, mantenendo l'integrità totale

Vantaggi di Data Fabric

Esistono numerosi vantaggi del data fabric rispetto ad alcune delle metodologie di gestione dei dati tradizionali/alternative.

  • Gestione dei dati migliorata
  • Servizi dati ampliati
  • Elevato livello di coerenza, disponibilità e durata
  • Sicurezza estremamente stretta
  • Alte prestazioni

Pensieri finali

Team che non desiderano avere un'unica soluzione di data fabric per l'analisi dei dati e un'altra soluzione per l'intelligence operativa. Di solito preferiscono avere un unico data fabric per entrambi.

Altre risorse utili:

5 passaggi per creare una cultura basata sui dati | TechFunnel

12 suggerimenti per costruire l'alfabetizzazione dei dati nel 2022 | Techfunnel

Hub dati: tutto ciò che devi sapere | Techfunnel