Data Fabric ve Data Mesh: Fark

Yayınlanan: 2022-03-14

Bir kuruluşun mevcut ve gelecekteki gereksinimleri için en iyi veri mimarisini geliştirme arayışında, işletmelerin başvurabileceği birçok seçenek vardır. Yazılımın yazılım yapısının paketlenmesi nedeniyle, bu seçenekler kuruluşların seçim yapması için bol miktarda bulunur. Kuruluşlar doğru seçeneği seçmeyi zor bulabilir, bu nedenle son zamanlarda maw'dan kalıpların ortaya çıkması ve kuruluşların veri yapıları ve veri ağlarını içeren veri yönetimi yolculuğunda onlara yardımcı olmasına izin vermesinin nedeni budur.

İlk durumda, hem veri yapısı hem de veritabanı, kavramsal bir bakış açısından benzerliği yansıtır. Ağlar genellikle kumaşlardan yapılır ve ihtiyaca göre farklı şekiller verilebilir. Bu, BT departmanlarının bu ağları, sürekli olarak veri kırma sürecinde olan diğer sistemlerin üzerine yerleştirmesine olanak tanır.

Her iki yaklaşım da ne kadar benzer görünürse görünsün, ancak bu iki yaklaşımı daha derinlemesine incelersek fark edilebilecek bazı belirgin farklılıklar vardır.

Veri Dokusu Nedir?

Veri dokusunun ilk tanımı, Forrester'dan bir analist olan Noel Yuhanna'nın bunu yapan ilk kişi olduğu 200'lerin ortalarında geldi. Kavram açısından, veri yapısı, çeşitli veri araçları kümesini birbirine bağlamanın meta veri tabanlı bir yoludur. Amaç, yalnızca uyumlu bir şekilde değil, aynı zamanda self-servis bir modelde çalışan bazı büyük veri projelerindeki ana sorunlu noktaları ele almaktır. Veri erişimi, keşif, dönüşüm, entegrasyon, yönetişim, köken ve güvenlik gibi veri yapısı çözümlerinin sunduğu çeşitli yetenekler vardır.

Veri dokusu kavramında önemli bir ilerleme var. Bu, büyüyen heterojen bir ortamda verilere erişme ve bunları yönetme sürecini basitleştirmeye yardımcı oluyor. Heterojen bir ortam, işlemsel ve operasyonel veri depolarından, veri göllerinden, veri ambarlarından ve göl evlerinden oluşur. Veri siloları geliştiren kuruluşların sayısının arttığını görüyoruz ve bulut bilişim nedeniyle verilerin çeşitlendirilmesine ilişkin sorun giderek büyüyor.

Veri havuzlarının üzerine yerleştirilmiş tek bir veri dokusuna sahip olan bir kuruluş, bunu, veri bilimciler, veri mühendisleri ve veri analistleri gibi alt veri tüketicilerini içeren farklı veri kaynaklarına birleşik yönetim biçiminde paketleyebilir. Bununla birlikte, not edilmesi gereken, veri yönetiminin gerçek depolama değil birleşik olmasıdır. Gerçek depolama, dağıtılmış bir modelde kalır. Yukarıda açıklanan yeteneklerle veri dokusu sağlayan Informatica ve Talend gibi birçok satıcı vardır.

Veri Ağı Nedir?

Veri ağı, heterojen bir ortamda verileri yönetme zorluğu gibi bir veri dokusunun yaptığı sorunların çoğunu çözerken. Ancak, bir veri ağı yaklaşımında bu sorunu ele alma ve çözme yöntemi farklıdır. Veri yapısı, dağıtılmış verileri barındıran veri depolamanın üzerinde tek bir sanal yönetim katmanı oluştururken, veri ağı yaklaşımı daha çok, bazı yönetişim protokollerine sahip olmasına rağmen verileri gereksinime göre yönetecek dağıtılmış bir ekip grubuyla ilgilidir.

Veri ağı kavramı Zhamak Dehgani tarafından tanımlanmıştır. Zhamak, Thoughtworks Kuzey Amerika'da teknoloji kuluçka direktörüdür. Veri gölü ve veri ambarı arasındaki uyumsuzluğun çözümünde veri ağı yaklaşımını yöneten temel ilke. Birinci nesil veri ambarı, çoğunlukla veri analistleri tarafından tüketilen büyük miktarlarda yapılandırılmış veriyi depolamak için tasarlanmıştır.

Ancak, ikinci nesil veri gölü, ağırlıklı olarak tahmine dayalı makine öğrenimi modelleri oluşturmak için kullanılan çok büyük miktarda yapılandırılmamış veriyi depolamak için kullanılır. Bu tanımda Zhamak, bulut hizmetlerini benimseyerek gerçek zamanlı veri akışlarıyla ilgili olan üçüncü nesil bir veri ambarını (Kappa olarak bilinir) açıkladı. Ancak bu, kullanım açısından birinci ve ikinci nesil sistemler arasındaki boşluğu gidermez.

Veri senkronizasyonunu sağlama sürecinde, birçok kuruluş kapsamlı bir ETL veri hattı geliştirir ve sürdürür. Sonuç olarak, bu tür sistemlerin çalışmasını sürdürme yetkinliğine sahip son derece uzmanlaşmış veri mühendislerine ihtiyaç duyulmaktadır.

Zhamak'ın öne sürdüğü kritik bir nokta, veri dönüşümünün mühendisler tarafından verilere bağlanamaması sorunuydu. Aksine, tüm kullanıcılara açık olan ortak bir veri kümesine uygulanan bir filtre gibi bir şey olmalıdır.

Bu nedenle, karmaşık bir ETL verisi geliştirmek yerine, veriler orijinal biçiminde depolanır. Verilerin mülkiyeti, alan uzmanlarından oluşan bir ekip tarafından alınır. Zhamak tarafından açıklanan yeni veri ağı yaklaşımının mimarisi aşağıdaki özelliklerden oluşur:

  • Merkezi olmayan veri ve mimarinin etki alanına dayalı sahipliği
  • Ürün olarak veri
  • Veri altyapısı platformu self servis modelinde sunulmaktadır
  • Birleşik hesaplamalı yönetişim

Özetle, veri ağı yaklaşımı, yalnızca veri göllerinin analitik gereksinimini karşılayacak esnekliğe ve ölçeklenebilirliğe sahip olduğunu tanımlar.

Veri Ağı ve Veri Dokusu

Yukarıda gözlemlediğimiz gibi, veri ağı ve veri dokusu yaklaşımı arasında epeyce benzerlikler vardır. Ancak, ikisi arasındaki farklara da bakalım.

Forrester'dan bir analist olan Noel Yuhanna'ya göre, veri ağı ve veri dokusu yaklaşımı arasındaki en büyük fark, API'lerin işlenme şeklidir.

Bir Veri Ağı , geliştiriciler için öncelikle API tabanlıdır, ancak veri yapısı değildir. Veri dokusu, geliştiricilerin uygulamanın arayüzüne API'ler için kod yazacağı veri ağının tam tersidir. Veri ağının aksine, veri yapısı kodsuz veya düşük kodlu bir yöntemdir, burada API entegrasyonu doğrudan kaldıraç kullanılmadan yapı içinde yürütülür.

Ernst & Young ile büyük veri ve veri ambarı mimarı olarak çalışan başka bir analist James Serra'ya göre, veri ağı ve veri dokusu arasındaki fark, onlara erişen kullanıcıların türündedir.

Veri ağı ve veri dokusu, farklı teknolojiler ve platformlar arasında verilere erişim sağlar. Aradaki fark, veri dokusunun daha teknoloji merkezli olması ve veri ağının organizasyonel değişime daha fazla bağımlı olmasıdır.

Eckerson Group'tan bir analist olan David Wells'e göre, bir kuruluş veri ağını, veri yapısını ve hatta bir veri merkezini birlikte kullanabilir. Wells ayrıca, bu ikisinin kavram olduğunu ve teknik olarak birbirini dışlamadığını da ekliyor.

Veri dokusu ürünleri esas olarak üretim kullanım kalıpları üzerinde geliştirilirken, veri ağı ürünleri iş alanları tarafından tasarlanır. Meta verilerin keşfi süreklidir ve Data Fabric durumunda analiz devam eden bir süreçtir, veri ağı durumunda meta veriler yerelleştirilmiş bir iş alanında çalışır ve doğası gereği statiktir.

Dağıtım açısından bakıldığında, veri yapısı mevcut mevcut altyapı tesisinden yararlanırken, veri ağı mevcut altyapıyı iş alanlarındaki yeni dağıtımlarla tahmin eder.

Hem veri ağı hem de veri dokuları , büyük verinin yönetim kurulu odasında yer bulur. Doğru mimari çerçevesini veya mimarisini bulmak söz konusu olduğunda.

Diğer Faydalı Kaynaklar:

Veriye Dayalı Bir Kültür Oluşturmak için 5 Adım | Teknoloji Hunisi

Büyük Veri Analitiği Nedir? Yeni Başlayanlar İçin Rehber | Teknoloji Hunisi

Veriye Dayalı Bir Kültür Dijital Dönüşüm İçin Neden Önemlidir?

Veri Madenciliği – Bilmeniz Gereken Her Şey | Teknoloji Hunisi