Data Fabric vs. Data Mesh: Perbedaannya

Dalam pencarian untuk mengembangkan arsitektur data terbaik untuk kebutuhan organisasi saat ini dan masa depan, ada banyak pilihan yang dapat digunakan oleh perusahaan. Karena pengemasan struktur perangkat lunak perangkat lunak, opsi ini banyak untuk dipilih oleh organisasi. Perusahaan mungkin merasa sulit untuk memilih opsi yang tepat, itulah sebabnya akhir-akhir ini muncul pola dari maw, yang memungkinkan organisasi untuk membantu mereka dalam perjalanan manajemen data, yang mencakup data fabric dan data mesh.

Dalam contoh pertama, baik data fabric dan database mencerminkan kesamaan dari sudut pandang konseptual. Jaring biasanya terbuat dari kain dan dapat diberi bentuk yang berbeda sesuai kebutuhan. Hal ini memungkinkan departemen TI untuk menempatkan jerat ini di atas sistem lain, yang terus-menerus dalam proses pengolahan data.

Tidak peduli seberapa mirip kedua pendekatan ini, ada beberapa perbedaan yang berbeda, yang hanya dapat terlihat jika kita mempelajari lebih jauh kedua pendekatan ini.

Apa itu Data Fabric?

Definisi pertama dari data fabric muncul pada pertengahan tahun 200-an, di mana Noel Yuhanna, seorang analis dari Forrester adalah orang pertama yang melakukannya. Dari sudut pandang konsep, data fabric adalah cara berbasis metadata untuk menghubungkan beragam perangkat data. Tujuannya adalah untuk mengatasi masalah utama di beberapa proyek data besar, tidak hanya secara kohesif tetapi juga beroperasi dalam model swalayan. Ada berbagai kemampuan yang diberikan oleh solusi data fabric, seperti akses data, penemuan, transformasi, integrasi, tata kelola, garis keturunan, dan keamanan.

Ada langkah signifikan yang telah dibangun dalam konsep struktur data. Ini membantu menyederhanakan proses pengaksesan dan pengelolaan data dalam lingkungan heterogen yang berkembang. Lingkungan yang heterogen terdiri dari penyimpanan data transaksional dan operasional, danau data, gudang data, dan rumah danau. Kami melihat semakin banyak organisasi yang mengembangkan silo data, dan karena komputasi awan, masalah yang berkaitan dengan diversifikasi data semakin besar.

Memiliki struktur data tunggal yang ditempatkan di atas repositori data, perusahaan dapat mengemasnya dalam bentuk manajemen terpadu ke berbagai sumber data, yang mencakup konsumen data hilir seperti ilmuwan data, insinyur data, dan analis data. Namun, yang perlu diperhatikan adalah bahwa pengelolaan data bersifat terpadu dan bukan penyimpanan yang sebenarnya. Penyimpanan yang sebenarnya masih tetap dalam model terdistribusi. Ada banyak vendor seperti Informatica dan Talend yang menyediakan data fabric dengan kemampuan yang dijelaskan di atas.

Apa itu Data Mesh?

Sementara data mesh memang memecahkan sebagian besar masalah yang dilakukan oleh data fabric, seperti tantangan mengelola data di lingkungan yang heterogen. Namun, metode penanganan dan pemecahan masalah ini berbeda dalam pendekatan data mesh. Sementara data fabric menciptakan satu lapisan manajemen virtual di atas penyimpanan data yang menampung data terdistribusi, pendekatan data mesh lebih tentang sekelompok tim terdistribusi yang akan mengelola data sesuai kebutuhan meskipun memiliki beberapa protokol tata kelola.

Konsep data mesh didefinisikan oleh Zhamak Dehgani. Zhamak adalah direktur inkubasi teknologi di Thoughtworks Amerika Utara. Prinsip dasar yang mengatur pendekatan data mesh dalam menyelesaikan ketidaksesuaian antara data lake dan data warehouse. Gudang data generasi pertama dirancang untuk menyimpan sejumlah besar data terstruktur, yang sebagian besar digunakan oleh analis data.

Namun, data lake generasi kedua digunakan untuk menyimpan sejumlah besar data tidak terstruktur, yang sebagian besar digunakan untuk membangun model pembelajaran mesin prediktif. Dalam definisi tersebut Zhamak telah menjelaskan tentang gudang data generasi ketiga (dikenal sebagai Kappa), yang semuanya tentang aliran data waktu nyata dengan mengadopsi layanan cloud. Namun, ini tidak menyelesaikan kesenjangan antara sistem generasi pertama dan kedua dari sudut pandang penggunaan.

Dalam proses memastikan sinkronisasi data, banyak perusahaan mengembangkan dan memelihara saluran data ETL yang lengkap. Akibatnya, ini menciptakan kebutuhan akan insinyur data yang sangat terspesialisasi yang memiliki kompetensi untuk mempertahankan kerja sistem tersebut.

Poin kritis yang dikemukakan Zhamak adalah seputar masalah bahwa transformasi data tidak dapat dimasukkan ke dalam data oleh para insinyur. Sebaliknya, itu harus menjadi sesuatu seperti filter yang diterapkan pada kumpulan data umum, yang tersedia untuk semua pengguna.

Jadi, alih-alih mengembangkan jalur data ETL yang kompleks, data disimpan dalam bentuk aslinya. Kepemilikan data diambil oleh tim yang terdiri dari pakar domain. Arsitektur pendekatan data mesh baru yang dijelaskan oleh Zhamak, terdiri dari karakteristik berikut:

• Kepemilikan data dan arsitektur terdesentralisasi berbasis domain
• Data sebagai produk
• Platform infrastruktur data ditawarkan dalam model swalayan
• Tata kelola komputasi gabungan

Singkatnya, pendekatan data mesh mengidentifikasi bahwa hanya data lake yang memiliki fleksibilitas dan skalabilitas untuk menangani persyaratan analitik.

Data Mesh vs Data Fabric

Seperti yang kami amati di atas, ada beberapa kesamaan antara data mesh dan pendekatan data fabric. Namun, mari kita lihat juga perbedaan di antara keduanya.

Menurut Noel Yuhanna, seorang analis dari Forrester, perbedaan utama antara data mesh dan pendekatan data fabric adalah cara API diproses.

Data Mesh terutama berbasis API untuk pengembang, sedangkan data fabric tidak. Data fabric pada dasarnya adalah kebalikan dari data mesh, di mana pengembang akan menulis kode untuk API ke antarmuka aplikasi. Berbeda dengan mesh data, data fabric adalah metode tanpa kode atau kode rendah, di mana integrasi API dijalankan di dalam fabric tanpa memanfaatkannya secara langsung.

Menurut analis lain, James Serra, yang bekerja dengan Ernst & Young sebagai arsitek big data dan data warehousing, perbedaan antara data mesh dan data fabric terletak pada tipe pengguna yang mengaksesnya.

Data mesh dan data fabric keduanya menyediakan akses ke data di berbagai teknologi dan platform. Perbedaannya adalah bahwa data fabric lebih berpusat pada teknologi sedangkan data mesh lebih bergantung pada perubahan organisasi.

Menurut seorang analis dari Eckerson Group, David Wells, sebuah perusahaan dapat menggunakan data mesh, data fabric, dan bahkan data hub secara bersamaan. Wells lebih lanjut menambahkan bahwa keduanya adalah konsep dan secara teknis tidak saling eksklusif.

Produk kain data terutama dikembangkan pada pola penggunaan produksi, sedangkan produk data mesh dirancang oleh domain bisnis. Penemuan metadata berlangsung terus-menerus, dan analisis merupakan proses yang berkelanjutan dalam kasus Data Fabric, sedangkan dalam kasus mesh data, metadata beroperasi dalam domain bisnis lokal dan bersifat statis.

Dari sudut pandang penerapan, data fabric memanfaatkan fasilitas infrastruktur saat ini yang tersedia, sedangkan data mesh mengekstrapolasi infrastruktur saat ini dengan penerapan baru di domain bisnis.

Baik data mesh dan data fabric menemukan tempat di ruang rapat data besar. Ketika datang untuk menemukan kerangka atau arsitektur arsitektur yang tepat.

Sumber Daya Berguna Lainnya:

5 Langkah untuk Membuat Budaya Berbasis Data | TechFunnel

Apa itu Analisis Data Besar? Panduan untuk Pemula | corong teknologi

Mengapa Budaya Berbasis Data Sangat Penting untuk Transformasi Digital

Penambangan Data – Semua yang Perlu Anda Ketahui | corong teknologi