Data Mesh nedir?

data-mesh-nedir

Merkezi platformlarda veri yönetimi değişiyor ve yeni bir paradigma önem kazanıyor: Data Mesh. Bu terimle, dönüşümü ve dağıtımı da dahil olmak üzere merkezi olmayan bir veri organizasyonu yaklaşımına atıfta bulunuyoruz.

Data Mesh nedir ve ne değildir?

Veri erişimi, dönüşüm, analitik ve dağıtımda bir evrim öneren bir organizasyonel ve teknolojik yönetim yaklaşımıdır. Bu konsept, 2019 yılında danışmanlık firması Zhamak Dehghani tarafından sunuldu. Veri ağı olarak da bilinir.

Ne ile karıştırılmamalıdır? Bir platform, işletme yönetimi için bir uygulama veya veri yönetimi için özel bir yazılım ürünü değildir.

Ağlar, göller ve veri fabrikaları arasında bilgi yönetimi

Veri Ağı, veri ve verinin bir ürüne dönüşmesi hakkında düşünme biçimini değiştirerek diğer modellerin sınırlamalarının üstesinden gelebilir. Şimdi veri ağı yaklaşımını Data Lake veya Data Fabric gibi kavramlardan neyin farklılaştırdığını görelim.

Veri Gölleri (Data Lakes)

Yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış büyük veri havuzlarını merkezileştiren, organize eden ve koruyan depolama havuzlarıdır. Bir veri gölü, verileri fiziksel bir konumda (örneğin, bir bulut deposunda) merkezileştirirken, bir veri ağı, veri üreticileri ve tüketicileri arasında mantıksal ve fiziksel bağlantılar kurar.

Veri Fabrikası (Data Fabric)

Bağlantı, tasarım, dağıtım ve kullanım süreçlerini desteklemek için veri varlıklarına eklenen bir katmandır. Bir Veri Fabrikasında, birden çok şirket arası veri akışı oluşturabilen entegre bir yaklaşımla çalışılır.

Bir Data Fabric’i veri ağından ayıran bir özellik, yapılarının ve meta verilerinin aşağıdakiler için yararlı olmasıdır:

  • Verileri tanımlamak.
  • Farklı uygulamalardan ve kaynaklardan gelen verileri bağlamak.
  • Verileri gerçek zamanlı olarak zenginleştirmek.

Data Mesh’in ilkeleri

Stratejik kararlarını veri analizine dayandıran bir kuruluşu etkileyebilecek sorunlara çözümler tasarlamak için bu yaklaşım dört ilkeye dayanmaktadır:

1. Alan odaklı tasarım

Bu ilke, verilerin mimarisini ve sahipliğini merkezden uzaklaştırmayı amaçlar. Kuruluşun veya işletmenin alanları, verilerinin sahibi ve sorumluluğundadır ve bu, Etki Alanına Dayalı Tasarıma (DDD) dayalı kurumsal kalıplar ve mimariler kullanılarak gerçekleştirilir.

2. Ürün olarak veri

Amaç, verileri yalnızca bir kaynak olarak depolamak yerine değer yaratma ve sunma ile ilişkilendirmektir. Veri tüketicilerini belirlemek ve ihtiyaçlarını karşılamak için ürün düşünme süreçleri teşvik edilir.

3. Self servis olarak platform

Bu ilke, veri platformunun self servis şeklinde farklı yetenekler sunması gerektiği gerçeğine atıfta bulunur. Bu, veri ve ondan türetilen ürünleri yaratmanın ve tüketmenin önündeki teknolojik engelleri azaltır.

4. Birleştirilmiş veri yönetimi

Son olarak, bu dördüncü ilke, federe kararlara dayalı bir hükümet modeliyle merkezi olmayan bir platformun yönetimini tasarlar. Bu, merkezi kontrol ile diğer kararları üreticilere, yöneticilere ve tüketicilere daha yakın bir yere yerleştirmek arasında bir denge sağlamak anlamına gelir.

Data Mesh’in faydaları nelerdir?

Şirketlerin bu yaklaşımı uygulayarak elde ettikleri faydalar arasında şunlar yer almaktadır:

  • Çeşitli veri kaynaklarıyla sanal katalogların oluşturulması.
  • Genel bulut uygulamalarına veya müşteri bulut ortamlarına bağlantı.
  • Veri göllerine ve veri görselleştirme, mimari, mühendislik ve analitik hizmetlerine merkezi olmayan erişim.
  • DevOps ekipleri tarafından bulundukları depoların teknik detaylarını bilmeye gerek kalmadan veri danışmanlığı.

Bir veri ağı yaklaşımına geçiş, özellikle etki alanı ve kaynak sayısı arttığında, darboğazlar ortaya çıktığında veya veri kalitesi hataları olduğunda kullanışlıdır. Data Mesh, dağıtılmış mimarilerde büyük ölçekli yönetim yoluyla verilere değer katar. Şirketinizde uygulamaya cesaret etmelisiniz.