Büyük kurumların eksikliği veri değil, veriye erişimdir. Her birim raporlarını kendi veritabanından çeker; analitik ekibi her yeni soru için birkaç veri sahibinden izin ve veri çıkarımı almak zorundadır; iki rapor aynı metrik için farklı rakamlar gösterdiğinde nedenini bulmak haftalar alır. Geleneksel veri ambarı bunun bir kısmını çözdü, ancak yarı yapılandırılmış veriler, sensör olayları, görüntüler ve metinler veya makine öğrenimi iş yükleri söz konusu olduğunda katı yapısı ve maliyeti engele dönüşür.
YZ'nin kurumlara girişiyle önemi katlandı. Modeller, kalitesi bilinen, geçmişe dönük ve çeşitli verilere ihtiyaç duyar ve yalnızca rapor özetlerine değil, ham veriye de ulaşabilmelidir. Denetim ve hesap verebilirlik gereklilikleri de bir kurumun bir rapordaki rakamın hangi kaynaktan, hangi dönüşümle ve hangi zamanda üretildiğini söyleyebilmesini gerektirir. Doğru kurulmuş bir veri gölü her iki ihtiyaca da yanıt verir: analiz ve modelleme için geniş erişim ve güven için net soy bilgisi.
Modern bir veri gölü genellikle ardışık birkaç bölge olarak tasarlanır. Ham bölge, veriyi toplu yükleme veya olay akışıyla kaynaktan geldiği biçimde aynen saklar. Temizlenmiş bölge, veriyi açık bir şema, standart tipler ve altın taraf tanımlayıcısı gibi referans anahtarlarla yeniden oluşturur. Düzenlenmiş bölge ise analitik, gösterge panelleri ve modeller tarafından tüketilmek üzere müşteri, işlem veya tarla gibi konu odaklı veri modelleri oluşturur. Bunların yanında bir veri kataloğu veri kümelerini, sahiplerini, kaliteyi ve soy bilgisini kaydeder; bir erişim katmanı da yetkileri role göre uygular.
İlk pratik husus sahiplik ve kalitedir. Göldeki her veri kümesinin, tanımından, kalitesinden ve yaşam döngüsünden sorumlu, iş tarafında adı belirli bir sahibi olmalıdır. Eksiksizlik, benzersizlik ve izin verilen aralıklar gibi kalite kuralları her yüklemede otomatik olarak çalışmalı ve sonuç katalogda yayımlanmalıdır. Örneğin günlük işlem yüklemesi aniden olağan hacminin yarısıyla gelirse, sistem yöneticilerin sabah yanlış bir rakamı keşfetmesine bırakmak yerine gösterge panelleri yenilenmeden önce uyarı vermelidir.
İkinci husus taraf ana verisi ve olaylarla bağlantıdır. Veriyi her sistemin yerel tanımlayıcıları altında saklayan bir göl, parçalanmışlığı yalnızca tek bir yerde toplamış olur. Gerçek değer, temizlenmiş bölgede her kaydın kişi, ürün veya konum için ortak tanımlayıcıya bağlandığında ortaya çıkar. Gölü doğrudan operasyonel veritabanlarından çıkarım yapmak yerine olay platformu üzerinden beslemek, bu sistemlerin yükünü de azaltır ve veri güncelliğini gecelikten gerçek zamanlıya yakın düzeye taşır; bu da gölün ne için kullanılabileceğini değiştirir.
Üçüncü husus tüketimdir. Yalnızca veri ekibinin kullandığı bir veri gölü başarısız olmuştur. Sunum katmanı; yöneticiler için gösterge panelleri ve raporlar, analistler için etkileşimli sorgulama ve veri bilimciler ile modeller için programatik erişim sağlamalı ve bunların tümü metriklerin tek bir ortak tanımına dayanmalıdır. Her metriğin resmî tanımını tutan bir anlamsal katman, aynı kavramın farklı yerlerde farklı hesaplanmasını önler ve hangi raporun doğru rakama sahip olduğu tartışmasını kökünden ortadan kaldırır.
Yaygın tuzaklar tanıdıktır. Birincisi, veri bataklığı: her şeyi katalog, sahip veya kalite kuralı olmadan dökmek; ta ki kimse neyin nerede olduğunu veya neye güvenilebileceğini bilmeyene kadar. İkincisi, gölü belirli bir iş kullanım senaryosu olmadan bir BT projesi olarak kurmak; bu, bir yıl sonra büyük bir veri yığını ve hiç tüketici olmadan sona erer. Üçüncüsü, sütun ve satır düzeyinde erişim kontrolünü ihmal etmek; bu, gölü kurumun en büyük hassas veri sızıntısı noktasına dönüştürür. Dördüncüsü, saklama politikası olmadan sınırsız büyüyen depolama ve işleme maliyetini göz ardı etmek.
Niadad'da Darya platformu («دریا») kurumsal veri gölüdür: ham, temizlenmiş ve düzenlenmiş bölgeler, sahip ve soy bilgisi içeren bir veri kataloğu, otomatik kalite kuralları ve gerçek zamanlıya yakın besleme için olay platformuna bağlantı. Binesh («بینش»), Darya üzerinde ortak metrik tanımlarıyla gösterge panelleri, raporlar ve etkileşimli analiz sunan iş zekâsı katmanıdır. Bu ikisi, Niadad'ın akıllı tarım projesinde sensör okumalarını, hava durumu verilerini ve tarımsal kayıtları birleştirmek için kullanılır; aynı mimari Niadad'ın bankacılık ve kent projelerinde de tekrarlanır.
Bir veri gölü, üç şeye aynı anda sahip olduğunda varlığa dönüşür: yönetişim, ortak kimlikle bağlantı ve gerçek tüketiciler. Yönetişim olmadan bir bataklıktır; ortak kimlik olmadan bir parçalanmışlık deposudur; tüketiciler olmadan bir maliyettir. Üçü birlikte olduğunda ise kurumun analitiğinin, yapay zekâsının ve hesap verebilirliğinin üzerine inşa edildiği temeldir.