لا تفتقر المؤسسات الكبيرة إلى البيانات، بل إلى الوصول إليها. فكل وحدة تستخرج تقاريرها من قاعدة بياناتها الخاصة، وعلى فريق التحليلات أن يحصل على الإذن والمستخرجات من عدة مالكين للبيانات مع كل سؤال جديد، وحين يُظهر تقريران رقمين مختلفين للمؤشر نفسه، تضيع أسابيع في البحث عن السبب. لقد حلّ مستودع البيانات التقليدي جزءًا من المشكلة، لكن هيكله الجامد وتكلفته يصبحان عائقًا أمام البيانات شبه المهيكلة وأحداث المستشعرات والصور والنصوص وأحمال عمل تعلم الآلة.
تضاعفت الأهمية مع دخول الذكاء الاصطناعي إلى المؤسسات. فالنماذج تحتاج إلى بيانات تاريخية متنوعة معروفة الجودة، ويجب أن تصل إلى البيانات الخام لا إلى ملخصات التقارير فحسب. كما تفرض متطلبات التدقيق والمساءلة أن تتمكن المؤسسة من تحديد المصدر والتحويل والتوقيت الذي نتج عنه أي رقم في تقرير. وبحيرة البيانات، إذا بُنيت بشكل سليم، تلبّي الحاجتين: وصولًا واسعًا للتحليل والنمذجة، ونسبًا واضحًا للبيانات يبني الثقة.
تُصمَّم بحيرة البيانات الحديثة عادةً على شكل عدة مناطق متعاقبة. تحتفظ المنطقة الخام بالبيانات تمامًا كما وصلت من المصدر، سواء عبر التحميل الدفعي أو تدفق الأحداث. وتعيد المنطقة المنقّاة بناء البيانات بمخطط صريح وأنواع قياسية ومفاتيح مرجعية مثل المعرّف الذهبي للطرف. وتبني المنطقة المنسّقة نماذج بيانات موضوعية، مثل العميل أو المعاملة أو الحقل، لتستهلكها التحليلات ولوحات المعلومات والنماذج. وإلى جانب ذلك، يسجّل فهرس البيانات مجموعات البيانات ومالكيها وجودتها ونسبها، وتفرض طبقة الوصول الصلاحيات بحسب الدور.
الاعتبار العملي الأول هو الملكية والجودة. يجب أن يكون لكل مجموعة بيانات في البحيرة مالك محدد في جهة الأعمال، مسؤول عن تعريفها وجودتها ودورة حياتها. وينبغي أن تُطبَّق قواعد الجودة، كالاكتمال والتفرد والنطاقات المسموح بها، آليًا عند كل تحميل، مع نشر النتيجة في الفهرس. فمثلًا، إذا وصل التحميل اليومي للمعاملات فجأة بنصف حجمه المعتاد، ينبغي أن يُطلق النظام تنبيهًا قبل تحديث لوحات المعلومات، بدلًا من أن يكتشف المديرون رقمًا خاطئًا في الصباح.
الاعتبار الثاني هو الربط بالسجل الرئيسي للأطراف وبالأحداث. فالبحيرة التي تخزّن البيانات بالمعرّفات المحلية لكل نظام لم تفعل سوى جمع التشتت في مكان واحد. وتظهر القيمة الحقيقية حين يُربط كل سجل في المنطقة المنقّحة بالمعرّف المشترك للشخص أو المنتج أو الموقع. كما أن تغذية البحيرة عبر منصة الأحداث، بدلًا من الاستخراج المباشر من قواعد البيانات التشغيلية، تخفف الحمل عن تلك الأنظمة وتنقل حداثة البيانات من التحديث الليلي إلى ما يقارب الوقت الفعلي، ما يغيّر مجالات استخدام البحيرة.
الاعتبار الثالث هو الاستهلاك. فبحيرة البيانات التي لا يستخدمها سوى فريق البيانات قد أخفقت. ويجب أن توفّر طبقة الخدمة لوحات معلومات وتقارير للمديرين، واستعلامًا تفاعليًا للمحللين، ووصولًا برمجيًا لعلماء البيانات والنماذج، وكلها على تعريف مشترك واحد للمؤشرات. والطبقة الدلالية التي تحفظ التعريف الرسمي لكل مؤشر تمنع حساب المفهوم نفسه بطرق مختلفة في أماكن مختلفة، وتقتلع من الجذور الجدل حول أي تقرير يحمل الرقم الصحيح.
المزالق الشائعة معروفة. أولًا، «مستنقع البيانات»: إلقاء كل شيء دون فهرس أو مالكين أو قواعد جودة، حتى لا يعرف أحد ما الموجود وأين، وما الذي يمكن الوثوق به. ثانيًا، بناء البحيرة كمشروع تقنية معلومات دون حالة استخدام محددة للأعمال، فينتهي بعد عام بكتلة من البيانات بلا مستهلكين. ثالثًا، إهمال ضبط الوصول على مستوى العمود والصف، ما يحوّل البحيرة إلى أكبر نقطة لتسرب البيانات الحساسة في المؤسسة. رابعًا، تجاهل تكلفة التخزين والمعالجة التي تنمو بلا حدود في غياب سياسة للاحتفاظ.
في نياداد، منصة دريا («دريا») هي بحيرة البيانات المؤسسية: مناطق خام ومنقّاة ومنسّقة، وفهرس بيانات بمالكين ونسب، وقواعد جودة آلية، واتصال بمنصة الأحداث للتغذية شبه الفورية. وبينش («بينش») هي طبقة ذكاء الأعمال التي توفر لوحات المعلومات والتقارير والتحليل التفاعلي فوق دريا بتعريفات مشتركة للمؤشرات. تُستخدم المنصتان في مشروع نياداد للزراعة الذكية لدمج قراءات المستشعرات وبيانات الطقس والسجلات الزراعية، وتتكرر البنية ذاتها في مشاريع نياداد المصرفية والمدنية.
تتحول بحيرة البيانات إلى أصل حين تجتمع فيها ثلاثة أمور معًا: الحوكمة، والارتباط بهوية مشتركة، ومستهلكون حقيقيون. فبدون الحوكمة تكون مستنقعًا؛ وبدون الهوية المشتركة تكون مخزنًا للتشتت؛ وبدون المستهلكين تكون تكلفة. وباجتماع الثلاثة، تصبح الأساس الذي تُبنى عليه تحليلات المؤسسة وذكاؤها الاصطناعي ومساءلتها.