في الآونة الأخيرة، قام Power BI بتمكين إعداد بيانات الخدمة الذاتية لمحللي الأعمال الذين يستخدمون Power BI Dataflows. يمكن لتدفقات بيانات Power BI استيعاب البيانات من عدد كبير من مصادر بيانات المعاملات والمراقبة، وتنظيف النتيجة وتحويلها وإثرائها وتخطيطها واستمرارها. تعتبر تدفقات البيانات متحولة ويمكن تحديثها تلقائيًا ويمكن ربطها بالتسلسل لإنشاء خطوط أنابيب قوية لإعداد البيانات. علاوة على ذلك، دعم تخزين تدفقات البيانات في Azure Data Lake Storage (ADLS) Gen2، بما في ذلك تعريف البيانات وتدفق البيانات. من خلال تخزين تدفقات البيانات في Azure Data Lake Storage Gen2، يمكن الآن لمحللي الأعمال الذين يستخدمون Power BI التعاون مع مهندسي البيانات وعلماء البيانات باستخدام Azure Data Services.
ربما تعلم بالفعل أن تدفقات بيانات Power BI تقوم بتخزين بياناتها في مجلدات نموذج البيانات العامة (CDM). ولكن ماذا يعني هذا في الواقع؟
آلية التنمية النظيفة هو نظام البيانات الوصفية
نموذج البيانات المشتركة هو نظام بيانات وصفية يعمل على تبسيط إدارة البيانات وتطوير التطبيقات من خلال توحيد البيانات في نموذج مفهوم وتطبيق الاتساق الهيكلي والدلالي عبر العديد من التطبيقات وعمليات النشر.
مخططات الكيانات القياسية لآلية التنمية النظيفة
انضمت Microsoft إلى SAP وAdobe لتشكيل مبادرة البيانات المفتوحة لتشجيع تعريف واعتماد الكيانات القياسية عبر مجموعة من المجالات لتسهيل مشاركة التطبيقات والأدوات للبيانات من خلال Data Lake للمؤسسة.
ولذلك، قامت Microsoft وشركاؤها بنشر نموذج البيانات المشتركة بمخططات بيانات موحدة وقابلة للتوسيع. تشتمل مجموعة المخططات المضمنة على الكيانات والسمات وبيانات التعريف الدلالية والعلاقات. تمثل المخططات مفاهيم وأنشطة شائعة الاستخدام، مثل الحساب والحملة، لتبسيط عملية إنشاء البيانات وتجميعها وتحليلها.
مجلدات CDM عبارة عن مخزن بيانات يستخدم بيانات تعريف CDM
يتبع مجلد CDM (مجلد في Azure Data Lake Gen2) بيانات التعريف القياسية المنفصلة والبيانات ذاتية الوصف. تسهل هذه المجلدات اكتشاف البيانات التعريفية وقابلية التشغيل البيني بين منتجي البيانات ومستهلكي البيانات.
تحتوي مجلدات CDM على البيانات التعريفية في ملف model.json. تتوافق بيانات التعريف هذه مع تنسيق بيانات تعريف CDM ويمكن قراءتها بواسطة أي تطبيق عميل أو كود يعرف كيفية العمل مع CDM.
لا تحتاج إلى استخدام أي كيانات قياسية
ليس من الضروري أن تقوم بتخزين البيانات/المخطط القياسي طوال الوقت. قد يتم تعيين البيانات الموجودة في كيان آلية التنمية النظيفة إلى مخطط كيان قياسي، ولكن بالنسبة لمعظم الكيانات، ستقوم بإنشاء مخطط مخصص. لا يوجد شيء في مجلدات CDM أو CDM يتطلب منك استخدام مخطط قياسي.
السيطرة على التحكم في الوصول إلى كل كيان وتدفق البيانات
نظرًا لأنه يتم تخزين مجلدات تدفقات البيانات/CDM هذه في Azure Data Lake (ADLS) Gen2، لذلك يمكن استخدام RBAC وقوائم ACL الخاصة بـ ADLS Gen2 لإنجاز طبقة إدارة الوصول.
من خلال التكامل السلس والسهل، تساعد آلية التنمية النظيفة في تفكيك التطبيقات ومصادر البيانات عن بعضها البعض. لذلك، يمكنك إنشاء تقرير/لوحة معلومات لتحقيق ادعاء ملموس، إلى جانب التقرير المبني على آلية التنمية النظيفة، ويمكن دمجها بسهولة في سيناريوهات مماثلة حيث يكون مصدر البيانات مختلفًا.
تمكين CDM لخدمات Azure DataServices
يمكن لمهندسي البيانات استخدام Azure Data Factory وAzure Databricks وAzure HDInsights لدمج البيانات من مجلدات CDM مع البيانات من جميع أنحاء المؤسسة لإنشاء عرض تاريخي دقيق ومنظم للبيانات على مستوى المؤسسة في Azure SQL Data Warehouse. في أي وقت، يمكن إعادة كتابة البيانات التي تتم معالجتها بواسطة أي خدمة بيانات Azure إلى مجلدات CDM الجديدة، لجعل الرؤى التي تم إنشاؤها في Azure قابلة للوصول إلى Power BI والتطبيقات أو الأدوات الأخرى التي تدعم CDM. يمكن استخدام نفس مجلدات CDM لإجراء تحليلات متقدمة مثل التعلم الآلي أو الذكاء الاصطناعي
نظرًا لأن Azure Data Services تدعم CDM (ويُعرف أيضًا باسم تدفقات البيانات الخارجية في حالة إدارتها بواسطة Data Services)، وبالتالي يتم تقليل دور Power BI إلى كونه مستهلكًا للبيانات. على الرغم من أن Power BI لا يتحمل مسؤولية تحديث تدفق البيانات الخارجية، إلا أنه يمكن استهلاك تدفق البيانات بواسطة ملفات PBIX مثل أي تدفق بيانات آخر. يعد هذا أمرًا رائعًا لأن تجربة المستخدم لاستخدام مخرجات تدفقات البيانات لا تتغير.
في مثل هذه السيناريوهات، حيث تكون بحيرة البيانات جزءًا من بنية منصة البيانات الأساسية لديك، تساعد تدفقات البيانات الخارجية في تحقيق التوازن بين ذكاء الأعمال الخاص بالشركة ومتطلبات ذكاء الأعمال ذات الخدمة الذاتية المُدارة.
