قد نحدد بسهولة "مستودع البيانات" على أنه التخزين الإلكتروني الآمن للمعلومات من قبل شركة أو مؤسسة أخرى. الغرض من مستودع البيانات هو بناء مستودع للبيانات التاريخية التي يمكن استرجاعها وفحصها لتوفير نظرة ثاقبة مفيدة لأنشطة المنظمة. هناك معلومات متنوعة حول مستودع البيانات وستعمل هذه المقالة بدورها كدليل لتقديم معلومات مفصلة حول ما يدور حوله ، بما في ذلك الأنواع والأدوات المستخدمة ومثال للعمل معه. دعنا ندخل في التفاصيل.
ما هو مستودع البيانات؟
تخزين البيانات ، المعروف أيضًا باسم مستودع بيانات المؤسسة (EDW) ، هو نظام يجمع البيانات من عدة مصادر في تخزين بيانات واحد ومركزي ومتسق لتسهيل تحليل البيانات واستخراج البيانات والذكاء الاصطناعي (AI) والتعلم الآلي. يمكّن هذا المصطلح المؤسسة من تنفيذ تحليلات معقدة على كميات هائلة من البيانات التاريخية (بيتابايت وبيتابايت) بطرق لا تستطيع قاعدة البيانات العادية القيام بها.
كانت أنظمة تخزين البيانات جزءًا من حلول ذكاء الأعمال (BI) لأكثر من ثلاثة عقود ، لكنها تطورت مؤخرًا مع ظهور أنواع جديدة من البيانات وتقنيات استضافة البيانات. يمكننا أيضًا أن نقول أن تخزين البيانات كان يتم استضافته تقليديًا في أماكن العمل - غالبًا على جهاز كمبيوتر مركزي - وتركزت وظيفته على الحصول على البيانات من مصادر مختلفة ، وتنقية البيانات وإعدادها ، وتحميل البيانات وصيانتها في قاعدة بيانات علائقية. قد يتم تخزين تخزين البيانات الآن على جهاز مخصص أو في السحابة ، كما تشتمل معظم مستودعات البيانات على إمكانات تحليلية بالإضافة إلى أدوات عرض البيانات وعرضها.
كيف يعمل مستودع البيانات
عندما بدأت الشركات في الاعتماد على أنظمة الكمبيوتر لإنشاء مستندات الأعمال المهمة وحفظها واستردادها ، نمت الحاجة إلى تخزين البيانات. نشأ باحثو IBM Barry Devlin و Paul Murphy فكرة تخزين البيانات في عام 1988.
يهدف تخزين البيانات إلى السماح بفحص البيانات التاريخية. أيضًا ، قد توفر البيانات التي تم جمعها من العديد من المصادر غير المتجانسة نظرة ثاقبة على أداء الشركة. يهدف تخزين البيانات إلى تمكين المستخدمين من إجراء الاستعلامات والتحليلات على البيانات التاريخية التي تم إنشاؤها من مصادر المعاملات.
البيانات التي تمت إضافتها إلى المستودع لا تتغير ولا يمكن تغييرها. المستودع هو المصدر الذي يتم من خلاله إجراء تحليلات الأحداث السابقة ، مع التركيز على التغييرات بمرور الوقت. يجب تخزين البيانات المخزنة بطريقة آمنة ويمكن الاعتماد عليها وقابلة للاسترداد ويمكن التحكم فيها.
الاحتفاظ بمخزن البيانات:
للحفاظ على تشغيل مستودع البيانات هذا ، يجب اتخاذ بعض الإجراءات. يعد استخراج البيانات إحدى المراحل التي تتطلب الحصول على كميات هائلة من البيانات من مصادر عديدة. تنظيف البيانات هو عملية المرور عبر مجموعة من البيانات بحثًا عن الأخطاء وإصلاح أو استبعاد أي بيانات تم تحديدها بعد تجميعها.
يتم تحويل البيانات التي تم تنظيفها لاحقًا من تنسيق قاعدة البيانات إلى تنسيق المستودعات. بعد تخزينها في المستودع ، يتم فرز البيانات وتوحيدها وتلخيصها لتسهيل استخدامها. نظرًا لتحديث مصادر البيانات المختلفة ، تتم إضافة بيانات إضافية إلى المستودع بمرور الوقت.
يعد WH Inmon's Creating the Data Warehouse ، وهو كتيب عملي نُشر لأول مرة في عام 1990 وأعيد إصداره عدة مرات ، كتابًا مهمًا عن تخزين البيانات.
يمكن للشركات الآن الاستثمار في خدمات برمجيات تخزين البيانات المستندة إلى السحابة من Microsoft و Google و Amazon و Oracle وغيرها.
أنواع مستودعات البيانات
هناك ثلاثة أنواع رئيسية من مستودع البيانات (DWH) ، وهي كالتالي:
# 1. مستودع بيانات المؤسسة (EDW)
المستودع المركزي هو مستودع بيانات المؤسسة (EDW). يقدم خدمات دعم القرار في جميع أنحاء المنظمة. كما أنه يوفر نهجًا موحدًا لتنظيم البيانات وتمثيلها. كما يسمح لك بتصنيف البيانات حسب الموضوع ومنح الوصول بناءً على تلك التصنيفات.
# 2. مخزن البيانات التشغيلية
عندما لا يتمكن أي من مستودع البيانات أو نظام OLTP من تلبية احتياجات إعداد التقارير الخاصة بالمنظمة ، يكون من الضروري وجود مخزن بيانات تشغيلي أو نظام ODS. تحديث تخزين البيانات في المواد المستنفدة للأوزون في الوقت الحقيقي. نتيجة لذلك ، يتم استخدامه على نطاق واسع في المهام العادية مثل الاحتفاظ بتفاصيل الموظف.
# 3. ذا داتا مارت
سوق البيانات هو تقسيم فرعي لتخزين البيانات. تم تطويره خصيصًا لخط أعمال معين ، مثل المبيعات أو التمويل أو المبيعات. يمكن جمع البيانات مباشرة من مصادر في سوق بيانات مستقل.
ما هي المكونات الخمسة لمخزن البيانات؟
هناك خمسة مكونات رئيسية لتخزين البيانات:
# 1. قاعدة بيانات المستودعات
مدير المستودع مسؤول عن العمليات المتعلقة بإدارة البيانات في المستودع. يقوم بمهام مثل تحليل البيانات للتحقق من الاتساق ، وبناء الفهرس وعرضه ، وإلغاء التطابق والتوليد الكلي ، وتحويل بيانات المصدر ودمجها ، وأرشفة البيانات والنسخ الاحتياطي.
# 2. أدوات التوريد والاكتساب والتنظيف والتحول (ETL)
تُستخدم تقنيات مصدر البيانات والتحويل والترحيل في تخزين البيانات لإنجاز جميع التحويلات والتلخيصات والتغييرات المطلوبة لتحويل البيانات إلى تنسيق واحد. أدوات الاستخراج والتحويل والتحميل (ETL) هي اسم آخر لها.
تشمل قدراتهم:
- إخفاء هوية البيانات وفقًا للشروط التنظيمية.
- القضاء على البيانات غير المرغوب فيها في قواعد البيانات التشغيلية من التحميل إلى مستودع البيانات.
- ابحث واستبدل الأسماء والتعريفات الشائعة للبيانات الواردة من مصادر مختلفة.
- حساب الملخصات والبيانات المشتقة
- في حالة فقدان البيانات ، قم بتعبئتها بالافتراضيات.
- تم إلغاء تكرار البيانات الواردة من مصادر بيانات متعددة.
قد تؤدي أدوات الاستخراج والتحويل والتحميل هذه إلى إنشاء مهام cron ووظائف الخلفية وبرامج COBOL ونصوص shell وما إلى ذلك من تحديث البيانات في نظام مستودع البيانات بشكل منتظم. هذه الأدوات مفيدة أيضًا لصيانة البيانات الوصفية.
يجب أن تتعامل أدوات ETL هذه مع مخاوف عدم تجانس قاعدة البيانات والبيانات.
# 3. البيانات الوصفية
يستحضر مصطلح "البيانات الوصفية" صورًا لمفاهيم تخزين البيانات التكنولوجية عالية المستوى. ومع ذلك ، فهي واضحة ومباشرة. البيانات الوصفية هي معلومات حول البيانات التي تحدد نظام تخزين البيانات. يتم استخدامه لإنشاء تخزين البيانات وصيانته وإدارته.
تعد البيانات الوصفية أمرًا حيويًا في بنية تخزين البيانات لأنها تحدد المصدر والاستخدام والقيم والسمات الخاصة ببيانات تخزين البيانات. كما تحدد كيفية تغيير البيانات ومعالجتها. يرتبط ارتباطًا وثيقًا بنظام تخزين البيانات.
على سبيل المثال ، قد يحتوي سطر في قاعدة بيانات المبيعات على:
4030 كيلو جول 732 299.90
هذه بيانات لا معنى لها حتى نستشير ميتا التي تخبرنا أنها كانت كذلك
- رقم الموديل: 4030
- معرف وكيل المبيعات: KJ732
- إجمالي مبلغ المبيعات 299.90 دولار
نتيجة لذلك ، تعد البيانات الوصفية مكونات حاسمة في تحويل البيانات إلى معرفة.
يمكن الإجابة على الأسئلة التالية باستخدام البيانات الوصفية:
- ما هي الجداول والخصائص والمفاتيح الموجودة في مستودع البيانات؟
- من أين أتت المعلومات؟
- كم مرة يتم إعادة تحميل البيانات؟
- ما هي تحولات التطهير التي تم استخدامها؟
يمكن تقسيم البيانات الوصفية إلى الفئات التالية:
- بيانات التعريف الفنية: يشتمل هذا النوع من البيانات الوصفية على معلومات المستودع التي يستخدمها مصممو ومسؤولو تخزين البيانات.
- بيانات تعريف الأعمال: يحتوي هذا النوع من البيانات الوصفية على تفاصيل تتيح للمستخدمين النهائيين تفسير المعلومات الموجودة في نظام تخزين البيانات بسهولة.
# 4. أدوات الاستعلام
أحد الأهداف الرئيسية لتخزين البيانات هو تزويد المنظمات بالمعلومات لمساعدتها على اتخاذ قرارات استراتيجية. يمكن للمستخدمين التفاعل مع نظام مستودع البيانات عبر أدوات الاستعلام. مكونات الواجهة الخلفية هي اسم آخر لمديري الاستعلام. يتعامل مع جميع العمليات المرتبطة بإدارة طلبات المستخدم. عمليات مكون تخزين البيانات هي لتوجيه الاستعلامات إلى الجداول المناسبة لجدولة الاستعلام.
# 5. هندسة حافلات مستودع البيانات
يتم تحديد تدفق البيانات في المستودع الخاص بك بواسطة ناقل مستودع البيانات. في نظام تخزين البيانات ، يتم تصنيف تدفق البيانات على أنه تدفق داخلي ، وتدفق علوي ، وتدفق سفلي ، وتدفق خارجي ، وتدفق تعريف.
عند إنشاء ناقل بيانات ، ضع في اعتبارك الأبعاد والحقائق المشتركة عبر مجموعات البيانات.
سوق البيانات:
سوق البيانات هو طبقة وصول تُستخدم لتوزيع البيانات على المستخدمين. يتم الترويج له كخيار قابل للتطبيق لمخازن البيانات واسعة النطاق لأنه يتطلب وقتًا ومالًا أقل لإنشائه. ومع ذلك ، لا يوجد تعريف عالمي لسوق البيانات ، وهو يختلف من شخص لآخر.
باختصار ، سوق البيانات هو قسم من مستودع البيانات. يتم استخدام سوق البيانات لتقسيم البيانات التي تم تطويرها لمجموعة معينة من المستهلكين.
مثال مستودع البيانات
للحصول على مثال جيد لمخزن البيانات هذا ، فكر في الشركة المصنعة لمعدات اللياقة البدنية. منتجها الأكثر مبيعًا هو دراجة ثابتة ، وتفكر الشركة في توسيع محفظتها وإطلاق حملة تسويقية جديدة لدعمها.
تستخدم عملية تخزين البيانات الخاصة بها لفهم عملائها الحاليين بشكل أفضل. يمكنه تحديد ما إذا كان معظم المستهلكين من النساء فوق سن الخمسين أو الرجال الذين تقل أعمارهم عن 50 عامًا. وقد يساعدك أيضًا في معرفة المزيد عن المتاجر التي حققت أكبر قدر من النجاح في بيع دراجاتهم ، بالإضافة إلى مكان تواجدهم . قد يكون قادرًا على فحص نتائج الاستطلاع الداخلي ومعرفة ما أحبه العملاء السابقون وما لم يعجبهم في عناصرهم.
تساعد كل هذه المعلومات الشركة في تحديد نوع الدراجات النموذجية الجديدة التي يجب إنشاؤها وكيفية الترويج لها والإعلان عنها. إنها تستند إلى بيانات صلبة بدلاً من غريزة القناة الهضمية. مع مثال مستودع البيانات هذا ، أعتقد أن العملية ستكون سهلة الفهم الآن.
أدوات مستودع البيانات
هناك العديد من أدوات مستودع البيانات في السوق ، ولكن الأنواع الأكثر شيوعًا تشمل:
# 1. مارك لوجيك
يعد MarkLogic أحد أكثر أنواع أدوات تخزين البيانات شيوعًا وأيضًا مثال جيد على حل تخزين البيانات القيم الذي يستخدم مجموعة متنوعة من إمكانيات المؤسسة لجعل تكامل البيانات أسهل وأسرع. تساعد هذه الأداة في تنفيذ عمليات البحث المعقدة للغاية في مستودع البيانات. قد يستعلم عن عدة أنواع من البيانات ، مثل المستندات والعلاقات والبيانات الوصفية.
# 2. وحي
Oracle هي قاعدة البيانات الأكثر شيوعًا في الصناعة. يوفر مجموعة متنوعة من حلول تخزين البيانات لعمليات النشر المحلية والسحابة. كما أنه يساهم في تحسين تجارب العملاء من خلال تعزيز الكفاءة التشغيلية. يأتي أيضًا كواحد من الأنواع الشائعة لأدوات مستودع البيانات لإعطاء تجربة.
# 3. أمازون RedShift
Amazon Redshift هو تطبيق لتخزين البيانات. إنها أداة مباشرة ومنخفضة التكلفة لتحليل أشكال مختلفة من البيانات باستخدام لغة SQL التقليدية وأدوات ذكاء الأعمال الحالية. كما أنه يتيح تنفيذ استعلامات معقدة على بيتابايت من البيانات المنظمة عبر تقنية تحسين الاستعلام.
ما هو مستودع البيانات مقابل قاعدة البيانات؟
يختلف مستودع البيانات عن قاعدة البيانات بالطرق التالية:
- قاعدة البيانات هي نظام معاملات يقوم بتحليل وتحديث البيانات في الوقت الفعلي لضمان توفر أحدث المعلومات فقط.
- تم تصميم مستودع البيانات لجمع البيانات المنظمة بمرور الوقت.
على سبيل المثال ، قد تتضمن قاعدة البيانات فقط أحدث عنوان للعميل ، في حين أن مستودع البيانات قد يخزن جميع عناوين العميل للسنوات العشر الماضية.
ما هي المراحل الأربع لتخزين البيانات؟
من قبل ، بدأت الشركات بتطبيقات تخزين بيانات بسيطة جدًا. ومع ذلك ، ظهرت تطبيقات تخزين البيانات الأكثر تعقيدًا بمرور الوقت.
فيما يلي الأنواع العامة للمراحل في استخدام مستودع البيانات (DWH):
# 1. قاعدة البيانات التشغيلية دون اتصال
في هذه المرحلة ، يتم نسخ البيانات ببساطة من نظام تشغيل إلى آخر. لا يؤثر تحميل البيانات المنسوخة ومعالجتها والإبلاغ عنها على أداء نظام التشغيل.
# 2. مستودع البيانات غير المتصل
يتلقى مستودع البيانات تحديثات منتظمة من قاعدة البيانات التشغيلية. يتم تعيين بيانات مستودع البيانات وتغييرها لتحقيق أهداف مستودع البيانات.
# 3. مستودع البيانات في الوقت الحقيقي
يتم تحديث مستودعات البيانات في هذه الخطوة كلما حدثت معاملة في قاعدة البيانات التشغيلية ، على سبيل المثال ، نظام حجز خطوط الطيران أو القطارات.
# 4. مستودع البيانات المتكامل
يتم تحديث مستودعات البيانات بانتظام عند هذا المستوى عندما يقوم نظام التشغيل بإجراء معاملة. بعد ذلك ، يُنشئ مستودع البيانات المعاملات ، والتي يتم إعادتها لاحقًا إلى نظام التشغيل.
ما هي خصائص مستودع البيانات؟
موضوع المنحى ، متغير الوقت ، متكامل ، و غير متطاير هي الأنواع الأربعة أو أمثلة لخصائص مستودع البيانات ، والمعروفة باسم ميزات تخزين البيانات.
ما هي الوظائف السبع السبع للتخزين؟
- الخزائن
- حماية البضائع
- نقل البضائع
- خدمات التمويل
- خدمات ذات قيمة نقدية
- استقرار الأسعار
- إدارة المعلومات
ما هما نوعان من التخزين؟
عام و خاص المستودعات هما النوعان الرئيسيان من المستودعات.
ما هو الغرض من مستودع البيانات؟
تخزين البيانات هو مجموعة مركزية للبيانات التي يمكن دراستها لاتخاذ قرارات أفضل. تتدفق البيانات إلى مستودع البيانات على أساس منتظم من أنظمة المعاملات وقواعد البيانات العلائقية ومصادر أخرى.
ما هي الوظائف الأساسية الأربع في المستودع؟
مهما كان المنتج ، يقوم كل مستودع بنقله وتخزينه وتتبعه وإرساله للخارج. التخزين ، ومناولة المواد ، والتعبئة والشحن ، ومعدات الباركود هي الفئات الأربع الرئيسية للمعدات التي تأتي من هذه الأنشطة الأربعة.
ما هي العمليات الثلاثة المستخدمة في مستودع البيانات؟
تتضمن عملية التدفق في مستودع البيانات الخطوات التالية:
- يجب استخراج البيانات وتحميلها.
- تنظيف البيانات وتحويلها.
- يجب نسخ البيانات احتياطيًا وأرشفتها.
أخيرا
تخزين البيانات هو جمع المعلومات حول أعمال الشركة وكيفية أدائها بمرور الوقت. إنه مصدر التحليل الذي يكشف عن إنجازات الشركة وإخفاقاتها السابقة ويوجه عملية صنع القرار. تم إنشاؤه بمدخلات من الموظفين في كل قسم من أقسامها الأساسية.
مقالات ذات صلة
- أدوات إدارة البيانات الوصفية: المعنى وكل ما تحتاج إلى معرفته
- تقنيات تعدين البيانات لتوسيع نطاق أي نشاط تجاري في عام 2023
- إدارة المستودعات: المعنى ، الأنظمة ، الراتب والدورات
- برنامج إدارة مخازن المخزون: أفضل 10 اختيارات
- تقنيات تعدين البيانات لتوسيع نطاق أي نشاط تجاري في عام 2023
- أداة تعقب المخزون: المعنى ، البرمجيات الحرة والورقة
مراجع حسابات
