انبار داده چیست و چه کاربردی دارد؟

زمان مطالعه: 7 دقیقه

انبار داده سامانه‌ای برای ذخیره سازی داده‌ها و اطلاعات سازمان‌ها است. در این مطلب قصد داریم «انبار داده» را به طور مفصل معرفی و بررسی بررسی کنیم. همراه ما بمانید تا با این مفهوم بیشتر آشنا شویم.

انبار داده چیست؟

انبار داده (Warehousing Data)، فرآیند جمع‌آوری و مدیریت داده‌ها از منابع مختلف، برای ایجاد نوعی دیدگاه تجاری است. انبار داده‌ها برای اتصال، گزارش دهی، بررسی و تحلیل داده‌های تجاری از منابع مختلف مورد استفاده قرار می‌گیرد و هسته اصلی سیستم هوش تجاری به شمار می‌رود. می‌توانید انبار داده‌ها را یک بانک اطلاعاتی در نظر بگیرید که داده‌های گذشته و فعلی را در یک مکان واحد جمع‌آوری می‌کند.

به بیان دیگر، انبار داده‌ها یک بانک اطلاعاتی گسترده است که به وسیله آن مدیران به تمامی داده‌ها و اطلاعات سازمان، برای تهیه گزارش و انجام بررسی و تحلیل، دسترسی دارند. می‌توانیم بگوئیم انبار داده‌ها به مدیران سازمان برای گرفتن تصمیمات مهم و استراتژیک کمک قابل توجهی می‌کند. این ذخیره سازی الکترونیکی، حجم زیادی از اطلاعات یک کسب و کار که برای پرس و جو و تجزیه و تحلیل طراحی شده‌اند را در خود جای می‌دهد. مهم‌ترین وظیفه فرآیند DW تبدیل داده‌ها به اطلاعات و به موقع در دسترس کاربران قرار دادن آن‌ها است.

انبار داده‌ها 3 لایه دارد که عبارتند از:

Staging، Integration و Presentation. روش کار به این صورت است که داده‌های خامی که از منابع مختلف دریافت شده‌اند در لایه اول یا Staging قرار می‌گیرند. در لایه Integration داده‌ها از نظر یکنواختی (نرمال بودن، حذف افزونه‌ها و…) مورد بررسی قرار می‌گیرند. در لایه آخر یا Presentation داده‌ها برای موارد مختلف مانند تحلیل و گزارش گیری در دسترس کاربران قرار می‌گیرند.

انبار داده از چه بخش‌هایی تشکیل شده است؟

حالا که با DW آشنا شدیم، لازم است اجزای انبار داده را نیز بشناسیم. این اجزا عبارتند از:

بخش اول: مدیریت بارگذاری

این بخش شامل فرآیند تبدیل و آماده سازی داده‌ها برای وارد کردن آن‌ها به انبار داده‌ها است. این کار به وسیله عملیات مرتبط با استخراج و بارگذاری داده‌ها انجام می‌شود.

بخش دوم: مدیریت انبار داده

این بخش عملیاتی مانند تجزیه و تحلیل داده‌ها، ایجاد شاخص‌ها، ادغام داده‌های منبع، بایگانی و پردازش اطلاعات را انجام می‌دهد.

بخش سوم: مدیریت تحلیل

عملکرد مدیریت تحلیل بر اساس آنالیز اطلاعات به دست آمده برای برنامه‌ریزی و پاسخ به سوالات کاربران انجام می‌شود.

بخش چهارم: ابزارهای دسترسی

این ابزارها عبارتند از:

• ابزارهای گزارش دهی
• ابزارهای پرس و جو
• ابزارهای EIS
• ابزارهای توسعه برنامه
• ابزارهای OLAP
• ابزارهای داده کاوی

مراحل ساخت انبار داده چیست؟

ساخت انبار داده‌ها شامل مراحل زیر است:

• به دست آوردن داده‌های عملیاتی از پایگاه‌های مختلف داده و تبدیل آن‌ها به یک مخزن واحد
• گسترش و تبدیل داده‌ها
• بارگذاری داده‌های تبدیل شده به یک پایگاه داده
• تولید مقادیر داده‌ای از پیش حساب شده برای افزایش سرعت گزارش گیری
• و در نهایت، تهیه یک ابزار گزارش گیری تحلیلی

ویژگی ‌های انبار داده چیست؟

یک DW ویژگی‌هایی دارد که در ادامه به معرفی و بررسی این ویژگی‌ها می‌پردازیم.

موضوع گرا (Subject-Oriented)

یک انبار داده برای پاسخ گویی به سوالات مختلف در مورد یک موضوع خاص بهینه سازی می‌شود. به عنوان مثال، یک فروشگاه قصد دارد رفتار خریداران خود را بررسی کند. بنابراین «موضوع» در اینجا «رفتار خریداران» است. پس باید داده‌ها و اطلاعات مرتبط با رفتار مشتریان در DW نگهداری شود. سپس این اطلاعات را برای استخراج مفاهیم و نتایج، به شکل مورد نظر سازماندهی کند.

یکپارچه (Integrated)

ممکن است داده‌ها از جنبه‌های مختلف ناهمگون و نامتناسب باشند. انبار داده سازمانی باید بتواند داده‌ها را از منابع مختلف جمع‌آوری کرده و به فرمت یکسان تبدیل کند. در واقع انبار داده‌ها مشکلاتی مانند تداخل نامگذاری‌ها یا ناسازگاری در واحدها را رفع می‌کند. به عنوان مثال، ممکن است موقع جمع‌آوری داده‌ها از منابع مختلف، در قسمت جنسیت، در یک منبع، «مذکر» و در منبع دیگر «مرد» نوشته شده باشد. انبار داده‌ها همه این موارد را یکسان سازی می‌کند.

متغیر با زمان (Time-Variant)

در انبار داده‌ها هر ساختار کلیدی شامل عنصر «زمان» است. این عنصر زمانی به عنوان کلیدی برای ورود به سایر جداول عمل می‌کند. یعنی در انبار داده، داده‌های قدیمی نیز حتما ذخیره می‌شوند. چرا که تحلیلگران برای شناسایی روندهای کسب و کار، به حجم زیادی از داده‌های تاریخی نیاز دارند. DW باید تغییرات داده در طول زمان را در خود جای دهد. به عنوان مثال، یک سیستم تراکنشی تنها مکان آخر یک مشتری را ذخیره می‌کند. در حالی که انبار داده تاریخچه تمام آدرس‌های مشتری را ثبت می‌کند. مثال دیگر اینکه: اگر نیاز به اطلاعات فروش 1 ماه گذشته داشتید، می‌توانید آن را خیلی راحت و سریع از انبار داده‌ها پیدا کنید. توجه داشته باشید که انبار اطلاعات داده‌ها هرگز به روز رسانی نمی‌شوند. اما «داده‌های جدید یا تغییر یافته با عناصر زمانی جدید» به انبار اضافه می‌شود.

غیر فرار (none-volatile)

آنچه به انبار داده‌ها وارد می‌شود، نباید تغییر کند. در واقع هدف این است که تاریخچه داده حفظ شود. به عبارتی، با ورود داده‌های جدید، داده‌های قبلی نباید از بین بروند. به این ترتیب شما می‌توانید به راحتی داده‌های تاریخی را تحلیل کرده و بدانید در چه زمانی دقیقا چه اتفاقی افتاده؟ همان طور که در قسمت قبل هم اشاره کردیم، انبار داده‌ها هیچوقت نیاز به اعمالی مانند Delete و Update ندارند. یعنی اگر داده‌ای ثبت شد، دیگر امکان تغییر آن وجود ندارد. به عنوان مثال، اگر آدرس یکی از مشتریان شما تغییر کند، آدرس او به صورت جدید در DW ثبت می‌شود. آدرس‌های قبلی نیز برای دسترسی به سوابق در انبار داده‌ها موجود است.

انبار داده چند نوع است؟

انبار داده‌ها 3 نوع اصلی دارد که در ادامه آنها را معرفی خواهیم کرد.

انبار داده‌های سازمانی (EDW)

انبار داده‌های سازمانی یا EDW یک انبار متمرکز است که خدمات انبار داده‌ها را برای کل سازمان فراهم می‌کند. EDW ضمن ارائه رویکردی واحد برای سازماندهی و نمایش داده‌ها، آن‌ها را با توجه به موضوع طبقه بندی کرده و بر اساس این طبقه‌بندی، دسترسی‌های لازم را ایجاد می‌کند.

انبار داده‌های عملیاتی (ODS)

انبار داده‌های عملیاتی زمانی مورد استفاده قرار می‌گیرد که به یک سری از اطلاعات به طور واقعی نیاز داریم و آن‌ها را فراخوانی می‌کنیم. مثلا ذخیره سوابق کارکنان سازمان در این قسمت انجام می‌شود.

بازار داده

بازار داده یا data mart برای مشاغل خاص مانند فروش و امور مالی طراحی شده است. شما می‌توانید در یک DW ، چندین بازار داده در نظر بگیرید و مطمئن باشید که تغییر در هر کدام از آن‌ها تاثیری بر سایر داده‌ها نخواهد گذاشت.

عملکرد انبار داده چگونه است؟

انبار داده‌ها مانند یک مخزن مرکزی است که اطلاعات از یک یا چند منبع داده مانند سیستم معاملات و سایر پایگاه‌های ارتباطی به آن وارد می‌شوند. داده‌های دریافت شده معمولا 3 حالت دارند:

• داده‌های ساختارمند
• داده‌های نیمه ساختار یافته
• داده‌های بدون ساختار

داده‌ها پردازش، تبدیل، بررسی و تحلیل می‌شوند تا کاربران بتوانند به وسیله ابزارهای هوش تجاری، سرویس گیرندگان SQL و صفحات گسترده به داده‌های پردازش شده در انبار داده‌ها دسترسی پیدا کنند.

یک انبار داده اطلاعاتی را که از منابع مختلف در یک پایگاه داده وارد می‌شود، با هم ادغام می‌کند. ادغام این اطلاعات در یک فضای مشخص، به سازمان امکان می‌دهد تا رفتار مشتریان خود را به راحتی تجزیه و تحلیل کند. همچنین داده کاوی را امکان پذیر کرده و در نهایت منجر به فروش و دریافت سود بیشتر می‌شود.

مراحل استفاده از انبار داده چیست؟

موارد زیر مراحل کلی استفاده از DW را بیان می‌کند:

پایگاه داده آفلاین

در این بخش، اطلاعات از سیستم عملیاتی به سرور دیگری کپی می‌شوند. بنابراین، بارگذاری، پردازش و گزارش داده‌های کپی شده بر عملکرد سیستم عملیاتی تاثیری نخواهد گذاشت.

انبار داده آفلاین

در این مرحله، داده‌ها به طور منظم از طریق پایگاه داده عملیاتی به روز رسانی شده و برای برای دستیابی به اهداف مورد نظر تغییر شکل پیدا می‌کنند.

انبار داده در زمان واقعی

هر وقت در پایگاه داده عملیاتی، معامله‌ای انجام شود، انبارهای داده به روز می‌شوند.

انبار داده یکپارچه

در این بخش، هنگامی که سیستم عملیاتی معامله‌ای را انجام می‌دهد، داده‌های انبار، به طور مداوم به روز رسانی می‌شوند. سپس DW تراکنش‌هایی ایجاد می‌کند که به سیستم عملیاتی برگشت داده می‌شوند.

استفاده انبار داده چه مزایایی دارد؟

• از وضعیت فعلی و گذشته سازمان اطلاعات کامل و دقیقی ارائه می‌دهد.
• هزینه‌های مربوط به گسترش و یکپارچه سازی نرم افزارها را کاهش می‌دهد.
• نوعی حافظه یکپارچه و تصفیه شده برای سازمان ایجاد می‌کند.
• به عنوان یک بستر برای ابزارهای تحلیلی، آماری و مدیریتی قابل استفاده است.
• شرایط را برای گزارش گیری و تحلیل سریع و کم هزینه فراهم می‌کند.
• امکان تبدیل داده‌های خام و پراکنده را به داده‌های استراتژیک و ساختار یافته فراهم می‌کند.
• دسترسی به اطلاعات سازمان را به صورت موضوع بندی شده و از چندین حوزه اطلاعاتی فراهم می‌کند.

چه افرادی به استفاده از انبار داده‌ها نیاز دارند؟

• کاربرانی که برای به دست آوردن اطلاعات از فرآیندهای پیچیده، سفارشی و منابع مختلف استفاده می‌کنند.
• افرادی که می‌خواهند برای تصمیم گیری، یک رویکرد سیستماتیک و نظام‌مند داشته باشند.
• تصمیم گیرندگانی که ناچارند به انبوه داده‌ها برای تصمیم گیری اعتماد کنند.
• کاربرانی که می‌خواهند بر روی مقادیر زیاد داده و اطلاعات، عملکرد دقیق و درستی داشته باشند.
• افرادی که می‌خواهند در جریان داده‌ها و گروه بندی‌ها، الگوهای پنهان را مورد استفاده قرار دهند.

و در انتها…

انبار داده یا DW ، نوعی ساختار معماری شده از یک سیستم اطلاعاتی است که اطلاعات پشتیبانی تصمیم‌گیری‌ها را در اختیار کاربران قرار می‌دهد. در واقع انبارهای داده، مخازن مرکزی داده‌های یکپارچه از یک یا چند منبع پراکنده هستند که برای پشتیبانی از طیف گسترده‌ای از تصمیم سازی‌ها در یک سازمان طراحی شده‌اند. خوب است بدانید که انبار داده‌ها جدا از پایگاه داده عملیاتی سازمان نگهداری می‌شود. به بیان دیگر، DW یک محصول نیست بلکه یک محیط است.