کارنوشت شماره سوم

 

جلسه چهارم 
 
کلان داده ها (Big Data)
عبارت Big Data مدت‌ها است که برای اشاره به حجم‌های عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل می‌شوند مورد استفاده قرار می‌گیرد؛ اما به تازگی، این عبارت بیشتر برای اشاره به مجموعه‌های  داده‌ای بزرگی استفاده می‌شود که به‌قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌های داده سنتی و معمولی قابل مدیریت نیستند. مشکلات اصلی در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است.
 این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا می‌کند که با استفاده از تحلیل حجم‌های بیشتری از داده‌ها، می‌توان تحلیل‌های بهتر و پیشرفته‌تری را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت کرد. بیشتر تحلیل‌های مورد نیاز در پردازش داده‌های عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، شبیه‌سازی‌های پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌های اقتصادی و مالی و تجاری مورد استفاده قرار می‌گیرد. حجم داده‌های ذخیره‌شده در مجموعه‌های داده‌ای Big Data، عموماً به خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌های موبایل، حسگرهای محیطی، لاگ نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌های تشخیص RFID، شبکه‌های حسگر بی‌سیم و غیره با سرعت خیره‌کننده‌ای در حال افزایش است.
بنگاه‌های اقتصادی و صنایعی که به‌طور گسترده، از داده‌های عظیم (بیگ دیتا) استفاده می‌کنند عبارت‌اند از:
·         صنعت بانکداری، بورس و اوراق بهادار
·         صنعت بیمه
·         تجارت خرده‌فروشی و عمده‌فروشی
·         بنگاه‌های خدماتی
·         ارائه‌دهندگان خدمات بهداشتی، درمانی و سلامت
·         صنایع مخابرات، ارتباطات و اپراتورهای مخابراتی
·         صنعت رسانه‌ها و سرگرمی
·         بنگاه‌های آموزشی
·         صنایع تولیدی و پخش
·         دولت و خدمات دولتی
·         صنعت حمل‌ونقل
·         صنایع انرژی، آب، برق و گاز
معمولاً بنگاه‌های اقتصادی و سازمان‌های دولتی و خصوصی از Big Dataبرای اهداف زیر استفاده می­‌کنند:
·         متمایز شدن از رقبا
·         به دست آوردن سهم بازار بیشتر
·         افزایش درآمد
·         درک بهتر مشتریان
·         سودآوری از طریق سرویس‌های جدید نوآورانه
بهره‌گیری از مزایای Big Data، معمولاً به سازمان‌ها، می‌تواند برای تحقق سه هدف حیاتی زیر مورد استفاده قرار گیرد:
·         تحویل سرویس‌های هوشمندتری که منابع درآمدی جدیدی را تولید می‌کنند
·         تحول در عملیات برای دستیابی به برتری تجاری و سرویس‌دهی
·         ساخت زیرساخت‌های هوشمندتر برای هدایت و تقویت سازگاری و کیفیت تجربه مشتری 
·         کاربرد های دیگر
·        بانکداری و خدمات مالی: تمرکز ویژه بر هر مشتری و خصوصی‌سازی خدمات هر مشتری، تحلیل ریسک اعتباری، تشخیص تقلب، تحلیل پورتفولیو، تحلیل ریزش مشتریان، تحلیل‌های سودآوری، تحلیل احساسات مشتریان، سیستم‌های پیشنهاد خدمات و محصولات و…
·         صنعت بیمه: طراحی و تحلیل پورتفلیو، تحلیل ریسک ، اعتبارسنجی مشتریان و تحلیل ریزش مشتریان و…
·         خرده‌فروشی: پیش‌بینی رفتار مشتریان، پیش‌بینی الگوهایی خرید و مصرف، اعتبارسنجی مشتریان، تحلیل ریزش مشتریان، تحلیل‌های سودآوری، سیستم‌های پیشنهاد خدمات و محصولات و …
·         صنایع مخابرات، ارتباطات و اپراتورهای مخابراتی : ارائه مرکز تماس پیشدستانه (Pro-active Call Center)، کمپین‌های هوشمندتر (Smarter Campaigns)، تحلیل شبکه (Network analytics)، سرویس‌های مبتنی بر مکان (Location-based Services) ، تحلیل ریسک اعتباری، تشخیص تقلب، تحلیل ریزش مشتریان، تحلیل‌های سودآوری، تحلیل احساسات مشتریان، سیستم‌های پیشنهاد خدمات و محصولات و…
·         صنعت حمل‌ونقل: مکان‌یابی و برنامه‌ریزی دقیق سیر و سفر، ردیابی و بهینه‌سازی مسیرها، تعمیرات پیش‌گویانه، بهینه‌سازی مصرف سوخت، مصورسازی مسیرها و عملیات، کاهش آلودگی و پاک‌سازی محیط زیست، خدمات ارزش افزوده و…
·         ارائه‌دهندگان خدمات بهداشتی، درمانی و سلامت: تعیین نوع رفتاردرمانی با بیماران، پیشگویی میزان موفقیت اعمال جراحی، تعیین میزان موفقیت روش‌های درمانی در برخورد با بیماری‌های سخت و خاص، تشخیص بیماری‌ها بر اساس انواع اطلاعات (تصاویر پزشکی، مشخصات بیمار احتمالی)، تأثیر داروها بر روند بهبودی بیماران و بررسی الگوهای مختلف ایجادکننده امراض در افراد، کشف تقلب و تخلفات پزشکی، تحلیل سودآوری و…
·         چالش های کلان داده ها
·         تاکنون چالش‌های زیادی در حوزه کلان داده مطرح شده است که تا حدودی از جنبه تئوری ابعاد مختلفی از مشکلات این حوزه را بیان می‌کنند. این چالش‌ها در ابتدا سه بعد اصلی حجم داده، نرخ تولید و تنوع به‌عنوان 3V’s مطرح شدند ولی در ادامه چالش‌های بیشتری در ادبیات موضوع توسط محققان مطرح شده است:
·         حجم داده (Volume) : حجم داده‌ها به‌صورت نمایی در حال رشد است. منابع مختلفی نظیر شبکه‌های اجتماعی، لاگ سرورهای وب، جریان‌های ترافیک، تصاویر ماهواره‌ای، جریان‌های صوتی، تراکنش‌های بانکی، محتوای صفحات وب،  اسناد  دولتی و … وجود دارد که حجم داده بسیار زیادی تولید می‌کنند.
·         نرخ تولید (Velocity) : داده‌ها از طریق برنامه‌های کاربردی و سنسورهای بسیار زیادی که در محیط وجود دارند با سرعت بسیار زیاد و به‌صورت بلادرنگ تولید می‌شوند. بسیاری از کاربردها نیاز دارند به‌محض ورود داده به درخواست کاربر پاسخ دهند. ممکن است در برخی موارد نتوانیم به اندازه کافی صبر کنیم تا مثلاً یک گزارش در سیستم برای مدت طولانی پردازش شود.
·         تنوع (Variety) : انواع منابع داده و تنوع در نوع داده بسیار زیاد است که در نتیجه ساختارهای داده‌ای بسیار زیادی وجود دارد. مثلاً در وب، افراد از نرم‌افزارها و مرورگرهای مختلفی برای ارسال اطلاعات استفاده می‌کنند. بسیاری از اطلاعات مستقیماً از انسان دریافت می‌شود و بنابراین وجود خطا اجتناب‌ناپذیر است. این تنوع سبب می‌شود جامعیت داده تحت تأثیر قرار بگیرد؛ زیرا هرچه تنوع بیشتری وجود داشته باشد، احتمال بروز خطای بیشتری نیز وجود خواهد داشت.
·         صحت (Veracity) : با توجه به اینکه داده‌ها از منابع مختلف دریافت می‌شوند، ممکن است نتوان به همه آن‌ها اعتماد کرد. مثلاً در یک شبکه اجتماعی، ممکن است نظرهای زیادی در خصوص یک موضوع خاص ارائه شود. اما اینکه آیا همه آن‌ها صحیح و قابل اطمینان هستند، موضوعی است که نمی‌توان به‌سادگی از کنار آن در حجم بسیار زیادی از اطلاعات گذشت. البته بعضی از تحقیقات این چالش را به معنای حفظ همه مشخصه‌های داده اصلی بیان کرده‌اند که باید حفظ شود تا بتوان کیفیت و صحت داده را تضمین کرد. البته تعریف دوم در مولدهای کلان داده صدق می‌کند تا بتوان داده‌ای تولید کرد که نشان‌دهنده ویژگی‌های داده اصلی باشد.
·         اعتبار (Validity) : با فرض اینکه دیتا صحیح باشد، ممکن است برای برخی کاربردها مناسب نباشد یا به‌عبارت‌دیگر از اعتبار کافی برای استفاده در برخی از کاربردها برخوردار نباشد.
·         نوسان (Volatility) : سرعت تغییر ارزش داده‌های مختلف در طول زمان می‌تواند متفاوت باشد. در یک سیستم معمولی تجارت الکترونیک، سرعت نوسان داده‌ها زیاد نیست و ممکن است داده‌های موجود مثلاً برای یک سال ارزش  خود را حفظ کنند، اما در کاربردهایی نظیر تحلیل ارز و بورس، داده با نوسان زیادی مواجه هستند و داده‌ها به سرعت ارزش خود را از دست می‌دهند و مقادیر جدیدی به خود می‌گیرند. اگرچه نگهداری اطلاعات در زمان طولانی به‌منظور تحلیل تغییرات و نوسان داده‌ها حائز اهمیت است. افزایش دوره نگهداری اطلاعات، مسلماً هزینه‌های پیاده‌سازی زیادی را دربر خواهد داشت که باید در نظر گرفته شود.
·         نمایش (Visualization) : یکی از کارهای مشکل در حوزه کلان داده، نمایش اطلاعات است. اینکه بخواهیم کاری کنیم که حجم عظیم اطلاعات با ارتباطات پیچیده، به‌خوبی قابل فهم و قابل مطالعه باشد از طریق روش‌های تحلیلی و  بصری سازی مناسب اطلاعات امکان‌پذیری است.
·         ارزش (Value) : این موضوع دلالت بر این دارد که از نظر اطلاعاتی برای تصمیم‌گیری چقدر داده حائز ارزش است. به‌عبارت‌دیگر آیا هزینه‌ای که برای نگهداری داده و پردازش آن‌ها می‌شود، ارزش آن را از نظر تصمیم‌گیری دارد یا نه. معمولاً داده‌ها می‌توانند در لایه‌های مختلف جابجا شوند. لایه‌های بالاتر به معنای ارزش بیشتر داده می‌باشند. بنابراین برخی از سازمان‌ها می‌توانند هزینه بالای نگهداری مربوط به لایه‌های بالاتر را قبول کنند.
بطور خلاصه می‌توان اعلام نمود، در هر Business Problem‌ی که مقیاس پذیری، پردازش و ذخیره‌سازی سریع و به لحظه برای انبوهی از داده‌ها یا منابع اطلاعاتی، تحمل خطا، قدرت محاسبات بالا، و انعطاف‌پذیری، مشکل‌زا یا (به اندازه غیرمتعارف) هزینه‌زایی نمود، سازمان با یکی از انواع Big Data Problem برخورد کرده است.