پایگاه خبری راه پرداخت دارای مجوز به شماره ۷۴۵۷۲ از وزارت فرهنگ و ارشاد اسلامی و بخشی از «شبکه عصر تراکنش» است. راه پرداخت فعالیت خود را از دوم اردیبهشت‌ماه ۱۳۹۰ شروع کرده و اکنون پرمخاطب‌ترین رسانه ایران در زمینه فناوری‌های مالی، بانکداری و پرداخت و استارت‌آپ‌های فین‌تک است.
نویسنده: توماس؛ اچ. داونپورت؛ مترجم: هاله دمیرچی؛ ماهنامه عصر تراکنش / ما در آستانه دگرگونی صنعت تحلیل داده قرار داریم. بسیاری تصور می‌کنند که بیگ دیتا یا بزرگ داده‌ها می‌توانند تغییرات مهمی در مسیر استفاده از فناوری ایجاد کنند. توماس داونپورت تحلیلگر معروف در این یادداشت به بررسی روندهای مهم بزرگ داده ها و تاثیر آن بر کسب‌وکار پرداخته است.
آن‌هایی که سال‌ها به مطالعه شرکت‌های هوشمند داده پرداخته‌اند، بر این باورند که ما دو عصر مختلف تحلیل داده‌ها را گذرانده‌ایم که آنها را BBD و ABD می‌نامیم؛ عصر پیش از بزرگ داده و عصر پس از بزرگ داده که به آنها عصر تحلیل 1.0 و عصر تحلیل 2.0 نیز گفته می‌شود. فاصله این دو عصر در برخی بهبودها و تغییرات جزئی خلاصه نمی‌شود. برای مثال، برخلاف نسخه 1.1، محصولات نسخه 2.0 تغییرات اساسی روی اولویت‌ها و امکانات فنی داشته‌اند. شرکت‌های بزرگ به‌مرور زمان شروع به سرمایه‌گذاری روی داده‌های ساخت‌نیافته می‌کنند.
به عقیده بسیاری، تغییرات اساسی رخ داده است و می‌توان تحلیل جدید را نسخه 3، نام‌گذاری کرد. این نوعی راه‌حل جدید است که تحلیل داده، نه‌تنها روی کارهای شرکت، بلکه روی محصولات نهایی و حتی قسمت ارتباط با مشتری نیز اجرا شود.
کاربردهای جدید داده بزرگ، پیشرفت بزرگی را سبب شده‌اند. نوآوری‌های چند رهبر صنعتی دنیا، سندی بر طلوع دوره‌ای جدید است. وقتی روش جدیدی ظهور پیدا می‌کند، مدیران واکنش‌های متفاوتی از خود نشان می‌دهند. در دنیای تجارت، تغییر به‌سرعت بر مجموعه‌ها اعمال می‌شود؛ بازیکنان جدیدی وارد عرصه می‌شوند، جایگاه شرکت‌ها عوض می‌شود، فناوری‌های جدید به وجود می‌آیند و استعدادها روی هیجان‌انگیزترین پروژه‌ها متمرکز می‌شوند.
مدیران، تغییرات را در ماه‌ها و سال‌های پیش رو، احساس خواهند کرد. آن‌هایی که به این تغییرات جواب دهند، با کمی حساب سرانگشتی متوجه خواهند شد که رقابت بر اساس تحلیل داده‌ها به معنی تغییرات اساسی و در مقیاس بزرگ است. اولین شرکت‌ها که تغییرات اساسی را احساس خواهند کرد، همان‌هایی خواهند بود که پیش‌بینی خوبی از تحلیل 3.0 داشته‌اند و فرمان تغییرات در دست آنها خواهد بود.
تکامل علم تحلیل
هدف من، ارائه مشاهدات انتزاعی درباره تاریخ علم تحلیل داده نیست، ولی به هر حال نگاهی به گذشته این علم و کاربرد آن در پیشرفت شرکت‌ها، خالی از لطف نیست. استفاده از داده‌ها برای تصمیم‌گیری ایده جدیدی نیست و قدمتی به‌اندازه خود تصمیم‌گیری دارد، ولی زمینه تجزیه‌وتحلیل کسب‌وکار، در میانه دهه 1950 متولد شد؛ با ظهور ابزارهایی که می‌توانست مقدار زیادی اطلاعات و الگو را بسیار سریع‌تر از انسان‌ها تولید کند.
امروزه فقط کسب‌وکارهای آنلاین از تجزیه داده استفاده نمی‌کنند، بلکه در هر زمینه و صنعتی می‌توان از این علم بهره گرفت.
تجزیه‌وتحلیل 1.0 / عصر «هوش تجاری»
این عصر تجزیه‌وتحلیل، زمانی پیشرفت بزرگی در زمینه فهم عمیق از پدیده تجارت بود و به مدیران، درکی بر پایه حقایق می‌داد تا هنگام تصمیم‌گیری فقط به درک و دریافت خود تکیه نکنند. برای اولین بار، داده‌های مربوط به فرایندهای تولید، فروش، تعاملات با مشتری و بسیاری داده دیگر ذخیره و تحلیل شد.
روش‌های جدید محاسبه و تحلیل، راهگشا بودند. سیستم‌های اطلاعاتی در ابتدا توسط شرکت‌هایی ساخته می‌شدند که ارزش سرمایه‌گذاری داشتند. بعدها این شرکت‌های بزرگ توسط فروشنده‌ها در خارج از شرکت، به‌صورت کلی‌تری تبلیغ می‌شدند. این عصر، عصر سرمایه‌گذاری روی داده بود.
مهارت‌ها و شایستگی‌های جدید مانند توانایی تحلیل داده مورد نیاز بود. داده‌ها در اندازه‌های کوچک و ایستا بودند، به‌صورتی که سرعت تغییر کمی با زمان داشتند و گزارش فرایند که بخش مهمی از فعالیت‌های هوشمند تجارت است، تنها اتفاقاتی را که در گذشته روی داده بودند، شرح می‌داد و با هیچ‌گونه توضیح یا پیش‌بینی همراه نبود.
آیا مردم تحلیل را نوعی مزیت رقابتی برای یک شرکت می‌دانستند؟ به‌طور کلی بله، ولی هیچ‌کس در مورد تحلیل داده طوری که امروز راجع به آن صحبت می‌کنند، نظری نداشت. زمانی این موضوع مهم‌تر جلوه کرد که بحث بازده عملیاتی بهتر مطرح شد؛ یعنی زمانی که علم تحلیل به رشد و بهره‌وری شرکت کمک می‌کرد.
علم تحلیل 2.0 / عصر داده بزرگ
شرایط اولیه تحلیل 1.0 به اندازه نیم‌قرن حکم‌فرما بود تا اینکه شرکت‌هایی از سیلیکون‌ولی مثل گوگل. ای‌بی (ebay) و بسیاری شرکت‌های دیگر، شروع به آنالیز نوع جدیدی از اطلاعات کردند. با اینکه اسم داده بزرگ به این زودی روی زبان‌ها نیفتاد، ولی به‌سرعت نگرش بقیه و نقش داده را در میان شرکت‌ها تغییر داد. داده بزرگ به این دلیل متمایز از داده کوچک است که توسط عوامل داخلی شرکت جمع‌آوری نشده است و منابع گسترده‌ای مانند اینترنت، انواع حسگرها، برنامه‌های اطلاعاتی که از مردم جمع‌آوری شده بودند و… در آن دخالت داشتند؛ مانند پروژه ژنوم انسان و همچنین فایل‌های ضبط‌شده صدا و تصویر.
به‌مرور زمان که علم تحلیل وارد فاز دوم شد، نیاز به ابزارهای جدید و قدرتمند و فرصت درآمدزایی با استفاده از این ابزارها احساس شد. شرکت‌ها به‌سرعت شروع به ساخت امکانات جدید و جذب مشتری کردند. استفاده اولیه از تحلیل داده باعث ایجاد شوقی بی‌سابقه میان شرکت‌ها برای به‌کار گرفتن این روش‌ها شد. لینکداین، برای مثال، از تحلیل داده‌ها، استفاده‌های فراوانی برای بخش‌های مختلف وب‌سایت کرده است. برای مثال، بخش افرادی که شاید بشناسید، مشاغلی که احتمالا به آنها علاقه دارید، گروه‌هایی که شاید دوست داشته باشید در آنها عضو شوید، شرکت‌هایی که احتمالا مورد علاقه شما باشند یا مهارت‌های دوستان شما در لینکداین. برای این منظور، این شرکت یک زیرساخت قوی ساخته است و محقق‌هایی در زمینه دیتا به کار گرفته است. در کل می‌توان گفت لینکداین در این زمینه موفق بوده است. لینکداین تنها شرکتی نبود که روی سرعت تمرکز داشت. به گفته یکی از مدیران ارشد یک استارت‌آپ بزرگ داده: «ما سعی کردیم از یک شیوه توسعه استفاده کنیم، ولی خیلی کند بود.»
انواع تکنولوژی‌های نوآورانه باید ایجاد شوند و به قدرت برسند. داده بزرگ یا جا نمی‌شد یا به‌سرعت روی یک سرور تحلیل نمی‌شد. در نتیجه با استفاده از یک نرم‌افزار متن‌باز، مانند هادوپ (Hadoop) به بررسی و تحلیل سریع داده به‌موازات سرور می‌پرداختند.
برای کار با داده‌های ساخت‌نیافته، شرکت‌ها به استفاده از نوع جدیدی از پایگاه‌های داده با نام NoSQL روی آوردند. اطلاعات بسیاری در محیط‌های رایانش ابری، ذخیره و آنالیز شد. تکنولوژی‌های دیگری در این زمان معرفی شدند که شامل تحلیل‌های «در حافظه» و «در پایگاه داده» برای کاهش سریع تعداد بودند. روش‌های یادگیری ماشین (مدل توسعه و آزمودن نیمه‌خودکار) به‌کرات برای جمع‌آوری مدل از داده‌هایی استفاده می‌شد که به‌سرعت با زمان تغییر می‌کردند. گزارش‌ها و نمودارهای سیاه‌وسفید جای خود را به شکل‌ها و تصاویر رنگی و پیچیده داد.
مهارت‌ها و امکانات مورد نیاز برای مدل تحلیلی 2.0 با مدل 1.0 فرق داشت. نسل بعدی تحلیلگران کمّی، با نام محققان داده شناخته شده بودند و هر دو مهارت محاسباتی و تحلیل را داشتند. بعد از مدت کوتاهی، محققان داده، دیگر در دفترهای پشتی مشغول نبودند، بلکه می‌خواستند روی محصولات جدید کار کنند و به شکل‌گیری تجارت کمک کنند.
علم تحلیل 3.0 / عصر ارائه خدمات غنی از داده
همزمان با نسل دوم علم تحلیل، یک شاهد دقیق می‌توانست به‌سادگی، شروع عصر بعدی و بزرگ داده را پیش‌بینی کند. شرکت‌های بزرگ سیلیکون‌ولی شروع به سرمایه‌گذاری در علم تحلیل کردند تا محصولاتی را که مستقیما با مشتری در ارتباط‌اند، پشتیبانی کنند. این شرکت‌ها با استفاده از الگوریتم‌های جست‌وجوی بهتر و تبلیغات مناسب‌تر به تعداد بازدید از سایت و مشتری‌هایشان افزودند. لازم به ذکر است که همه این تحلیل‌ها روی داده‌های بزرگ انجام شده بود.
علم تحلیل 3.0 همان جایی است که کمپانی‌های دیگر شروع به سرمایه‌گذاری در داده کردند. امروزه فقط شرکت‌های بزرگ و آنلاین نیستند که می‌توانند محصولات خود را بر اساس تحلیل داده ساماندهی کنند. هر شرکتی در هر صنعتی این توانایی را دارد و این کار را انجام می‌دهد. اگر شرکت شما در کار ساخت و مصرف مواد است یا با مشتری‌ها تعامل دارد، مطمئنا در آن زمینه‌ها مقدار زیادی داده خواهید داشت. هر وسیله ارسال جنس و مشتری، ردپایی از خود بر جای می‌گذارد. شما توانایی این را دارید که آن داده‌ها را برای سودآوری بیشتر خودتان هم که شده، تحلیل کنید. می‌توانید حتی بهره‌وری را هم در این تحلیل‌ها دخالت دهید.
مانند دو عصر قبلی علم تحلیل داده، نسل سوم تحلیل، فرصت‌ها و چالش‌های جدیدی پیش روی شرکت‌ها و تأمین‌کننده‌های داده می‌گذارد. در ادامه نگاهی به تحلیل 3.0 در برخی شرکت‌ها خواهیم داشت.
اتفاق بزرگی در راه است
شرکت بوش، مستقر در آلمان، شرکتی 127ساله است. این شرکت نوآوری‌های بسیاری در زمینه کسب‌وکار داشته است و با استفاده از نتایج تحلیل داده خدمات هوشمندی در اختیار مشتری قرار می‌دهد. این خدمات شامل مدیریت ناوگان هوشمند، زیرساخت‌های هوشمند شارژ خودرو، مدیریت انرژی هوشمند، تحلیل هوشمند ویدئوهای امنیتی و بسیاری موارد دیگر می‌شود. برای شناسایی و توسعه این خدمات، بوش، تیمی ساخته است که روی تحلیل داده بزرگ و اینترنت اشیا تمرکز دارد.
اشنایدر الکتریک، شرکتی 170ساله در فرانسه است که اصالتاً تولیدکننده آهن، استیل و تسلیحات جنگی بود، ولی امروزه روی مدیریت و بهینه‌سازی انرژی، مدیریت شبکه هوشمند و اتوماسیون تمرکز دارد. این شرکت روی داده و نرم‌افزار در سیلیکون‌ولی بوستون و فرانسه سرمایه‌گذاری کرده است. سیستم پیشرفته مدیریت این شرکت، توزیع انرژی را در شرکت‌های دیگر مدیریت می‌کند. ADSM ابزارهای شبکه را کنترل و مونیتور می‌کند، قطع برق را کنترل می‌کند و کارمندان را توزیع و اعزام می‌کند. این ابزارها توانایی ادغام میلیون‌ها نقاط داده در عملکرد شبکه را می‌دهد و به مهندسان اجازه می‌دهد از تحلیل‌های بصری برای درک وضعیت شبکه استفاده کنند.
یکی از بزرگ‌ترین تحول‌های تحلیل داده در حال رخ دادن در شرکت 120ساله جنرال‌الکتریک است. این شرکت با استفاده از داده‌های به‌دست‌آمده از توربین‌ها، لوکوموتیوها، موتورهای جت و دستگاه‌های تصویربرداری پزشکی، می‌تواند بهترین و پربازده‌ترین خدمات را برای دستگاه‌ها و مشتری‌ها فراهم کند. شرکت بیش از دو میلیارد دلار برای جمع‌آوری و توسعه کارمندان ماهر در حوزه تحلیل و نرم‌افزار در سانفرانسیسکو سرمایه‌گذاری کرده است. در حال حاضر شرکت جنرال‌الکتریک این تکنولوژی تحلیل داده را به شرکت‌های دیگر می‌فروشد تا بتوانند از آن در بهروزرسانی سیستم‌های خود استفاده کنند. این شرکت پیشنهادهای جدیدی بر پایه مفاهیم داده بزرگ دریافت می‌کند، شامل Predix (پلتفورمی برای ساخت اپلیکیشن‌های اینترنت صنعتی) و Predictivity (مجموعه‌ای از 24 عملیات بهینه‌سازی که روی پلتفورم Predix برای صنایع کار می‌کند.)
شرکت UPS 107ساله، شاید بهترین مثالی باشد که از تحلیل داده در خط مقدم شرکت (برای مثال تحویل کالا به مشتری) استفاده می‌کند. این شرکت دیگر با داده بزرگ و تحلیل آن غریبه نیست، چراکه از سال 1980 شیوه تحویل بسته به مشتری و تعامل با آنها را زیر نظر گرفته است. روزانه روی 16.3 میلیون بسته ارسالی از سمت این شرکت تحلیل‌های متفاوتی انجام می‌شود و 39.5 سفارش تعقیب بسته دارد. منبع اخیر داده‌های دریافتی شرکت UPS حسگرهایی است که روی 46000 کامیون شرکت نصب شده است که سرعت، جهت حرکت کامیون، ترمز راننده و نحوه رانندگی را ذخیره می‌کنند. موج اطلاعات دریافتی از منابع مختلف، نه‌تنها عملکرد شرکت را نشان می‌دهد؛ بلکه می‌تواند زنگ خطری برای طراحی راه‌های بهتر رساندن جنس به مشتری‌ها باشد. به جرات می‌توان این ابتکار را که اوریون (ORION) نامیده می‌شود (مخفف جهت‌یابی و بهینه‌سازی در مسیر)، بزرگ‌ترین پروژه تحقیق عملیاتی نامید. این پروژه به‌صورت کلی روی داده‌هایی تمرکز دارد که از نقشه و الگوریتم‌های بهینه‌سازی به‌دست می‌آیند و می‌تواند در نهایت عملکرد راننده و دریافت و تحویل بسته را تحلیل کند. در سال 2011 با استفاده از نتایج تحلیل روی این حجم بزرگ از داده، این شرکت توانست 85 میلیون مایل از مسیر راننده‌ها کم کند و بیش از 8.4 میلیون گالن در سوخت خودروها صرفه‌جویی کند. موضوع اساسی در این زمینه این است که شرکت نه‌تنها با نتیجه تحقیقات، عملکرد شرکت را بهبود می‌بخشد، بلکه می‌تواند برای ساخت محصولات جدید از آنها استفاده کند.
برخی، عصر بعدی را به‌عنوان تحقق یک پیش‌بینی، به رسمیت می‌شناسند. در کتابی با نام رویای 2020 نوشته‌شده در سال 1991، استن دیویس (Stan Davis) و بیل دیویدسون (Bill Davidson)، راجع به شرکت‌هایی بحث می‌کنند که از تجارت خود اطلاعات استخراج می‌کنند و بر پایه اطلاعات، بهره‌وری شرکت را بالا می‌برند. در گذشته فقط چند شرکت بودند که از دیتا برای بالا بردن سطح خدمات استفاده می‌کردند، ولی امروزه در هر شرکتی در هر زمینه و صنعتی از این روش استفاده می‌شود؛ حتی در بانک‌ها و شرکت‌های خدمات سلامتی و بهداشتی.
گوگل، آمازون و شرکت‌های دیگر با دادن اطلاعات به مشتری‌ها موفق نشده‌اند؛ بلکه رمز موفقیت آنها استفاده از داده‌ها برای یافتن راه‌های سریع‌تر و راحت‌تر بوده است.
دیویس و دیویدسون زمانی کتاب را نوشتند که به دست آوردن داده برای بالا بردن عملکرد شرکت کافی بود، ولی امروزه زمان به‌قدری کم است که فرصتی برای تحلیل جزءبه‌جزء داده به‌شکل قدیم نیست. کمپانی‌هایی که در گذشته به جمع‌آوری اطلاعات بسنده می‌کردند، امروزه باید راهکارهایی بر اساس آن داده‌ها نیز ارائه دهند.
10 راهکار برای بالا بردن بهره‌وری شرکت با استفاده از نسل سوم تحلیل
شرکت‌ها باید با توجه به اطلاعات به‌دست‌آمده از داده‌ها، استراتژی اداره شرکت را تغییر دهند تا بتوانند با توانایی‌ها، موقعیت‌ها و اولویت‌های جدید با مشکلات دست‌وپنجه نرم کنند.
انواع مختلف داده درهم
سازمان‌ها به داده‌های بزرگ و کوچک ساخت‌یافته و ساخت‌نیافته از منابع داخلی و خارجی نیاز خواهند داشت تا به راهکارها و پیش‌بینی‌های جدیدی دست یابند که به خط مقدم شرکت برای بهترین کارکرد کمک کنند. برای مثال شرکت حمل‌ونقل اشنایدر نشنال، داده‌های جدیدی از حسگرها و منابع خود به الگوریتم‌های بهینه‌سازی منطقی خود وارد می‌کند تا به میزان استفاده شرکت از منابع سوختی، مکان و ظرفیت کانتینرها و شیوه رانندگی و رفتار راننده‌ها پی ببرد. این شرکت در نظر دارد با این روش و با استفاده از این داده‌ها، شبکه راه‌های خود را بهینه‌سازی کند، هزینه سوخت کامیون‌ها را کاهش دهد و خطر تصادفات را کم کند.
مجموعه جدیدی از گزینه‌های مدیریت داده
در نسل اول علم تحلیل، شرکت‌ها از پایگاه‌های داده برای پایه تحلیل و آنالیز استفاده کردند. در عصر دوم علم تحلیل، روی پایگاه‌های داده NoSQL و خوشه‌های HADOOP تمرکز کردند، ولی امروزه فقط اکتفا به یکی از اینها کافی نیست و باید از همه امکانات شامل: پایگاه‌های داده و NoSQL و Hadoop2، پایگاه‌های داده عمودی و سنتی و بسیاری امکانات دیگر بهره جست. تعداد و پیچیدگی انتخاباتی که معماران آی‌تی با آنها درگیر هستند، به‌طور قابل ملاحظه‌ای افزایش یافته است و تقریبا هر شرکت با داده‌هایی مرکب از داده‌های مختلف روبه‌رو خواهند شد. فرمت‌های قدیمی از میان نرفته‌اند، ولی به فرایندهای جدیدی برای استفاده از این داده‌ها و ارزیابی آنها در روند تحقیق و تولید نیاز است.
روش‌های سریع‌تر آنالیز
تکنولوژی‌های داده بزرگ از عصر 2.0 به‌طور قابل ملاحظه‌ای سریع‌تر از روش‌ها و تکنولوژی‌های مورد استفاده در عصر قبلی هستند. برای تکمیل آنها روش‌های تحلیل سریع‌تر و روش‌های یادگیری ماشین استفاده می‌شوند تا راهکارهایی مفید و در زمان کمتر ایجاد کنند. همانند سیستم‌های چالاک، هدف از این روش‌ها تحویل مکرر خروجی‌ها و نتایج آنالیزها و تحلیل‌ها به ذی‌نفعان پروژه است. مهم‌ترین چالش در عصر تحلیل 3.0 به‌کارگیری روش‌های توسعه عملی و فرایندهای تصمیم‌گیری برای سود بردن از دستاوردهای فناوری‌های نو است.
تجزیه‌وتحلیل فشرده
همزمان با افزایش سرعت پردازش و تحلیل داده‌ها، مدل‌هایی در نسل سوم تحلیل داخل فرایندهای تصمیم‌گیری و روش‌های عملی جاسازی می‌شوند که باعث افزایش سرعت و تاثیرگذاری می‌شود. برای مثال، شرکت پروکتر اند گمبل از تحلیل داده در مدیریت شرکت و تصمیم‌گیری استفاده می‌کند. این شرکت از بیش از 50 محیط کسب‌وکار (business sphere تعدادی دفتر متعلق به یک شرکت هستند که داده‌ها به‌صورت تصویری نمایش داده می‌شوند تا بتوان استراتژی را بر اساس آنها تنظیم کرد) و بیش از 50000 decision cockpit (که نوعی نرم‌افزار است و روی دسکتاپ کارمندان قابل‌دسترسی است و داده‌ها را به‌صورت تصویری نمایش می‌دهد.) روی کامپیوتر کارمندان وجود دارد.
بعضی شرکت‌ها نتیجه تحلیل داده‌ها را روی سیستم‌های تمام‌خودکار توسط الگوریتم‌ها و قوانین تحلیل‌محور پیاده می‌کنند. بعضی‌ها نتیجه این تحلیل‌ها را در تعامل با مشتری و روی محصولات دخالت می‌دهند. به هر حال هر گونه که از نتایج تحلیل داده‌ها استفاده کنیم، دخالت دادن این آنالیزها روی سیستم‌ها و فرایندها، نه‌تنها به معنی سرعت بیشتر است؛ بلکه تصمیم‌گیری بدون داده را به مشکلی بزرگ تبدیل می‌کند.
کشف اطلاعات
برای توسعه محصولات و خدمات بر اساس داده‌ها، شرکت‌ها علاوه بر مهارت‌ها به یک پلتفورم قوی کشف داده نیاز دارند. هرچند پایگاه‌های داده سازمانی در اصل برای تحلیل و اکتشاف داده‌ها در نظر گرفته شده بودند، ولی به‌تدریج به انبار داده برای بسیاری سازمان‌های دیگر تبدیل شدند و همان‌طور که قبلا اشاره شد، به دست آوردن داده‌ها عمل زمانبری است. محیط‌های جست‌وجوی داده این امکان را فراهم می‌کند که بتوان بدون آمادگی لازم، ویژگی‌ها و خصوصیات اصلی را استخراج کرد.
همکاری تیم‌های تحلیل داده
در شرکت‌های آنلاین و استارت‌آپ‌های داده بزرگ، محققان داده اغلب آزادی عمل بالایی دارند. در شرکت‌های بزرگ‌تر، تیم‌های تحلیل داده باید با تیم‌های متعددی در شرکت کار کنند تا از کارکرد داده‌ها در تحلیل‌های بزرگ‌تر اطمینان حاصل کنند. در بسیاری موارد، محققان دیتا در این‌گونه شرکت‌ها، تحلیلگرهای کمّی هستند که مجبورند بیشتر از آنچه دوست دارند، زمان صرف مدیریت داده کنند. امروزه شرکت‌ها، هکرهای داده را استخدام می‌کنند تا با تحلیلگران ماهر در مدل‌سازی کار کنند.
هر دو گروه ملزم به کار با فناوری اطلاعات هستند که نیاز به داده بزرگ و زیرساخت تحلیلی را فراهم می‌کند، سندباکس‌هایی برای کشف و ذخیره داده تنظیم می‌کند و به تحلیل‌ها جنبه تولیدی و عملی می‌دهد. این دو تیم از تمام امکانات موجود بهره می‌برند و تمام تلاش خود را می‌کنند که بتوانند با همکاری هم و به بهترین نحو، داده‌ها را تحلیل کنند، هرچند گاهی بین وظایف دو گروه تحلیلگر، همپوشانی‌هایی نیز دیده می‌شود.
مدیر بخش تحلیلی
زمانی که تحلیل و آنالیز داده تبدیل به بخشی مهم در یک شرکت می‌شود، نیاز به بخش مدیریتی احساس می‌شود؛ از جمله شرکت‌ها شروع به ایجاد بخش‌های مدیریتی برای مدیریت داده‌ها و تحلیل آنها و افزایش قابلیت‌های تیم می‌کنند. سازمان‌های بسیاری از قسمت‌های تحلیلی و مدیرانی برای آنها استفاده می‌کنند؛ از جمله AIG، FICO، USAA، بخش پزشکی دانشگاه پنسیلوانیا، کمپین انتخاباتی اوباما، ولز فارگو (Wells Fargo) و بانک آمریکا.
تحلیل توصیفی
سه نوع تحلیل وجود دارد: توصیفی که تحلیل‌هایی از گذشته ارائه می‌دهد. پیش‌بینی که از مدل‌های مبتنی بر داده‌های گذشته برای پیش‌بینی آینده استفاده می‌کند و تجویزی که از مدل‌ها برای تعیین رفتارها و اقدامات بهینه استفاده می‌کند. هرچند نسل سوم تحلیل شامل هر سه این تحلیل‌هاست، ولی تاکید به‌خصوصی روی آخرین نوع تحلیل دارد. مدل‌های تجویزی نیاز به ارزیابی و بهینه‌سازی در ابعاد بزرگ دارند و وسیله‌ای برای استفاده از علم تحلیل در فرایندهای کلیدی و رفتارهای کارمندان هستند. این نوع از علم تحلیل، سطح بالایی از منافع عملی را به ارمغان می‌آورند، ولی نیاز به عملیات و برنامه‌ریزی سطح بالایی دارند. برای مثال، اگر سیستم UPS ORION اطلاعات غلطی برای مسیریابی در اختیار رانندگان قرار دهد، چندان مفید و قابل استفاده نخواهد بود. به گفته عوامل اجرایی UPS، بیشتر زمان روی مسائل مدیریت تغییر، صرف شده تا الگوریتم و توسعه سیستم.
تحلیل در معیار صنعتی
برای شرکت‌هایی که از علم تحلیل فقط برای تصمیم‌گیری‌های داخلی شرکت استفاده می‌کنند، عصر سوم علم تحلیل، فرصتی برای استفاده بیشتر از این فرایندها در مقیاس صنعتی فراهم می‌آورد. ایجاد مدل‌هایی با استفاده از یادگیری ماشین، به سازمان کمک می‌کند پیش‌بینی دقیق‌تری از رویدادهای آینده داشته باشد. برای مثال IBM قبلا از 150 مدل در روند سالانه «تولید تقاضا» استفاده می‌کرد که نشان می‌داد کدام مشتری‌ها ارزش وقت و انرژی بیشتری از سمت مسئول فروش داشتند. IBM با کار با شرکت‌های کوچک، روش‌های مدرن تحلیل و استفاده از «کارخانه مدل» و خط مونتاژ داده، سالانه بیش از 5000 مدل تولید می‌کند و فقط به چهار نفر در این راستا نیاز دارد. سیستم جدید IBM می‌تواند 95 درصد کارهای مدل‌سازی را بدون دخالت انسانی انجام دهد و فقط به سه درصد تحلیل از سوی یک محقق تحلیلگر نیاز دارد و مدل‌های جدید، تحلیل‌هایی راجع به محصولات و مشتری‌های سطح بالا ارائه می‌دهند. ارزیابی که در یک بازار بزرگ آسیایی انجام شد، نشان داد که چنین مدل‌هایی در مقایسه با مدل‌های تقسیم‌بندی غیرآماری، فیدبک مثبتی از سمت مشتری‌ها در پی داشته است.
روش‌های جدید تصمیم‌گیری و مدیریت
برای اینکه تحلیل‌ها به اقتصاد داده در شرکت شما قدرت ببخشند، به روش‌های جدیدی با ضریب اطمینان بالا برای تصمیم‌گیری و مدیریت نیاز دارید. مدیران باید با مدیریت بر اساس تحلیل داده‌ها به‌راحتی کنار بیایند و به این نتیجه برسند که قبل از هر ابتکار و عملی باید ارزیابی در مقیاس کوچک به‌صورت سیستماتیک انجام شود.
بر خلاف آنچه انتظار می‌رود، گاهی اوقات اطمینان حاصل از تغییرات ایجادشده در اثر داده بزرگ چندان بالا نیست. داده‌ها به‌سرعت و در مقدار زیاد به دست می‌آیند. برای مثال، فیدبک به‌دست‌آمده از شبکه‌های اجتماعی را در نظر بگیرید. امکان دارد این داده‌ها به‌صورت ناگهانی بالا و پایین بروند، چنین داده‌هایی بیانگر بروز مشکلات آتی در شرکت است. این‌گونه نشانه‌ها، مطمئن نیستند، ولی نشانگر هستند. مدیران باید دستورالعمل‌هایی برای چنین مواقعی در نظر داشته باشند تا در تصمیم‌گیری به آنها کمک کنند.
عدم قطعیت می‌تواند از ذات داده بزرگ هم ناشی شود. نتایج حاصل از داده بزرگ اغلب شامل همبستگی است، نه علیت و گاهی اوقات داده‌ها شانسی روی می‌دهند؛ هرچند وجود تعداد زیادی داده باعث ضعیف شدن این‌گونه فاکتورها می‌شود. این حقایق ممکن است برخی مدیران را ناامید کند. اگر موارد و مشکلات تحت نظر، اولویت و اهمیت بالایی برای شرکت داشته باشند، باید بررسی‌های بیشتری روی آنها انجام شود.
استفاده از تحلیل تجویزی نیاز به تغییراتی در شیوه مدیریت کارمندان خط مقدم دارد. شرکت‌ها نظارت بیشتری روی رانندگان کامیون و خلبانان خواهند داشت (و تمامی کارمندان با خود، سنسوری برای دریافت اطلاعات حمل می‌کنند که می‌توان گوشی‌های هوشمند را جزء سنسورها به‌حساب آورد)؛ البته این زیر نظر گرفتن کارمندان می‌تواند نارضایتی و ناراحتی به همراه آورد.
ایجاد ارزش در اقتصاد داده
آیا نسل سوم تحلیل داده، آخرین نسخه از این علم خواهد بود؟ به احتمال زیاد پاسخ منفی است، ولی در آینده این نسل و این دوره از تحلیل دیتا به‌عنوان دوره‌ای شناخته خواهد شد که در آن عموم شرکت‌ها شروع به سرمایه‌گذاری در این بخش کردند.
شرکت‌های آنلاینی که داده بزرگ را جزء سرمایه‌گذاری‌های خود قرار دادند، از ابتدا به این حوزه توجه داشتند. آنها به ادغام داده‌های بزرگ با منابع سنتی اطلاعات و تجزیه‌وتحلیل انجام‌شده روی آن نیازی نداشتند، چراکه بیشتر آنها، منابع سنتی نداشتند. آنها نیازی به ادغام فناوری داده‌های بزرگ با زیرساخت‌های IT سنتی نداشتند؛ در شرکت‌هایشان این زیرساخت‌ها وجود نداشت. تحلیل بزرگ داده می‌تواند تنها تحلیل داده در شرکت باشد و به مکمل دیگری نیاز ندارد، ولی هر کدام از شرکت‌های امروزی نسخه خاصی از نسل سوم تحلیل در اختیار دارد.
البته یک‌چیز واضح هست؛ اینکه توانایی‌های مورد نیاز برای شرکت‌های قدیمی و استارت‌آپ‌های جدید با استفاده از مدل‌های قدیمی ایجاد نمی‌شوند. مدل داده بزرگ قدم بزرگی رو به جلو بود، ولی برای مدت‌زمان طولانی کارساز نیست. شرکت‌هایی که می‌خواهند در اقتصاد داده موفق باشند، باید در این فکر باشند که تحلیل داده چگونه می‌تواند به افزایش ارزش شرکت و مشتریانشان بیفزاید. علم تحلیل 3 جهت تغییر را مشخص می‌کند و مدل جدیدی برای رقابت روی تحلیل داده به‌شمار می‌آید.