فن آوری برای تجزیه و تحلیل داده های بزرگ. داده های بزرگ و Blockchain - دستیابی به موفقیت در منطقه تجزیه و تحلیل داده ها. کارشناسان: پیک مد در داده های بزرگ

داده های بزرگ - چنین کلمات ساده ای است

در سال 2010، اولین تلاش ها شروع به تصمیم گیری در مورد افزایش مشکل داده های بزرگ کرد. محصولات نرم افزاری صادر شد، اقدام آن به منظور به حداقل رساندن خطرات در هنگام استفاده از آرایه های اطلاعاتی بزرگ انجام شد.

تا سال 2011، شرکت های بزرگ مانند مایکروسافت، اوراکل، EMC و آی بی ام به داده های بزرگ علاقه مند بودند، آنها برای اولین بار از داده های بزرگ در استراتژی های توسعه خود استفاده کردند و کاملا با موفقیت بودند.

دانشگاه ها شروع به مطالعه داده های بزرگ به عنوان یک مورد جداگانه در سال 2013 - در حال حاضر در حال حاضر مشکلات در این زمینه، نه تنها علوم داده، بلکه همچنین در همکاران با اشیاء محاسباتی وجود دارد.

روش های اصلی تجزیه و تحلیل و پردازش داده ها می تواند به شرح زیر باشد:

1. روش های کلاس یا عمق (داده کاوی).

این روش ها به اندازه کافی زیاد هستند، اما آنها توسط یک متحد متحد می شوند: ابزارهای ریاضی مورد استفاده در ترکیب با دستاوردهای فناوری اطلاعات فناوری اطلاعات استفاده می شود.

1. crowdsourcing

این تکنیک به شما امکان می دهد اطلاعات را در همان زمان از چندین منبع دریافت کنید و تعداد اخیر عملا نامحدود است.

1. A / B تست.

از تمام مقدار داده ها، مجموعه کنترل عناصر انتخاب شده است، که به طور متناوب در مقایسه با سایر ترکیبات مشابه، جایی که یکی از عناصر تغییر کرده است. انجام چنین تست ها به تعیین نوسانات این پارامترها کمک می کند تا بیشترین تاثیر را بر روی کل کنترل داشته باشند. با تشکر از حجم داده های بزرگ، ممکن است تعداد زیادی از تکرارها را انجام دهید، هر کدام از آنها به بالاترین نتیجه ممکن نزدیک می شوند.

1. پیش بینی تجزیه و تحلیل.

کارشناسان این منطقه در حال تلاش برای پیش بینی پیش بینی پیش بینی شده و برنامه ریزی آنچه که یک شی کنترل شده رفتار می کند تا راه حل سودمند ترین در این وضعیت را اتخاذ کند.

1. آموزش ماشین ( هوش مصنوعی).

بر اساس تجزیه و تحلیل تجربی اطلاعات و ساخت و ساز بعدی الگوریتم های خودآموزی.

1. تجزیه و تحلیل شبکه

شایع ترین روش مطالعه شبکه های اجتماعی - پس از دریافت داده های آماری، گره های ایجاد شده در شبکه مورد تجزیه و تحلیل قرار گرفته است، یعنی تعاملات بین کاربران فردی و جوامع آنها.

چشم انداز و توسعه روند توسعه داده های بزرگ

در سال 2017، زمانی که داده های بزرگ متوقف شد چیزی جدید و ناشناخته بود، اهمیت آنها نه تنها کاهش نمی یابد، بلکه حتی بیشتر افزایش یافت. در حال حاضر کارشناسان شرط بندی بر این واقعیت است که تجزیه و تحلیل مقادیر زیادی از داده ها نه تنها برای سازمان های غول پیکر، بلکه برای نمایندگان کسب و کار کوچک و متوسط \u200b\u200bنیز در دسترس خواهد بود. این رویکرد برنامه ریزی شده است که با استفاده از اجزای زیر اجرا شود:

• فضای ذخیره ابری.

ذخیره سازی و پردازش داده ها سریعتر و مقرون به صرفه می شود - در مقایسه با هزینه های حفظ مرکز داده های خود و گسترش ممکن از کارکنان برای اجاره ابر به نظر می رسد جایگزین ارزان تر است.

• با استفاده از داده های تاریک

به اصطلاح "داده های تاریک" - تمام اطلاعات غیر اجتماعی در مورد یک شرکت که نقش کلیدی را به طور مستقیم از آن بازی نمی کند، اما می توان آن را به یک فرمت جدید برای ذخیره سازی اطلاعات تبدیل کرد.

• هوش مصنوعی و یادگیری عمیق.

یادگیری فناوری هوش مصنوعی، تقلید ساختار و کار مغز انسان، به عنوان غیر ممکن است که مناسب برای پردازش مقدار زیادی از اطلاعات دائما در حال تغییر است. در این مورد، ماشین همان کار را انجام می دهد که فرد باید انجام دهد، اما احتمال خطا به طور قابل توجهی کاهش می یابد.

• blockchain

این تکنولوژی به شما امکان می دهد تا سریعا معاملات اینترنت را افزایش دهید و از جمله بین المللی استفاده کنید. یکی دیگر از Blockchain این است که به لطف او هزینه های معامله را کاهش می دهد.

• خدمات خود و کاهش قیمت.

در سال 2017، برنامه ریزی شده برای معرفی "سیستم عامل های خودپرداز" - این سیستم عامل های رایگان است، جایی که نمایندگان کسب و کارهای کوچک و متوسط \u200b\u200bقادر خواهند بود به طور مستقل داده های ذخیره شده را ارزیابی کنند و آنها را مرتب کنند.

ویزا به طور مشابه از داده های بزرگ استفاده می شود، پیگیری تلاش های جعلی برای تولید این یا آن عملیات. با توجه به این، سالانه آنها از نشت بیش از 2 میلیارد دلار نجات می یابند.

وزارت کار آلمان توانسته است هزینه 10 میلیارد یورو را کاهش دهد و سیستم داده های بزرگی را برای کار بر روی استرداد مزایای بیکاری معرفی کند. در عین حال، نشان داد که پنجم از مزایای داده های شهروندان به بویژه دریافت می شود.

داده های بزرگ از بازی و صنعت بازی خارج نشدند. بنابراین، توسعه دهندگان دنیای تانک ها مطالعه ای از اطلاعات مربوط به همه بازیکنان را انجام دادند و شاخص های موجود فعالیت خود را مقایسه کردند. این کمک به پیش بینی خروج احتمالی آینده بازیکنان - تکیه بر مفروضات ساخته شده، نمایندگان سازمان توانستند به طور موثر با کاربران ارتباط برقرار کنند.

همچنین سازمان های شناخته شده ای که از داده های بزرگ استفاده می کنند نیز می توانند به HSBC، NASDAQ، COCA-COLA، Starbucks و AT & T مربوط باشند.

مشکلات داده های بزرگ.

بزرگترین مشکل داده های بزرگ هزینه پردازش آنها است. این می تواند شامل هر دو تجهیزات گران قیمت و کارشناسان حقوق و دستمزد باشد، قادر به خدمات آرایه های اطلاعاتی بزرگ است. واضح است که تجهیزات باید به طور منظم به روزرسانی شوند تا حداقل عملکرد را با افزایش میزان داده ها از دست ندهد.

مشکل دوم دوباره با تعداد زیادی از اطلاعاتی که باید پردازش شود، مرتبط است. اگر، به عنوان مثال، مطالعه 2-3 را نمی دهد، و تعداد زیادی از نتایج بسیار دشوار است به هدف باقی بماند و از کل جریان داده ها اختصاص داده شود و تنها کسانی که تاثیر واقعی بر وضعیت هر پدیده داشته باشند.

مشکل داده های بزرگ حریم خصوصی. با توجه به این واقعیت که اکثر خدمات خدمات مشتری به استفاده از داده های آنلاین منتقل می شوند، بسیار آسان است که به یک هدف دیگر برای مجرمان سایبری تبدیل شود. حتی یک ذخیره سازی ساده از اطلاعات شخصی بدون هیچ معامله اینترنتی می تواند با ناخواسته برای مشتریان ناخواسته باشد. فضای ذخیره ابری عواقب.

مشکل از دست دادن اطلاعات. اقدامات احتیاطی نیاز به محدود کردن ساده سازی داده های تک تک و حداقل 2-3 پشتیبان گیری ذخیره سازی. با این حال، با افزایش حجم، پیچیدگی با رزرو - و متخصصان فناوری اطلاعات در حال تلاش برای پیدا کردن راه حل بهینه این مشکل.

بازار فناوری اطلاعات بزرگ در روسیه و جهان

با توجه به 2014، 40٪ از بزرگترین بازار داده ها خدمات خدمات است. کمی پایین تر (38٪) به این شاخص درآمد از استفاده از داده های بزرگ در سخت افزار کامپیوتر. 22٪ باقی مانده به سهم نرم افزار می آید.

محصولات مفید در محصولات بخش جهانی برای حل مشکلات داده های بزرگ، با توجه به اطلاعات آماری - در حافظه و سیستم های تحلیلی NoSQL. 15 و 12 درصد از بازار، به ترتیب، یک فایل ورودی تحلیلی و پلت فرم ستون را اشغال می کنند. اما Hadoop / MapReduce در عمل مقابله با مشکلات داده های بزرگ بیش از حد کارآمد نیست.

نتایج معرفی فن آوری های داده های بزرگ:

• کیفیت خدمات مشتری؛
• بهینه سازی ادغام در زنجیره تامین؛
• بهینه سازی سازمان برنامه ریزی؛
• شتاب تعامل با مشتریان؛
• بهبود کارایی درخواست های مشتری؛
• کاهش هزینه های خدمات؛
• بهینه سازی برنامه های کاربردی مشتری.

بهترین کتاب ها در مورد داده های بزرگ

"چهره انسان از داده های بزرگ"، ریک اسمولیان و جنیفر ervitt

مناسب برای مطالعه اولیه فن آوری ها برای پردازش داده های بزرگ - آسان و قابل فهم به مورد است. آن را روشن می کند که چگونه فراوانی اطلاعات تحت تاثیر قرار گرفته است زندگی روزمره و تمام حوزه های آن: علم، کسب و کار، پزشکی، و غیره شامل تصاویر متعدد است، بنابراین بدون تلاش بسیار درک شده است.

"مقدمه ای بر داده کاوی"، Pang-Ning Tang، مایکل استینباخ و ویپین کومار

همچنین برای کتاب مبتدیان بر روی داده های بزرگ مفید است، توضیح کار با داده های بزرگ بر اساس اصل "از ساده به پیچیده". بسیاری از لحظات بدون علامت در مرحله اولیه عبارتند از: آماده سازی برای پردازش، تجسم، OLAP، و همچنین برخی از روش های تجزیه و تحلیل و طبقه بندی داده ها.

"Python Machine Learning"، Sebastian Rashka

راهنمای عملی برای استفاده از داده های بزرگ و کار با آنها با استفاده از زبان برنامه نویسی پایتون. مناسب برای هر دو دانش آموز از تخصص های مهندسی و متخصصانی که می خواهند دانش خود را عمیق تر کنند.

"Hadoop for Dummies"، Dirk Dehrus، Paul S. Zikopulos، رومی B. Melnik

Hadoop یک پروژه است که به طور خاص برای کار با برنامه های توزیع شده ایجاد شده است که در همان زمان اقدام به هزاران گره را سازماندهی می کنند. آشنایی با او جزئیات بیشتری را برای درک کاربرد عملی داده های بزرگ کمک خواهد کرد.

با توجه به تحقیقات و روند

داده های بزرگ، "داده های بزرگ" برای چندین سال در حال حاضر، به عنوان شما تبدیل به یک مثل در زبان در آن و مطبوعات بازاریابی. و روشن است: فن آوری های دیجیتال زندگی یک مرد مدرن نفوذ کرد، "همه چیز نوشته شده است." مقدار داده ها در مورد دو طرف مختلف زندگی در حال رشد است، و در عین حال امکان ذخیره سازی اطلاعات در حال افزایش است.

فن آوری های ذخیره سازی فناوری جهانی

منبع: Hilbert و Lopez، ظرفیت تکنولوژیکی جهان برای ذخیره، برقراری ارتباط، و محاسبه اطلاعات، علم، 2011 جهانی.

اکثر کارشناسان موافقند که شتاب رشد داده ها یک واقعیت عینی است. شبکه های اجتماعی، دستگاه های تلفن همراه، داده ها از دستگاه های اندازه گیری، اطلاعات کسب و کار - فقط چند نوع منابع که می توانند اطلاعات غول پیکر تولید کنند. بر اساس مطالعه IDCجهان دیجیتال ، منتشر شده در سال 2012، 8 سال آینده مقدار داده ها در جهان به 40 zb (zettabytes) برسد که معادل 5،200 گیگابایت در هر ساکن این سیاره است.

رشد اطلاعات دیجیتال جمع آوری شده در ایالات متحده آمریکا

منبع: IDC.

بخش قابل توجهی از اطلاعات به مردم ایجاد نمی شود، اما ربات ها هر دو یکدیگر را تعامل می کنند و با سایر شبکه های داده ها مانند، به عنوان مثال، سنسورها و دستگاه های هوشمند تعامل دارند. در چنین نرخ رشد، میزان داده های موجود در جهان، با توجه به پیش بینی های محققان، هر ساله دو برابر خواهد شد. تعداد سرورهای مجازی و فیزیکی در جهان به دلیل گسترش و ایجاد مراکز داده جدید، ده برابر رشد خواهد کرد. در این راستا، نیاز به استفاده کارآمد و کسب درآمد از این داده ها در حال افزایش است. از آنجایی که استفاده از داده های بزرگ در کسب و کار نیاز به سرمایه گذاری های قابل توجهی دارد، پس لازم است که به وضوح وضعیت را درک کنید. و او، اساسا ساده است: برای بهبود بهره وری کسب و کار می تواند هزینه ها یا افزایش فروش را کاهش دهد.

شما به داده های بزرگ نیاز دارید

پارادایم داده های بزرگ، سه نوع اصلی وظایف را تعریف می کند.

• ذخیره سازی و مدیریت حجم داده ها در صدها ترابایت یا پتبیتز که پایگاه های داده های ارتباطی معمولی اجازه استفاده کارآمد را نمی دهند.
• سازمان اطلاعات بدون ساختار متشکل از متون، تصاویر، ویدئو و سایر انواع داده ها.
• تجزیه و تحلیل داده های بزرگ، که پرسش از نحوه کار با اطلاعات بدون ساختار، تولید گزارش های تحلیلی، و همچنین معرفی مدل های پیش آگهی را مطرح می کند.

به گفته کارشناسان، بازار پروژه های بزرگ اطلاعات، با بازار اطلاعات کسب و کار (BA)، حجم آن در جهان، حدود 100 میلیارد دلار بود. این شامل اجزای فن آوری های شبکه، سرورها، نرم افزار و خدمات فنی است.

همچنین، استفاده از فن آوری های داده های بزرگ مربوط به تصمیمات کلاس گارانتی درآمد (RA) طراحی شده برای خودکار سازی فعالیت های شرکت ها است. سیستم های تضمین های مدرن درآمد شامل ابزارهای تشخیص ناسازگاری و تجزیه و تحلیل داده های عمیق، به دست آوردن تلفات احتمالی برای تشخیص تلفات احتمالی به موقع یا تحریف اطلاعاتی که می تواند منجر به کاهش نتایج مالی شود. در برابر این زمینه، شرکت های روسی تایید دسترسی به تقاضای فناوری های داده های بزرگ در بازار داخلی را تایید کردند، اشاره کرد که عوامل توسعه داده های بزرگ در روسیه، رشد داده ها، تسریع تصمیمات مدیریت و بهبود کیفیت آنها هستند.

چه چیزی مانع کار با داده های بزرگ می شود

امروزه، تنها 0.5٪ از داده های دیجیتال انباشته شده تجزیه و تحلیل می شود، با وجود این واقعیت که وظایف جدی صنعت عمومی وجود دارد که می تواند با استفاده از راه حل های تحلیلی کلاس داده بزرگ حل شود. بازارهای توسعه یافته بازار در حال حاضر نتایج را برای شما می توانید انتظارات مربوط به انباشت و پردازش داده های بزرگ را برآورد کنید.

یکی از عوامل اصلی که مانع معرفی داده های بزرگ - پروژه ها، علاوه بر هزینه های بالا، در نظر گرفته شده است مشکل انتخاب داده های پردازش شده: به این ترتیب، تعریف آنچه که داده ها باید بازیابی، ذخیره و تجزیه و تحلیل شود، و به حساب نمی آیند.

بسیاری از نمایندگان کسب و کار یادآور می شوند که مشکلات در اجرای پروژه های بزرگ داده ها با کمبود متخصصان - بازاریابان و تحلیلگران همراه است. از کیفیت کار کارکنان درگیر در تجزیه و تحلیل عمیق و پیش بینی، نرخ بازگشت سرمایه گذاری در داده های بزرگ به طور مستقیم بستگی دارد. پتانسیل عظیمی از داده های موجود در سازمان در سازمان نمی تواند به طور موثر توسط خود بازاریابان به دلیل فرآیندهای کسب و کار قدیمی یا مقررات داخلی. بنابراین، پروژه های بزرگ داده ها توسط کسب و کار به عنوان پیچیده نه تنها در پیاده سازی، بلکه در ارزیابی نتایج نیز درک می شود: ارزش داده های جمع آوری شده. خصوصیات کار با داده ها نیازمند بازاریابان و تحلیلگران برای تغییر توجه از تکنولوژی و ایجاد گزارش برای حل وظایف کسب و کار خاص است.

با توجه به حجم بزرگ و سرعت بالا جریان داده، روند مجموعه آنها شامل روش ETL در زمان واقعی است. برای مرجع:etl - OTانگلیسیاستخراج کردن, تبدیل, بار. - به معنای واقعی کلمه "استخراج، تحول، بارگذاری") - یکی از فرآیندهای اصلی مدیریت انبارهای داده ای که شامل موارد زیر می شود: استخراج داده ها از منابع خارجی، تحول آنها و تمیز کردن برای پاسخگویی به نیازها ETL باید نه تنها به عنوان فرآیند انتقال داده ها از یک برنامه به دیگری، بلکه همچنین به عنوان یک ابزار آماده سازی داده برای تجزیه و تحلیل مورد توجه قرار گیرد.

و سپس سوالات برای اطمینان از ایمنی داده های حاصل از منابع خارجی باید راه حل هایی داشته باشند که مربوط به مقدار اطلاعات جمع آوری شده است. از آنجاییکه روش های تجزیه و تحلیل داده های بزرگ تا کنون تنها پس از رشد داده ها توسعه می یابند، اموال سیستم های تحلیلی نقش مهمی در استفاده از روش های جدید آماده سازی و جمع آوری داده ها دارد. این نشان می دهد که به عنوان مثال، داده ها در مورد خریداران بالقوه یا انبار داده های عظیم با سابقه کلیک بر روی سایت های فروشگاه آنلاین می توانند جالب باشند تا وظایف مختلف را حل کنند.

مشکلات متوقف نمی شود

با وجود تمام مشکلات با معرفی داده های بزرگ، کسب و کار در نظر دارد سرمایه گذاری در این جهت را افزایش دهد. به شرح زیر از داده های گارتنر، در سال 2013، 64 درصد از بزرگترین شرکت های جهان در حال حاضر سرمایه گذاری کرده اند، یا قصد دارند در توسعه فن آوری های موجود در منطقه داده های بزرگ برای کسب و کار خود سرمایه گذاری کنند، در حالی که در سال 2012 58 درصد بود. براساس تحقیق گارتنر، رهبران سرمایه گذاری در صنایع بزرگ داده ها شرکت های رسانه ای، مخابرات، بخش های بانکی و شرکت های خدماتی هستند. نتایج موفقیت آمیز اجرای داده های بزرگ توسط بسیاری از بازیکنان عمده خرده فروشی از نظر استفاده از داده های به دست آمده با استفاده از ابزارهای شناسایی فرکانس رادیویی، سیستم های تدارکات و بازپرداخت (از زبان انگلیسی به دست آمده است. دوباره پر کردن - انباشت، دوباره پر کردن - R & T)، و همچنین از برنامه های وفاداری. تجربه خرده فروشی موفق، دیگر بخش های بازار را تحریک می کند روش های موثر کسب درآمد از داده های بزرگ برای تجزیه و تحلیل خود را به منابع کار بر روی توسعه کسب و کار. با تشکر از این، به گفته کارشناسان، در دوره تا سال 2020، سرمایه گذاری در مدیریت، ذخیره سازی برای هر گیگابایت داده ها از $ 2 تا 0.2 کاهش می یابد، اما برای مطالعه و تجزیه و تحلیل خواص تکنولوژیکی داده های بزرگ تنها 40 افزایش می یابد ٪

هزینه های ارائه شده در انواع مختلف پروژه های سرمایه گذاری در منطقه داده بزرگ، شخصیت های مختلفی دارند. مقالات هزینه بستگی به انواع محصولاتی است که بر اساس انتخاب شده اند راه حل های تعریف شده. بزرگترین بخش هزینه های پروژه های سرمایه گذاری، به گفته متخصصان، محصولات مربوط به جمع آوری، ساختار داده ها، تمیز کردن و مدیریت اطلاعات را تشکیل می دهند.

چگونه انجام می شود

ترکیبات بسیاری از نرم افزار و سخت افزار وجود دارد که به شما امکان می دهد راه حل های موثر داده های بزرگ را برای رشته های مختلف کسب و کار ایجاد کنید: از رسانه های اجتماعی و برنامه های کاربردی تلفن همراه، به تجزیه و تحلیل فکری و تجسم داده های تجاری. مزیت مهمی از داده های بزرگ سازگاری ابزارهای جدید با پایگاه داده های به طور گسترده ای مورد استفاده است که به ویژه در هنگام کار با پروژه های متقابل انضباطی، مانند سازمان فروش چند کاناله و پشتیبانی مشتری بسیار مهم است.

توالی داده های بزرگ شامل جمع آوری داده ها، ساخت اطلاعات دریافت شده با استفاده از گزارش ها و داشبورد (داشبورد)، ایجاد بینش و زمینه ها، و همچنین فرمول توصیه های عمل است. از آنجا که کار با داده های بزرگ به معنای هزینه های جمع آوری داده های بالا، نتیجه پردازش است که پیش از آن ناشناخته است، وظیفه اصلی یک درک واضح است که داده های مورد نیاز است و نه چقدر آنها در انبار هستند. در این مورد، جمع آوری داده ها به فرایند به دست آوردن به طور انحصاری لازم برای حل وظایف اطلاعات خاص تبدیل می شود.

به عنوان مثال، ارائه دهندگان ارتباطات مخابراتی مقدار زیادی از داده ها را جمع آوری می کنند، از جمله جغرافیایی که به طور مداوم دوباره پر شده اند. این اطلاعات ممکن است علاقه تجاری به آژانس های تبلیغاتی ارائه دهد که می تواند از آن برای نشان دادن تبلیغات هدفمند و محلی و همچنین خرده فروشان و بانک ها استفاده کند. چنین اطلاعاتی می تواند نقش مهمی در حل باز شدن نقطه معاملاتی در یک مکان خاص بر اساس داده های مربوط به حضور یک جریان هدفمند هدفمند مردم بازی کند. نمونه ای از اندازه گیری بهره وری تبلیغات در سپر های فضای باز در لندن وجود دارد. در حال حاضر پوشش چنین تبلیغاتی را می توان تنها با قرار دادن افراد با یک دستگاه خاص شمارش گذرنامه در نزدیکی ساختارهای تبلیغاتی اندازه گیری می شود. در مقایسه با این نوع اندازه گیری بهره وری تبلیغات، یک اپراتور تلفن همراه فرصت های بسیار بیشتری دارد - او دقیقا محل مشترکین خود را می داند، او می داند ویژگی های جمعیت شناختی، جنسیت، سن، وضعیت تاهل، و غیره

بر اساس چنین اطلاعاتی، در آینده، چشم انداز تغییر محتوای پیام تبلیغاتی باز می شود، با استفاده از ترجیحات یک فرد خاص که توسط سپر تبلیغاتی عبور می کند. اگر داده ها نشان دهند که عبور از یک فرد به سفر زیادی سفر می کند، می تواند تبلیغات توچال را نشان دهد. سازمان دهندگان مسابقه فوتبال می توانند تعداد طرفداران را تنها زمانی که آنها به بازی می آیند، ارزیابی کنند. اما اگر آنها فرصت درخواست از اپراتور را داشته باشند ارتباطات سلولی اطلاعاتی که بازدیدکنندگان در یک ساعت، روز یا ماه قبل از مسابقه بودند، این فرصت را برای برنامه ریزی مکان ها برای جابجایی مسابقات زیر ارائه می داد.

مثال دیگری این است که هر دو بانک می توانند از داده های بزرگ برای جلوگیری از تقلب استفاده کنند. اگر مشتری از دست دادن کارت اعلام کند، و هنگام خرید با کمک خود، بانک در زمان واقعی محل سکونت تلفن مشتری را در منطقه خرید که معامله رخ می دهد، می بیند، بانک می تواند اطلاعات را در مورد استفاده از آن بررسی کند مشتری، سعی نکرد آن را فریب دهد. یا وضعیت مخالف، زمانی که مشتری خرید را در فروشگاه خریداری می کند، بانک می بیند که کارت که در آن معامله اتفاق می افتد، و تلفن مشتری در یک مکان قرار دارد، بانک می تواند نتیجه بگیرد که صاحب آن از کارت لذت می برد. با تشکر از چنین مزایایی از داده های بزرگ، مرزها گسترش یافته است، که در حال اجرا انبارهای سنتی هستند.

برای موفقیت تصمیم گیری در مورد اجرای تصمیمات بزرگ داده ها، این شرکت نیاز به محاسبه پرونده سرمایه گذاری دارد و به دلیل بسیاری از اجزای ناشناخته، مشکلات زیادی را ایجاد می کند. پارادوکس تجزیه و تحلیل در چنین مواردی آینده پیش بینی می شود که آینده بر اساس گذشته، اطلاعاتی که اغلب وجود ندارد، پیش بینی می شود. در این مورد، یک عامل مهم یک برنامه ریزی روشن از اقدامات اولیه آن است:

• اولا لازم است یک کار تجاری خاص را تعریف کنیم، برای حل تکنولوژی های داده های بزرگ، این وظیفه، یک میله تعیین وفاداری مفهوم انتخاب شده خواهد بود. لازم است تمرکز بر جمع آوری داده ها دقیقا با این کار، و در طول بازرسی از مفهوم شما می توانید استفاده کنید ابزارهای مختلف، فرآیندها و روش های مدیریتی که اجازه می دهد تصمیمات آگاهانه تر در آینده ایجاد شود.
• ثانیا، بعید است که شرکت بدون مهارت و تجربه تجزیه و تحلیل داده ها قادر به موفقیت پروژه های بزرگ داده ها باشد. دانش لازم همیشه از تجربه تجزیه و تحلیل قبلی جریان می یابد، که عامل اصلی بر کیفیت کار با داده ها است. نقش مهم توسط فرهنگ استفاده از داده ها بازی می شود، زیرا اغلب تجزیه و تحلیل اطلاعات، حقیقت خشن را در مورد کسب و کار باز می کند و این حقیقت را به دست می آورد و با آن کار می کند، روش های توسعه یافته کار با داده ها ضروری است.
• ثالثا، ارزش تکنولوژی های بزرگ داده ها این است که بینش ها را ارائه دهند، تحلیلگران خوب، کسری بودجه در بازار باقی می مانند. آنها عادت دارند که متخصصان باشند که درک عمیق از حس تجاری داده ها دارند و دانستن نحوه اعمال آنها را دارند. تجزیه و تحلیل داده ها یک وسیله برای دستیابی به اهداف کسب و کار است و برای درک ارزش داده های بزرگ، یک مدل رفتار مربوطه و درک اقدامات آن مورد نیاز است. در این مورد، داده های بزرگ اطلاعات زیادی در مورد مصرف کنندگان ارائه می دهند، بر اساس آن شما می توانید راه حل های مفید برای کسب و کار را ایجاد کنید.

با وجود این واقعیت که بازار اطلاعات بزرگ روسیه فقط شروع به تشکیل، پروژه های فردی در این زمینه در حال حاضر کاملا با موفقیت اجرا می شود. بعضی از آنها در زمینه جمع آوری داده ها، مانند پروژه های FTS و سیستم های اعتباری اعتباری Tinkoff، دیگران - از لحاظ تجزیه و تحلیل داده ها و کاربرد عملی نتایج آن، موفقیت آمیز هستند: این یک پروژه Synqera است.

سیستم های اعتباری Tinkoff بانک یک پروژه را برای پیاده سازی پلت فرم GreenPlum EMC2 اجرا کرده است که یک ابزار برای محاسبات موازی عظیم است. در حین سالهای اخیر این بانک تقاضا برای میزان پردازش اطلاعات انباشته شده و تجزیه و تحلیل داده های زمان واقعی، ناشی از نرخ رشد بالا تعداد کاربران کارت اعتباری افزایش یافته است. این بانک اعلام کرد قصد دارد تا استفاده از فن آوری های داده های بزرگ را گسترش دهد، به ویژه برای پردازش داده های بدون ساختار و کار با اطلاعات شرکت های به دست آمده از منابع مختلف.

در حال حاضر در خدمات مالیاتی فدرال روسیه در حال حاضر یک لایه تحلیلی از انبار داده های فدرال وجود دارد. این بر اساس یک تک است فضای اطلاعاتی و دسترسی فن آوری به داده های مالیاتی برای پردازش آماری و تحلیلی. در طی اجرای این پروژه، کار بر روی تمرکز اطلاعات تحلیلی با بیش از 1200 منبع IFX محلی انجام می شود.

یکی دیگر از نمونه های جالب از تجزیه و تحلیل داده های بزرگ در زمان واقعی، راه اندازی روسیه Synqera است که پلت فرم ساده را توسعه داده است. راه حل بر اساس پردازش آرایه های داده های بزرگ است، این برنامه اطلاعات مربوط به خریداران، تاریخچه خرید، سن، جنس و حتی خلق و خوی آنها را تجزیه و تحلیل می کند. در دفتر جعبه در شبکه فروشگاه های لوازم آرایشی نصب شد صفحه نمایش لمسی با سنسورها به رسمیت شناختن احساسات مشتری. این برنامه خلق و خوی فرد را تعیین می کند، اطلاعات مربوط به آن را تجزیه و تحلیل می کند، زمان روز را تعیین می کند و پایه تخفیف های فروشگاه را اسکن می کند، پس از آن پیام های هدفمند را در مورد تبلیغات و پیشنهادات ویژه ارسال می کند. این راه حل افزایش وفاداری را افزایش می دهد و فروش خرده فروشان را افزایش می دهد.

اگر ما در مورد موارد موفق خارجی صحبت کنیم، در این رابطه، تجربه استفاده از فن آوری های داده های بزرگ در Dunkin`donuts، با استفاده از داده های زمان واقعی برای فروش محصولات. صفحه نمایش دیجیتال در فروشگاه ها جملات نمایش داده می شود که هر دقیقه هر دقیقه جایگزین هر دقیقه، بسته به زمان روز و در دسترس بودن محصولات. در چک های نقدی، این شرکت اطلاعاتی را دریافت می کند که پیشنهادات بیشترین پاسخ را از خریداران دریافت کرده اند. این رویکرد پردازش داده ها مجاز به افزایش سود و کالاهای گردشگری در سهام است.

به عنوان تجربه معرفی پروژه های داده های بزرگ نشان می دهد، این منطقه طراحی شده است تا با موفقیت حل وظایف کسب و کار مدرن. در عین حال، یک عامل مهم در دستیابی به اهداف تجاری هنگام کار با داده های بزرگ، انتخاب استراتژی مناسب است که شامل تجزیه و تحلیل هایی است که درخواست های مصرف کننده را شناسایی می کند، و همچنین استفاده از فن آوری های نوآورانه در منطقه داده های بزرگ.

بر اساس یک نظرسنجی جهانی، سالانه توسط Econsultancy و Adobe از سال 2012 در میان بازاریابان شرکت ها، "داده های بزرگ"، که مشخصه اقدامات مردم در اینترنت، می تواند بسیار زیادی انجام شود، انجام شود. آنها قادر به بهینه سازی فرآیندهای کسب و کار آفلاین هستند، به درک اینکه چگونه صاحبان دستگاه های تلفن همراه از آنها برای جستجوی اطلاعات استفاده می کنند یا به سادگی "بازاریابی بهتر" را استفاده می کنند. کاراتر. علاوه بر این، آخرین عملکرد سال به طور فزاینده ای به طور فزاینده ای است، به شرح زیر از نمودار ما نشان می دهد.

زمینه های اصلی بهره برداری از بازاریابان اینترنتی از لحاظ روابط مشتری

منبع: Econsultancy و Adobe منتشر شده است - emarketer.com

توجه داشته باشید که ملیت پاسخ دهندگان مهم نیست. به عنوان بررسی انجام شده توسط KPMG در سال 2013، نسبت "خوشبختی"، I.E. کسانی که از اطلاعات بزرگ در توسعه یک استراتژی کسب و کار استفاده می کنند، 56 درصد است، علاوه بر این، نوسانات منطقه به منطقه کوچک است: از 63 درصد در کشورهای آمریکای شمالی تا 50 درصد در EMEA.

با استفاده از داده های بزرگ در مناطق مختلف جهان

منبع: KPMG، منتشر شده است - emarketer.com

در همین حال، نسبت بازاریابان به چنین "روند مد" شبیه به نقص معروف است:

به من بگویید، وانو، آیا شما گوجه فرنگی را دوست دارید؟
- من دوست دارم خوردن، و بنابراین - نه.

با وجود این واقعیت که بازاریابان در کلمات "عشق" داده های بزرگ و به نظر می رسد حتی از آنها استفاده می کنند، در واقع، "همه چیز دشوار است"، همانطور که آنها در مورد قلب خود را در شبکه های اجتماعی می نویسند.

بر اساس یک نظرسنجی انجام شده توسط تحقیق دایره در ژانویه 2014 در میان بازاریابان اروپایی، 4 نفر از 5 نفر از پاسخ دهندگان از داده های بزرگ استفاده نمی کنند (علیرغم این واقعیت که آنها، البته "عشق"). علل متفاوت هستند Skeptics امضا شده کمی - 17٪ و دقیقا همان اندازه آنتیپودز آنها، I.E. کسانی که با اطمینان پاسخ می دهند: "بله." بقیه نوسان و شک و تردید، "باتلاق". آنها از یک پاسخ مستقیم تحت اعتقاد مطلوب در روحیه آنچه که "هیچ، اما به زودی" یا "صبر تا زمان استراحت" را ترک می کنند.

با استفاده از بازاریابان داده های بزرگ، اروپا، ژانویه 2014

منبع:dNX، منتشر شده -emarketerکام

چه چیزی آنها را گیج می کند؟ Sun Trifles. بعضی ها (دقیقا نیمه آنها) به سادگی این داده ها را باور نمی کنند. دیگران (آنها نیز بسیار زیاد هستند - 55٪) در همبستگی مجموعه های "داده ها" و "کاربران" دشوار است. کسی به سادگی (بیان اختلال سیاسی) اختلال intracorporate است: داده ها بین بخش های بازاریابی و ساختارهای فناوری اطلاعات به طور غیرقانونی راه می روند. نرم افزار دیگر با هجوم کار مقابله نمی کند. و غیره. از آنجاییکه تعداد کل سهام به طور قابل توجهی بیش از 100٪ است، روشن است که وضعیت "موانع چندگانه" اغلب یافت می شود.

موانع استفاده از داده های بزرگ در بازاریابی

منبع:dNX، منتشر شده -emarketerکام

بنابراین، لازم است که بیان کنیم که در حالی که "داده های بزرگ" یک پتانسیل بزرگ است که هنوز باید از آن استفاده کنید. به هر حال، این ممکن است دلیل این باشد که داده های بزرگ از دست دادن "روند مد" HALO، همانطور که داده های نظرسنجی انجام شده توسط ما قبلا توسط Econsultancy ذکر شده است.

مهمترین روند بازاریابی دیجیتال 2013-2014

منبع: Econsultancy و Adobe

برای جایگزینی، آنها از یک پادشاه دیگر - بازاریابی محتوا می آیند. چه مدت؟

غیرممکن است که بگوییم داده های بزرگ نوعی پدیده اساسا جدید است. منابع داده های بزرگ برای سالهای زیادی موجود بوده اند: پایگاه های داده های خرید مشتری، داستان های اعتباری، شیوه زندگی. و سالها، دانشمندان این داده ها را برای کمک به شرکت ها ارزیابی کرده اند و نیازهای مشتری آینده را پیش بینی می کنند. با این حال، امروز وضعیت در دو جنبه تغییر کرده است:

ابزار و روش های پیچیده تر برای تجزیه و تحلیل و ترکیب مجموعه های داده های مختلف وجود دارد؛

این ابزارهای تحلیلی با یک کل بهمن از منابع جدید داده های ناشی از انتقال به فن آوری های دیجیتال تقریبا تمام روش های جمع آوری و اندازه گیری داده ها، تکمیل می شود.

محدوده اطلاعات موجود به طور همزمان و الهام بخش، و محققان ترساندن محققانی که در محیط تحقیقاتی ساختاری رشد کرده اند. احساسات مصرف کننده توسط سایت ها و انواع انواع مختلف رسانه های اجتماعی ثبت می شود. واقعیت مشاهده تبلیغات نه تنها توسط کنسول های تلویزیونی، بلکه همچنین با کمک برچسب های دیجیتال و همچنین دستگاه های موبایلدست زدن به تلویزیون

داده های رفتاری (مانند تعداد تماس ها، عادات خرید و خرید) در حال حاضر در زمان واقعی در دسترس هستند. بنابراین، بسیاری از آنچه که توسط تحقیق مورد استفاده قرار گرفت، امروز می توانید با استفاده از منابع داده های بزرگ یاد بگیرید. و تمام این دارایی های اطلاعات به طور مداوم تولید می شود، صرف نظر از هر فرآیندهای تحقیقاتی. این تغییرات و ما را از ما می پرسند: آیا داده های بزرگ قادر به جایگزینی تحقیقات بازار کلاسیک خواهند بود.

این در مورد داده ها نیست، در مورد سوالات و پاسخ ها است

قبل از سفارش دادن به مراسم تشییع جنازه در تحقیقات کلاسیک، ما باید به خودمان یادآوری کنیم که حضور دارایی های داده خاص نیست، بلکه چیز دیگری است. دقیقا چه چیزی؟ توانایی ما برای پاسخ دادن به سوالات، این چیزی است که. دنیای جدید داده های بزرگ دارای یک ویژگی خنده دار است: نتایج به دست آمده بر اساس دارایی های اطلاعاتی جدید منجر به ظهور مسائل حتی بیشتر می شود و تحقیقات سنتی از این مسائل پاسخ می دهد. بنابراین، به عنوان بزرگترین داده ها افزایش می یابد، ما شاهد رشد موازی در حضور و نیاز به "داده های کوچک" (داده های کوچک)، که می تواند پاسخ به سوالات از دنیای داده های بزرگ را ارائه دهد.

وضعیت را در نظر بگیرید: یک تبلیغ کننده بزرگ نظارت مستمر ترافیک را در فروشگاه ها و حجم فروش در زمان واقعی انجام می دهد. تکنیک های تحقیقاتی موجود (که در آن ما با پانل های تحقیقاتی درباره انگیزه های آنها برای خرید و رفتار در نقاط فروش مصاحبه می کنیم) به ما کمک می کنیم تا بتوانیم بخش های خاصی از خریداران را هدف قرار دهیم. این تکنیک ها را می توان گسترش داد - آنها ممکن است شامل طیف گسترده ای از دارایی های داده های بزرگ تا نقطه ای که داده های بزرگ به وسیله ی مشاهدات منفعل و مطالعات - با روش تحقیق دائمی غیرقانونی از تغییرات یا رویدادهایی که نیاز به مطالعه می شود، می شود. این است که چگونه داده های بزرگ می توانند تحقیقات را از روال بیش از حد آزاد کنند. مطالعات اولیه دیگر نباید بر آنچه اتفاق می افتد تمرکز نکنند (این امر داده های بزرگ را ایجاد می کند). در عوض، تحقیقات اولیه می تواند بر توضیح اینکه چرا ما شاهد روند خاصی یا انحراف از روند تمرکز می کنیم تمرکز می کنیم. محقق قادر خواهد بود در مورد دریافت اطلاعات کمتر فکر کند و بیشتر در مورد چگونگی تجزیه و تحلیل آنها و استفاده از آنها.

در عین حال، ما می بینیم که داده های بزرگ به شما این امکان را می دهد که یکی از بزرگترین مشکلات ما را حل کنید - مشکل تحقیق بیش از حد طولانی. مطالعه مطالعات خود نشان داد که ابزار تحقیقاتی بیش از حد پف کرده تاثیر منفی بر کیفیت داده ها دارد. اگر چه بسیاری از متخصصان برای مدت زمان طولانی، حضور این مشکل را به مدت طولانی به رسمیت شناختند، آنها به طور مداوم به این عبارت پاسخ دادند: "اما من به این اطلاعات برای مدیریت برتر نیاز دارم"، و نظرسنجی های طولانی ادامه یافت.

در دنیای داده های بزرگ، که در آن شاخص های کمی را می توان با مشاهدات منفعل به دست آورد، این سوال بحث برانگیز می شود. باز هم، اجازه دهید تمام این تحقیقات مصرف را به یاد داشته باشیم. اگر داده های بزرگ به ما بینش ما در مورد مصرف با استفاده از مشاهدات منفعل می دهد، تحقیقات اولیه در قالب نظرسنجی ها دیگر نیازی به جمع آوری این نوع اطلاعات نیست و ما در نهایت قادر به تقویت دیدگاه شما از نظرسنجی های کوتاه نه تنها با خواسته های خوب خواهیم بود اما چیزی واقعی است.

داده های بزرگ به کمک شما نیاز دارند

در نهایت، "بزرگ" تنها یکی از ویژگی های داده های بزرگ است. مشخصه "بزرگ" به مقیاس اندازه و مقیاس اشاره دارد. البته، این مشخصه اصلی است، زیرا مقدار این داده ها فراتر از همه آنچه که ما با آن کار کرده ایم، فراتر می رود. اما ویژگی های دیگر این جریان های جدید داده ها نیز مهم هستند: آنها اغلب به طور کامل فرمت شده اند، بدون ساختار (یا در بهترین حالت، به طور جزئی ساختار یافته اند) و پر از عدم اطمینان هستند. منطقه توسعه مدیریت داده ها، "تجزیه و تحلیل نهادهای" مترو به نام مترو (Entity Analytics)، برای حل مشکل غلبه بر سر و صدا در داده های بزرگ طراحی شده است. وظیفه او این است که این مجموعه داده ها را تجزیه و تحلیل کنید و ببینید که تعداد مشاهدات به همان شخص اشاره دارد که مشاهدات فعلی است و کدام یک از آنها مناسب برای استفاده است.

این نوع تمیز کردن داده ها برای حذف سر و صدا و یا داده های اشتباه هنگام کار با داده های بزرگتر یا کوچک، ضروری است، اما این کافی نیست. ما همچنین باید زمینه ای را در اطراف دارایی های داده های بزرگ بر اساس تجربه قبلی، تجزیه و تحلیل و دانش گروهی ایجاد کنیم. در واقع، بسیاری از تحلیلگران نشان می دهد توانایی مدیریت عدم قطعیت ذاتی داده های بزرگ، به عنوان یک منبع مزیت رقابتی، به عنوان آن را به شما اجازه می دهد راه حل های موثرتر.

و در حال حاضر، تحقیقات اولیه نه تنها از روال معمول به لطف داده های بزرگ معاف می شود، بلکه به ایجاد محتوا و تجزیه و تحلیل در چارچوب داده های بزرگ کمک می کند.

یک مثال واضح از این می تواند کاربردی چارچوب اصلی جدید ما از سرمایه برند در رسانه های اجتماعی باشد (ما داریم صحبت می کنیم o توسعه یافته توسط B.ذوب رنگ قهوه ای. رویکرد جدید برای اندازه گیری ارزش نام تجاریخودشان به طور معناداری ناهمسان. چارچوب - "پارادایم تفاوت های قابل توجه" -R. & T. ) این مدل بر روی رفتارها در بازارهای خاص تأیید شده است، به صورت استاندارد اجرا می شود و در سایر مسیرهای بازاریابی آسان است سیستم های اطلاعاتی برای حمایت از تصمیم گیری. به عبارت دیگر، مدل سرمایه ما برند بر اساس روش های نظرسنجی ها (اگر چه نه تنها بر روی آنها)، تمام خواص لازم برای غلبه بر ماهیت غیر ساختاری، ناسازگار و نامحدود داده های بزرگ است.

اطلاعات مربوط به احساسات مصرف کننده ارائه شده توسط رسانه های اجتماعی را در نظر بگیرید. در شکل خام، قله ها و دکال های خلق و خوی مصرف کننده اغلب به حداقل می رسند با نام تجاری و پارامترهای سرمایه ای رفتار به دست آمده آفلاین: این فقط سر و صدای بیش از حد است. اما ما می توانیم این نویز را کاهش دهیم، استفاده از مدل های مربوط به مصرف کننده ما، تمایز مارک های مارک ها، پویایی ها و ویژگی های متمایز به داده های احساسات مصرف کننده خام، راه پردازش و تجمع داده های رسانه های اجتماعی بر این ابعاد است.

پس از آنکه داده ها مطابق با مدل چارچوب ما سازماندهی شده است، روند معمولا با پارامترهای سرمایه برند و رفتارهای به دست آمده به صورت آفلاین به دست می آید. در اصل، داده های رسانه های اجتماعی نمی توانند برای خود صحبت کنند. برای استفاده از آنها برای این منظور نیاز به تجربه و مدل های ما ساخته شده در اطراف مارک ها. هنگامی که رسانه های اجتماعی به ما می گویند اطلاعات منحصر به فرد، بیان شده در زبان که مصرف کنندگان برای توصیف مارک ها استفاده می کنند، ما باید از این زبان در هنگام ایجاد تحقیقات خود استفاده کنیم تا تحقیقات اولیه را بسیار کارآمدتر کنیم.

مزایای تحقیق آزادی

این ما را به این واقعیت باز می گرداند که داده های بزرگ به عنوان تحقیقات آنها بسیار معاف نیست. محققان از نیاز به ایجاد یک مطالعه جدید برای هر مورد جدید آزاد خواهند شد. دائما در حال رشد دارایی های مهم داده ها می تواند برای تحقیقات مختلف مورد استفاده قرار گیرد، که اجازه می دهد تا تحقیقات اولیه پس از آن در این موضوع عمیق تر شود و فضاهای موجود را پر کند. محققان از نیاز به تکیه بر نظرسنجی بیش از حد پف کرده آزاد خواهند شد. در عوض، آنها قادر به استفاده از نظرسنجی های کوتاه و تمرکز بر مهم ترین پارامترها هستند که کیفیت داده ها را بهبود می بخشد.

با تشکر از این آزادی، محققان قادر خواهند بود از اصول و ایده های سپرده خود استفاده کنند تا دقت و معنای دارایی های داده های بزرگ را اضافه کنند، که منجر به ظهور مناطق جدید برای تحقیقات با روش بررسی می شود. این چرخه باید به درک عمیق تر از انواع مسائل استراتژیک منجر شود و در نهایت، به سمت این واقعیت حرکت کند که همیشه باید هدف اصلی ما باشد - برای اطلاع رسانی و بهبود کیفیت راه حل های مربوط به نام تجاری و ارتباطات.

ما به طور منظم بر روی کلمات و تعاریف مد روز به قدم زدن، معنای آن به طور مستقیم به نظر می رسد درک شده است، اما یک تصویر واضح از این واقعیت است که هنوز هم برای این چیز است و چگونه کار می کند، ما نیستیم.

یکی از این مفاهیم، \u200b\u200bداده های بزرگ است، در روسیه، گاهی اوقات شما می توانید یک ترجمه ادبی - "داده های بزرگ" پیدا کنید، اما اغلب مردم صحبت می کنند و نوشتن می کنند: داده های بزرگ. مطمئنا شنیده یا، حداقل آنها این عبارت را در اینترنت ملاقات کردند، و به نظر می رسد ساده است، اما دقیقا همان چیزی است که دقیقا از ظرافت های بشردوستانهای اداری Diditiv-World همیشه روشن نیست.

یک تلاش عالی برای پر کردن این شکاف در مغز و گسترده ترین محدوده کاربران یک مقاله از یکی از نویسندگان مورد علاقه ما از برنارد مارا است که نامیده می شود "داده های بزرگ چیست؟ توضیح فوق العاده اثبات برای هر ". بدون تایید جرنون، تنها با هدف توضیح دادن ایده های کلیدی این پدیده برای هر، صرف نظر از آموزش و دامنه فعالیت.

در واقع، چند سال گذشته ما در حال حاضر در جهان زندگی می کنیم، از طریق داده های بزرگ شیب دار، اما همچنان در درک آنچه که هنوز هم اشتباه گرفته می شود. این امر تا حدودی اتفاق می افتد و به این دلیل که مفهوم داده های بزرگ به طور مداوم تبدیل و بازنگری می شود، زیرا دنیای فن آوری های بالا و پردازش آرایه های اطلاعاتی بزرگ به سرعت، از جمله تمام گزینه های جدید و جدید تغییر می کند. و مقدار این اطلاعات به طور مداوم در حال رشد است.

بنابراین میانگین داده های بزرگ - 2017 چیست؟

این همه با افزایش انفجاری در تعداد داده هایی که ما از ابتدای دوره دیجیتال ایجاد می کنیم، آغاز شد. این امر عمدتا به دلیل افزایش تعداد و قدرت رایانه ها، گسترش اینترنت و توسعه فن آوری هایی که می تواند اطلاعات را از دنیای واقعی و فیزیکی که در آن همه ما زندگی می کنند، ضبط کند و آن را به داده های دیجیتال تبدیل کند.

در سال 2017، ما داده ها را هنگامی که ما وارد اینترنت می کنیم، زمانی که ما از تلفن های هوشمند GPS ما استفاده می کنیم، زمانی که ما با دوستان در شبکه های اجتماعی ارتباط برقرار می کنیم، تولید می کنیم برنامه های موبایل یا موسیقی هنگامی که شما خرید می کنید.

ما می توانیم بگوییم که ما بسیاری از ردیابی دیجیتال را ذخیره می کنیم، هرچند که ما انجام می دهیم اگر اقدامات ما شامل هر گونه معاملات دیجیتال باشد. این، تقریبا همیشه و همه جا است.

علاوه بر این، با سرعت زیادی، مقدار داده های تولید شده توسط دستگاه ها در حال رشد است. داده ها هنگامی ایجاد می شوند و زمانی که دستگاه های هوشمند ما با یکدیگر ارتباط برقرار می کنند، ارسال می شود. شرکت های تولید در سراسر جهان مجهز به تجهیزات هستند که جمع آوری و انتقال را جمع آوری می کنند و داده ها را انتقال می دهند.

در آینده نزدیک، خیابان های ما با خودروهای خودگردانی پر شده است، به طور مستقل راه اندازی مسیرها بر اساس کارت های چهار بعدی، که در زمان واقعی تولید می شوند.

داده های بزرگ چه می تواند؟

جریان بی نهایت در حال رشد اطلاعات حسی، عکس ها، پیام های متنیداده های صوتی و تصویری داده های بزرگ را تحت تأثیر قرار می دهد که می توانیم چند سال پیش حتی تصور کنیم.

در حال حاضر بر اساس پروژه های داده های بزرگ کمک می کند:

- درمان بیماری ها و جلوگیری از سرطان. پزشکی مبتنی بر داده های بزرگ، تعداد زیادی از پرونده های پزشکی و تصاویر را تجزیه و تحلیل می کند که باعث تشخیص بسیار زودرس می شود و به ایجاد درمان های جدید کمک می کند.

- گرسنه مبارزه کن. کشاورزی در حال تجربه یک انقلاب واقعی داده های بزرگ است که اجازه می دهد تا استفاده از منابع به حداکثر رساندن عملکرد با حداقل مداخله در اکوسیستم و بهینه سازی استفاده از ماشین آلات و تجهیزات.

- سیارات دور را باز کنید. برای مثال، ناسا، مقدار زیادی از داده ها را تجزیه و تحلیل می کند و یک مدل از ماموریت های آینده را در دنیای دور می سازد.

- پیش بینی شرایط اضطراری طبیعت مختلف و به حداقل رساندن آسیب احتمالی. این سنسورهای متعدد می توانند پیش بینی کنند کجا و زمانی که زلزله بعدی یا رفتار احتمالی مردم در اورژانس رخ می دهد، که شانس بقا را افزایش می دهد.

- جلوگیری از جرم از طریق استفاده از فن آوری هایی که به شما امکان می دهد تا منابع را به طور موثری تخصیص دهید و آنها را به جایی که بیشتر مورد نیاز هستند هدایت کنید.

و نزدیک ترین نزدیک به بسیاری از ما: داده های بزرگ باعث می شود که زندگی یک فرد معمولی ساده تر و راحت تر باشد - این خرید آنلاین و برنامه ریزی سفر و ناوبری در یک کلان شهر است.

بهترین زمان برای خرید بلیط را انتخاب کنید و تصمیم بگیرید که کدام فیلم یا سریال را ببینید، به لطف کار داده های بزرگ، بسیار ساده تر شده است.

چگونه کار می کند؟

داده های بزرگ بر روی اصل کار می کند: هرچه بیشتر در مورد چیزی بدانید، دقیق تر می توانید پیش بینی کنید که چه اتفاقی خواهد افتاد. مقایسه اطلاعات فردی و روابط بین آنها (ما در مورد مقدار زیادی از داده ها و مقادیر فوق العاده ای از ارتباطات احتمالی بین آنها صحبت می کنیم) امکان تشخیص الگوهای قبلی پنهان را می توان تشخیص داد. این باعث می شود که در داخل مشکل نگاه کنید و در نهایت درک نحوه کنترل یک فرآیند یک یا چند را داشته باشید.

اغلب، پردازش مقادیر زیادی از اطلاعات شامل مدل های ساخت و ساز بر اساس داده های جمع آوری شده و راه اندازی شبیه سازی ها، در طی آن تنظیمات کلیدی به طور مداوم در حال تغییر است، و هر بار که سیستم نظارت می شود، به عنوان "تغییر تنظیمات" تاثیر می گذارد نتیجه

این فرایند به طور کامل خودکار است، زیرا ما در مورد تجزیه و تحلیل میلیون ها شبیه سازی صحبت می کنیم، خاموش کردن تمام گزینه های ممکن تا لحظه ای که الگوی (طرح مورد نظر) یافت نشد یا تا زمانی که "روشنگری" اتفاق نمی افتد، چه خواهد شد کمک به حل وظیفه ای که همه چیز هنوز هم درمان می شود.

در مقایسه با اقلام و محاسبات معمول جهان، داده ها به صورت غیر ساختاری پذیرفته می شوند، یعنی، آنها دشوار است که به طور معمول، مردم، جداول با سلول ها و ستون ها را بچرخانید. مقدار زیادی از داده ها به عنوان تصاویر یا ویدئو منتقل می شود: از عکس های ماهواره ای به Selfie، که شما در Instagram یا فیس بوک ارسال می کنید، مانند نوشته های ایمیل و پیام رسان یا تماس های تلفنی.

برای دادن تمام این جریان اطلاعات بی نهایت و مختلف، داده های بزرگ اغلب از پیشرفته ترین فن آوری های تجزیه و تحلیل استفاده می کنند که شامل هوش مصنوعی و یادگیری ماشین هستند (این زمانی است که برنامه در برنامه های دیگر آموزش دیده است).

خود رایانه ها در حال یادگیری هستند که تعیین می کنند که این یا این اطلاعات را نشان می دهد - به عنوان مثال، تشخیص تصاویر، زبان، - و آنها می توانند آن را بسیار سریع تر از مردم انجام دهند.

برادر بزرگتر؟

با توجه به ویژگی های بی سابقه ای که اطلاعات بزرگ به ما نشان می دهد امروز، تعداد نگرانی ها و مسائل مربوط به استفاده از آن در حال افزایش است.

تهیه اطلاعات شخصی داده های بزرگ مقدار زیادی از اطلاعات مربوط به زندگی خصوصی ما را جمع آوری می کند. اطلاعات زیادی وجود دارد که ما ترجیح می دهیم که راز نگه داریم.

ایمنی حتی اگر ما تصمیم بگیریم که در انتقال تمام اطلاعات شخصی ما ماشین را برای برخی از اهداف خاص، هدف مطلوب هیچ چیز وحشتناک وجود دارد، آیا می توانیم اطمینان حاصل کنیم که داده های ما در یک مکان امن ذخیره می شود؟
چه کسی می تواند این را تضمین کند؟

تبعیض هنگامی که همه چیز شناخته شده است، آیا ممکن است مردم را به تبعیض بر اساس آنچه که در مورد آنها به لطف داده های بزرگ شناخته شده است، افشا کنید؟ بانک ها از تاریخ اعتبار استفاده می کنند و شرکت های بیمه هزینه های بزرگراه ها را تعیین می کنند، بر اساس آنچه که آنها در مورد شما می دانند. چقدر می تواند برود؟

می توان تصور کرد که به خاطر کم کردن خطرات شرکت، سازمان های دولتی و حتی افراد از آنچه که می توانند درباره ما یاد بگیرند، استفاده کنند، و به دلایلی، دسترسی ایالات متحده به منابع و اطلاعات را محدود می کنند.

با تمام مزایا، ما باید تشخیص دهیم که تمام این ترس ها نیز بخشی جدایی ناپذیر از داده های بزرگ است. تا همین اواخر، دانشمندان بر روی پاسخ ها عجله کرده اند، اما اکنون زمان زمانی رخ داده است که موج به یک کسب و کار آمده است که می خواهد از داده های بزرگ برای اهداف خود استفاده کند. و این ممکن است بدون عواقب فاجعه آمیز باشد.

داده های بزرگ (یا داده های بزرگ) مجموعه ای از روش های کاری با حجم زیادی از اطلاعات ساختاری یا بدون ساختار است. متخصصان در کار با داده های بزرگ در پردازش و تجزیه و تحلیل آن برای به دست آوردن نتایج بصری و درک شده درگیر هستند. به من نگاه کن با متخصصان صحبت کردم و متوجه شدم که وضعیت پردازش داده های بزرگ در روسیه چیست، جایی که بهتر است برای یادگیری کسانی که می خواهند در این زمینه کار کنند.

آلکسی روپین در جهت اصلی در زمینه داده های بزرگ، ارتباط با مشتریان و جهان اعداد

من در موسسه فناوری الکترونیکی مسکو تحصیل کردم. مهمترین نکته ای که من توانستم بردارم، دانش اساسی فیزیک و ریاضیات است. در همان زمان، من در مرکز تحقیق و توسعه کار کردم، جایی که او در توسعه و اجرای الگوریتم های برنامه نویسی نابالغ برای ابزار انتقال داده محافظت شده بود. پس از پایان دوره کارشناسی، من وارد قاعده اموال کسب و کار دانشکده اقتصاد شدم. پس از آن، من می خواستم در IBS کار کنم. من خوش شانس بودم که در آن زمان یک مجموعه اضافی از کارآموزان در ارتباط با تعداد زیادی از پروژه ها وجود داشت، و پس از مصاحبه های چندگانه من شروع به کار در IBS کردم، یکی از بزرگترین شرکت های روسی در این منطقه. به مدت سه سال، قبل از معمار راه حل های شرکتی از قطار رفتم. در حال حاضر من در حال توسعه فن آوری های داده های بزرگ برای شرکت های مشتری از بخش مالی و ارتباطات راه دور هستم.

دو تخصص اصلی برای افرادی هستند که می خواهند با داده های بزرگ کار کنند: تحلیلگران و مشاوران فناوری اطلاعات که تکنولوژی هایی را برای کار با داده های بزرگ ایجاد می کنند. علاوه بر این، شما همچنین می توانید در مورد حرفه ای از تحلیلگر داده های بزرگ صحبت کنید، به عنوان مثال، افرادی که به طور مستقیم با داده ها با پلت فرم فناوری اطلاعات از مشتری کار می کنند. پیش از این، تحلیلگران معمولی ریاضیات بودند که آمار و ریاضیات را می دانستند و از نرم افزار آماری برای حل وظایف تجزیه و تحلیل داده ها استفاده می کردند. امروزه علاوه بر دانش آمار و ریاضیات، درک فناوری و چرخه زندگی داده ها نیز ضروری است. در این، به نظر من، تفاوت بین تحلیلگر داده های مدرن از آن تحلیلگران پیش از آن است.

تخصص من این است که مشاور آن است، یعنی من اختراع و ارائه مشتریان چگونه به حل وظایف کسب و کار با فناوری فناوری اطلاعات. مردم به مشاوره با تجربیات مختلف می آیند، اما مهمترین ویژگی های این حرفه، توانایی درک نیازهای مشتری، تمایل به کمک به مردم و سازمان ها، ارتباطات خوب و مهارت های تیمی است (از آنجا که همیشه با مشتری کار می کند در یک تیم)، توانایی های تحلیلی خوب. انگیزه داخلی بسیار مهم است: ما در یک محیط رقابتی کار می کنیم، و مشتری منتظر راه حل های غیر معمول و علاقه به کار است.

اغلب اوقات من باید با مشتریان ارتباط برقرار کنم، نیازهای تجاری و کمک های تجاری خود را در توسعه معماری مناسب ترین تکنولوژی، رسمی کنم. معیارهای انتخاب در اینجا ویژگی های خود را دارند: علاوه بر عملکرد و TSO (کل هزینه مالکیت - کل هزینه مالکیت) بسیار مهم است، الزامات غیر کاربردی برای سیستم، اغلب این زمان پاسخ، پردازش اطلاعات است زمان. برای متقاعد کردن مشتری، ما اغلب از اثبات روش مفهومی استفاده می کنیم - ما برای برخی از وظایف "تست" برای برخی از کارها ارائه می دهیم، بر روی یک مجموعه داده های باریک برای اطمینان از اینکه تکنولوژی کار می کند. این تصمیم باید یک مزیت رقابتی برای مشتری به هزینه مزایای اضافی (به عنوان مثال، X-Sell، Sale Sale) ایجاد کند یا برخی از انواع کسب و کار را حل کند، می گویند، سطح بالایی از تقلب وام را کاهش می دهد.

اگر مشتریان از کار به پایان برسد، بسیار ساده تر خواهد بود اما تا زمانی که آنها درک نمی کنند که تکنولوژی انقلابی ظاهر شده است، که می تواند بازار را برای چند سال تغییر دهد.

چه مشکلی باید با آن روبرو شود؟ بازار آماده استفاده از تکنولوژی "داده های بزرگ" نیست. اگر مشتریان از یک کار آماده ساخته شوند، بسیار ساده تر خواهد بود، اما تا زمانی که آنها درک کنند که یک تکنولوژی انقلابی است که می تواند بازار را برای چند سال تغییر دهد. به همین دلیل است که ما در واقع، در حالت راه اندازی کار می کنیم - فقط تکنولوژی را فروختم، اما هر بار که مشتریان را متقاعد می کنیم که باید در این راه حل ها سرمایه گذاری کنید. این چنین موقعیتی از بینندگان است - ما به مشتریان نشان می دهیم که چگونه می توانید کسب و کار خود را با جاذبه داده ها تغییر دهید. ما این بازار جدید را ایجاد می کنیم - بازار مشاوره تجاری آن در منطقه داده بزرگ.

اگر فردی بخواهد در تجزیه و تحلیل داده ها یا مشاوره فناوری اطلاعات در حوزه داده های بزرگ شرکت کند، اولین چیزی که مهم است آموزش ریاضی یا فنی با آمادگی ریاضی خوب است. همچنین برای کارشناسی ارشد فن آوری های خاص مفید است، اجازه دهید SAS، Hadoop، R زبان یا راه حل IBM. علاوه بر این، شما باید به طور فعال در وظایف برنامه برای داده های بزرگ علاقه مند باشید - به عنوان مثال، چگونه می توان آنها را برای بهبود امتیاز اعتبار در یک بانک یا کنترل استفاده می شود چرخه زندگی مشتری. این و دانش دیگر را می توان از منابع موجود بدست آورد: به عنوان مثال، Coursera و دانشگاه داده های بزرگ. همچنین یک ابتکار تجزیه و تحلیل مشتری در دانشگاه وارتون دانشگاه پنسیلوانیا وجود دارد که بسیاری از مواد جالب را منتشر کرده است.

یک مشکل جدی برای کسانی که می خواهند در منطقه ما کار کنند، کمبود صریح اطلاعات در مورد داده های بزرگ است. شما نمی توانید به کتاب فروشی بروید یا برای برخی از سایت ها بروید و به عنوان مثال، یک ستون جامع از موارد برای تمام برنامه های کاربردی از فن آوری های داده های بزرگ در بانک ها دریافت کنید. چنین کتاب های مرجع وجود ندارد. بخشی از اطلاعات در کتاب ها است، بخش دیگری در کنفرانس ها جمع آوری شده است، و به چیزی که باید به خودتان برسید.

مشکل دیگر این است که تحلیلگران به خوبی در جهان از اعداد احساس خوبی دارند، اما آنها همیشه در کسب و کار راحت نیستند. چنین افرادی اغلب درگیر هستند، برای آنها ارتباط برقرار می کنند، و بنابراین برای آنها سخت است که به طور قانع کننده به اطلاعات مشتریان در مورد نتایج تحقیقاتی منتقل شوند. برای توسعه این مهارت ها، من چنین کتاب هایی را به عنوان "اصل هرم" توصیه می کنم، "در نمودارها صحبت می کنند." آنها به توسعه مهارت های ارائه کمک می کنند، به طور خلاصه و به وضوح افکار خود را بیان می کنند.

من در حال تحصیل در مسابقات قهرمانی مختلف در حین تحصیل در HSE بسیار مفید بودم. مسابقات قهرمانی مسابقات هوشمند برای دانش آموزان، جایی که شما نیاز به مطالعه مشکلات تجاری دارید و تصمیم خود را ارائه می دهید. آنها دو گونه هستند: مشاوره مسابقات قهرمانی شرکت مشاوره، مانند McKinsey، BCG، Accenture، و همچنین مسابقات قهرمانی نوع مستقل Changellenge. در طول مشارکت در آنها، یاد گرفتم که وظایف پیچیده را ببینم - از شناسایی مشکل و ساختار آن به حفاظت از توصیه ها برای راه حل آن.

اولگ Mikhalsky در مورد بازار روسیه و ویژگی های ایجاد یک محصول جدید در زمینه داده های بزرگ

قبل از آمدن به Acronis، من قبلا در راه اندازی محصولات جدید به بازار در شرکت های دیگر مشغول بودم. این همیشه جالب و دشوار است در همان زمان، بنابراین من بلافاصله علاقه مند به امکان کار بر روی خدمات ابری و راه حل برای ذخیره سازی داده ها. در این منطقه، تمام تجربه قبلی من در صنعت فناوری اطلاعات، از جمله پروژه راه اندازی خود، i-strackerator بود. حضور آموزش کسب و کار (MBA) همچنین علاوه بر مهندسی پایه نیز کمک کرد.

در روسیه، شرکت های بزرگ - بانک ها، اپراتورهای تلفن همراه و غیره - نیاز به تجزیه و تحلیل داده های بزرگ وجود دارد، بنابراین در کشور ما چشم انداز برای کسانی که می خواهند در این زمینه کار می کنند وجود دارد. درست است که بسیاری از پروژه ها در حال حاضر یکپارچه سازی هستند، یعنی بر اساس تحولات خارجی یا فن آوری های منبع باز. در چنین پروژه هایی، به طور اساسی رویکردهای جدید و فن آوری ها ایجاد نمی شوند، بلکه تحولات موجود سازگار هستند. در Acronis، ما به روش دیگری رفتیم و پس از تجزیه و تحلیل گزینه های موجود، تصمیم گرفتیم در توسعه خود سرمایه گذاری کنیم، ایجاد یک سیستم ذخیره سازی قابل اعتماد برای داده های بزرگ، که در هزینه، به عنوان مثال، آمازون S3، پایین تر نیست، اما کار می کند قابل اعتماد و کارآمد در مقیاس قابل توجهی کوچکتر. توسعه خود را برای داده های بزرگ نیز در میان شرکت های اصلی اینترنت است، اما آنها نسبت به نیازهای داخلی نسبت به رضایت از نیازهای مشتریان خارجی متمرکز هستند.

مهم است که روند و نیروهای اقتصادی را درک کنیم که بر مساحت پردازش داده های بزرگ تاثیر می گذارد. برای انجام این کار، خواندن زیادی، گوش دادن به اجرای متخصصان معتبر در صنعت فناوری اطلاعات، بازدید از کنفرانس های موضوعی. در حال حاضر تقریبا هر کنفرانس بخش داده های بزرگ دارد، اما همه آنها در زاویه های مختلف صحبت می کنند: از دیدگاه تکنولوژی، کسب و کار یا بازاریابی. شما می توانید برای کار طراحی یا کارآموزی در شرکت بروید، که قبلا پروژه های این موضوع را انجام می دهد. اگر شما در توانایی های خود اطمینان دارید، خیلی دیر نیست که یک راه اندازی را در حوزه داده های بزرگ سازماندهی کنید.

بدون تماس ثابت با بازار خطرات جدید توسعه باید غیرقانونی شود

درست است، هنگامی که شما مسئول یک محصول جدید هستید، زمان زیادی به تجزیه و تحلیل بازار و برقراری ارتباط با مشتریان بالقوه، همکاران، تحلیلگران حرفه ای که بسیاری از مشتریان و نیازهای آنها را می دانند، ارتباط برقرار می کند. بدون تماس ثابت با بازار، خطرات جدید توسعه غیرقابل قبول است. همیشه بسیاری از عدم اطمینان وجود دارد: شما باید درک کنید که چه کسی به اولین کاربران (Adroidcters اولیه) تبدیل خواهد شد که برای آنها ارزشمند است و سپس مخاطبان جمعی را جذب می کنید. دومین وظیفه مهم این است که به توسعه دهندگان توسعه دهندگان روشن و جامع را بیان کنیم. محصول نهاییبرای ایجاد انگیزه آنها به کار در چنین شرایطی زمانی که برخی از الزامات ممکن است هنوز تغییر، و اولویت های بستگی دارد بازخورداز مشتریان اول می آید بنابراین، یک وظیفه مهم این است که انتظارات مشتری را در یک طرف و توسعه دهندگان از سوی دیگر مدیریت کنید. به طوری که دیگران علاقه خود را از دست نداده اند و پروژه را قبل از تکمیل به ارمغان آورده اند. پس از اولین پروژه موفقیت آمیز، آن را آسان تر می شود، و وظیفه اصلی مدل رشد مناسب برای کسب و کار جدید را پیدا خواهد کرد.

در یک زمان، من اصطلاح "داده های بزرگ" را از Gref آلمان شنیده ام (رئیس Sberbank). آنها می گویند، اکنون آنها به طور فعال در مقدمه کار می کنند، زیرا به آنها کمک خواهد کرد که زمان کار با هر مشتری را کاهش دهند.

دومین بار که من به این مفهوم در فروشگاه آنلاین مشتری فرار کردم، که طی آن ما کار کردیم و دامنه ای را از یک جفت هزاران تا چند هزار تن از کالاهای کالا افزایش دادیم.

برای سومین بار، زمانی که دیدم که تحلیلگر داده های بزرگ در Yandex مورد نیاز است. سپس تصمیم گرفتم جرأت کنم که آن را در این موضوع شکل دهم و در عین حال مقاله ای بنویسم که می گوید این یک اصطلاح است که ذهن مدیران ارشد و فضای اینترنت را تحریک می کند.

چه چیزی است

معمولا هر مقاله ای که من با توضیح شروع می کنم، اصطلاح برای چنین است. این مقاله یک استثنا نیست.

با این حال، این به اول از همه منجر می شود، نه تمایل به نشان دادن آنچه من هوشمند هستم، اما این واقعیت که موضوع واقعا پیچیده است و نیاز به توضیح دقیق دارد.

به عنوان مثال، شما می توانید اطلاعات بزرگ موجود در ویکی پدیا را بخوانید، چیزی را درک نکنید و سپس به این مقاله بازگردید تا شما هنوز تعریف و کاربرد کسب و کار را درک کنید. بنابراین، بیایید با توضیحات شروع کنیم، و سپس به نمونه هایی برای کسب و کار.

داده های بزرگ داده های بزرگ است. به طور شگفت انگیز، بله؟ واقعا، از زبان انگلیسی به عنوان "داده های بزرگ" ترجمه شده است. اما این تعریف را می توان برای Dummies گفت.

فناوری اطلاعات بزرگ. - این یک رویکرد / روش پردازش تعداد بیشتری از داده ها برای به دست آوردن اطلاعات جدید است که سخت است در راه های متعارف حل شود.

داده ها می توانند هر دو پردازش شده (ساختار یافته) و متفاوتی باشند (یعنی بدون ساختار).

این اصطلاح نسبتا اخیرا ظاهر شد. در سال 2008، در مجله علمی، این رویکرد به عنوان چیزی که لازم است برای کار با مقدار زیادی از اطلاعات، که افزایش پیشرفت هندسی افزایش می یابد، پیش بینی شده است.

به عنوان مثال، سالانه اطلاعات در اینترنت، که باید ذخیره شود، به خوبی، برای پردازش، افزایش 40٪. بار دیگر: + 40٪ هر سال در اینترنت اطلاعات جدید ظاهر می شود.

اگر اسناد چاپی روشن باشد و روش های پردازش آنها نیز روشن است (انتقال به فرم الکترونیکی، دوختن به یک پوشه، شماره گذاری شده)، چه باید بکنید با اطلاعاتی که به طور کامل "رسانه ها" و سایر حجم ها ارائه شده است،

• اسناد اینترنتی؛
• وبلاگ ها و شبکه های اجتماعی؛
• منابع صوتی / تصویری؛
• دستگاه های اندازه گیری

ویژگی هایی وجود دارد که به شما اجازه می دهد اطلاعات و داده ها را به داده های بزرگ اختصاص دهید. به این ترتیب، تمام داده ها نمی توانند برای تجزیه و تحلیل مناسب باشند. در این ویژگی ها، مفهوم کلیدی تاریخ بزرگ تعیین شده است. همه آنها در سه V هستند.

1. جلد(از ENG. حجم). داده ها در اندازه حجم فیزیکی سند "سند" اندازه گیری می شود؛
2. سرعت(از انگلیسی. سرعت) داده ها در توسعه خود هزینه نمی کنند، اما به طور مداوم رشد می کنند، به همین دلیل پردازش سریع آنها برای به دست آوردن نتایج لازم است؛
3. تعداد زیاد و متنوع(از زبان انگلیسی. تنوع). داده ها ممکن است تک فرمت باشند. به این ترتیب، آنها می توانند به طور جزئی از بین بروند، ساختار یافته یا ساختار یافته باشند.

با این حال، به صورت دوره ای به VVV و چهارمین V (Veracity - قابلیت اطمینان / اعتماد به نفس داده ها) و حتی پنجم V (در برخی از تجدیدنات، قابلیت زنده ماندن، در دیگران ارزش ارزش دارد).

جایی که من نیز 7V را دیدم، که اطلاعات مربوط به تاریخ بزرگ را مشخص می کند. اما به نظر من این از سری است (جایی که P به صورت دوره ای اضافه می شود، اگر چه برای درک اولیه 4-X) است.

ما در حال حاضر بیش از 29،000 نفر هستیم.
وارد

چه کسی به آن نیاز دارد

این به یک سوال منطقی می آید، چگونه می توانم از اطلاعات استفاده کنم (اگر این، تاریخ بزرگ صدها و هزاران ترابایت باشد)؟

حتی نه. در اینجا اطلاعات است. پس چه اتفاقی افتاده است؟ استفاده از داده های بزرگ در بازاریابی و کسب و کار چیست؟

1. پایگاه های داده های معمولی را نمی توان ذخیره و پردازش کرد (من هم اکنون حتی در مورد تجزیه و تحلیل، بلکه به سادگی ذخیره و پردازش) از مقدار زیادی اطلاعات صحبت نمی کنم.
   تاریخ بزرگ این وظیفه اصلی را حل می کند. با موفقیت ذخیره می شود و اطلاعات را با حجم زیادی ذخیره می کند؛
2. اطلاعات ساختاری از منابع مختلف (ویدئو، تصاویر، اسناد صوتی و متن)، در یک فرم تک، قابل درک و پاسخگو؛
3. تشکیل تجزیه و تحلیل و ایجاد پیش بینی های دقیق بر اساس اطلاعات ساختاری و پردازش شده.

پیچیده است برای صحبت کردن به سادگی، هر بازاریاب که درک می کند که اگر شما مقدار زیادی اطلاعات (در مورد شما، شرکت شما، رقبای خود، صنعت شما) را بررسی کنید، می توانید نتایج بسیار مناسب را دریافت کنید:

• درک کامل شرکت شما و کسب و کار شما در بخش اعداد؛
• کاوش رقبای خود را. و این، به نوبه خود، به دلیل شیوع آنها، فرصتی را به پیش می برد؛
• اطلاعات جدید در مورد مشتریان خود را یاد بگیرید.

و دقیقا به این دلیل که فناوری داده های بزرگ نتایج زیر را ارائه می دهد، همه چیز با آن پوشیده شده است. تلاش برای بستن این مورد به شرکت شما برای افزایش فروش و کاهش هزینه ها. و اگر به طور خاص، پس از آن:

1. افزایش فروش صلیب و فروش اضافی به دلیل دانش بهتر از ترجیحات مشتری؛
2. پیدا کردن محصولات محبوب و دلایل چرا آنها خرید (و بر خلاف)؛
3. بهبود محصول یا خدمات؛
4. بهبود سطح خدمات؛
5. رییس وفاداری و تمرکز مشتری؛
6. هشدار تقلب (بیشتر مربوط به بخش بانکی)؛
7. کاهش هزینه های اضافی

شایع ترین نمونه، که در تمام منابع داده شده است - البته، البته شرکت اپلکه داده ها را بر روی کاربران خود (تلفن، ساعت، کامپیوتر) جمع آوری می کند.

این به دلیل حضور سیستم زیست محیطی است که شرکت در مورد کاربران آن بسیار زیاد می داند و از این جهت از این به سود استفاده می کند.

این و نمونه های دیگر استفاده از شما می توانید در هر مقاله دیگری به جز این مطالعه بخوانید.

مثال مدرن

من به شما در مورد پروژه دیگری می گویم. به جای یک فرد که آینده را با استفاده از راه حل های بزرگ داده ها ایجاد می کند.

این ماسک ILON و شرکت او TESLA است. رویای اصلی او این است که خودروها را مستقل بسازید، یعنی شما پشت چرخ قرار می گیرید، Autopilot را از مسکو به ولادیووستوک روشن کنید و ... خوابید، زیرا شما کاملا نیازی به رانندگی ماشین ندارید، زیرا او همه چیز را انجام می دهد .

به نظر می رسد فانتزی؟ اما نه! فقط ایلن خیلی عاقلانه تر از گوگل بود، که اتومبیل ها را با ده ها ماهواره مدیریت می کردند. و به راه دیگری رفت:

1. در هر ماشین فروخته شده، یک کامپیوتر تنظیم شده است، که تمام اطلاعات را جمع آوری می کند.
   همه - این به معنای کل کل است. در مورد راننده، سبک رانندگی، جاده ها در اطراف، حرکت اتومبیل های دیگر. حجم چنین اطلاعاتی به 20-30 گیگابایت در ساعت می رسد؛
2. بعد، این اطلاعات در مورد ارتباطات ماهواره ای به کامپیوتر مرکزی منتقل شد، که در پردازش این داده ها مشغول به کار است؛
3. بر اساس داده های داده های بزرگ که پردازش می کنند این کامپیوتر، یک مدل از یک ماشین بدون سرنشین ساخته شده است.

به هر حال، اگر Google Business خیلی بد باشد و ماشین های خود را تمام وقت به تصادف می افتد، سپس ماسک، به دلیل این واقعیت که کار با داده های بزرگ انجام می شود بسیار بهتر است، زیرا مدل های تست نتایج بسیار خوبی را نشان می دهند.

اما ... این همه از اقتصاد است. همه ما درباره سود، بله در مورد سود چیست؟ خیلی زیاد، که می تواند تاریخ بزرگ را تعیین کند، به طور کامل با درآمد و پول ناشناخته است.

آمار گوگل، فقط بر اساس داده های بزرگ، یک چیز جالب را نشان می دهد.

قبل از اینکه پزشکان شروع به ابتلا به بیماری اپیدمی بیماری در برخی از مناطق، مقدار این منطقه به طور قابل توجهی افزایش می یابد جستجوی پرس و جو در درمان این بیماری.

بنابراین، مطالعه صحیح داده ها و تجزیه و تحلیل آنها می تواند پیش بینی ها را پیش بینی کند و پیش بینی ابتلا به بیماری همه گیر را پیش بینی کند (و بر این اساس، پیشگیری از آن) بسیار سریعتر از نتیجه گیری اجسام رسمی و اقدامات آنها است.

درخواست در روسیه

با این حال، روسیه به عنوان همیشه کمی کم می شود. بنابراین، تعریف داده های بزرگ در روسیه بیش از 5 سال پیش به نظر نمی رسد (من در حال حاضر در مورد شرکت های عادی).

و این به رغم این واقعیت که این یکی از سریعترین بازارهای رو به رشد در جهان (مواد مخدر و سلاح های عصبی سیگار کشیدن در کنار آن)، به دلیل سالانه بازار برای جمع آوری و تجزیه و تحلیل داده های بزرگ، 32 درصد خواهد بود.

به منظور مشخص کردن بازار داده های بزرگ در روسیه، من یک جوک قدیمی را به یاد می آورم. تاریخ بزرگ مانند جنسیت تا 18 ساله است. هر کس در مورد آن گفته شده است، سر و صدای زیادی وجود دارد و چندین اقدام واقعی در اطراف آن وجود دارد، و هر کس شرمنده است که اعتراف کند که آنها در این مورد مشغول به کار نیستند. و حقیقت این است که در اطراف این بسیاری از سر و صدا، اما اقدامات کمی واقعی است.

اگر چه شرکت تحقیقاتی Gartner شناخته شده است، قبلا اعلام کرده است که تاریخ بزرگ، روند روزافزون (به عنوان مثال، هوش مصنوعی) و ابزارهای کاملا مستقل برای تجزیه و تحلیل و توسعه فن آوری های پیشرفته است.

فعال ترین نیشه ها، که در آن داده های بزرگ در روسیه اعمال می شود، اینها بانک ها / بیمه هستند (جای تعجب نیست که من یک مقاله را با رئیس Sberbank شروع کردم)، حوزه ارتباطات راه دور، خرده فروشی، املاک و مستغلات و ... بخش دولتی.

به عنوان مثال، من بیشتر به شما در مورد یک جفت بخش اقتصاد، که از الگوریتم های بزرگ داده استفاده می کنند، به شما می گویم.

1. بانک ها

بیایید با بانک ها و اطلاعاتی که در مورد ما و اقدامات ما جمع آوری می کنیم، شروع کنیم. به عنوان مثال، من 5 بانک برتر روسیه را گرفتم که به طور فعال در داده های بزرگ سرمایه گذاری می کنند:

1. Sberbank؛
2. gazprombank؛
3. VTB 24؛
4. آلفا بانک؛
5. بانک Tinkoff.

این به خصوص در میان رهبران روسیه آلفا بانک دیده می شود. حداقل، خوب است که متوجه شوید که بانک، شریک رسمی که شما هستید، نیاز به معرفی ابزارهای بازاریابی جدید را به شرکت شما می داند.

اما نمونه هایی از استفاده و موفقیت آمیز اجرای داده های بزرگ من می خواهم در یک بانک نشان دهم که من برای یک نگاه غیر استاندارد و یک موسسه بنیانگذار آن را دوست دارم.

من در مورد بانک Tinkoff صحبت می کنم. وظیفه اصلی آنها توسعه یک سیستم برای تجزیه و تحلیل داده های بزرگ در زمان واقعی به دلیل افزایش پایه مشتری بود.

نتایج: زمان فرآیندهای داخلی حداقل 10 بار کاهش یافت و برای حدود بیش از 100 بار.

خوب، و یک حواس پرتی کمی. آیا می دانید چرا من در مورد ترفندهای غیر استاندارد و اقدامات اولگ Tinkov صحبت کردم؟ فقط به نظر من، آنها به او کمک کردند تا از یک تاجر دست، Koi هزار نفر در روسیه، در یکی از معروف ترین و قابل تشخیص کارآفرینان به دست آوردند. در تأیید، به این ویدئو غیر معمول و جالب نگاه کنید:

2. املاک و مستغلات

در املاک و مستغلات، همه چیز بسیار دشوار است. و این دقیقا همان مثال است که من می خواهم شما را به درک تاریخ بزرگ برای درک کسب و کار معمول. اطلاعات اولیه:

1. مقدار زیادی از مستندات متن؛
2. منابع باز (ماهواره های خصوصی انتقال داده ها بر روی تغییرات زمین)؛
3. مقدار زیادی از اطلاعات کنترل نشده در اینترنت؛
4. تغییرات مداوم در منابع و داده ها.

و بر اساس این، لازم است که ارزش طرح زمین را تهیه و ارزیابی کنیم، به عنوان مثال، تحت روستای اورال. حرفه ای یک هفته طول خواهد کشید.

ارزیابی کنندگان جامعه روسیه و Roseco، که در واقع تجزیه و تحلیل داده های بزرگ با کمک نرم افزار است، برای این کار بیش از 30 دقیقه از کار آرامش بخش نیست. مقایسه، هفته و 30 دقیقه. تفاوت عظیمی.

ابزارهای ایجاد

البته، مقادیر زیادی از اطلاعات را نمی توان در هارد دیسک های ساده ذخیره و پردازش کرد.

ولی نرم افزارکدام سازه ها و تجزیه و تحلیل داده ها به طور کلی مالکیت معنوی و هر بار توسعه نویسنده است. با این حال، ابزار بر اساس این همه جذابیت وجود دارد:

• Hadoop & MapReduce؛
• پایگاه داده های NOSQL؛
• ابزار کشف داده ها.

صادقانه بگویم، من نمی توانم به وضوح توضیح دهم که آنها چه چیزی را از یکدیگر متفاوت می کنند، زیرا آنها در حال یادگیری ملاقات و کار با این چیزها در موسسات فیزیکی و ریاضی هستند.

چرا من در مورد آن صحبت کردم اگر من نمی توانم توضیح دهم؟ به یاد داشته باشید، در تمامی فیلم دزدان به هر بانک می آیند و تعداد زیادی از سخت افزار متصل به سیم را می بینند؟ همان چیزی که در تاریخ بزرگ است. به عنوان مثال، در اینجا یک مدل است که در حال حاضر یکی از رهبران بازار است.

تاریخ بزرگ ابزار

هزینه حداکثر پیکربندی به 27 میلیون روبل در هر قفسه می رسد. این، البته، نسخه لوکس است. من مطمئن هستم که شما از ایجاد اطلاعات بزرگ در کسب و کار خود پیروی می کنید.

به طور خلاصه در مورد چیز اصلی

شما ممکن است بپرسید، چرا شما، کسب و کار کوچک و متوسط \u200b\u200bبا تاریخ بزرگ کار می کنید؟

در این مورد من به شما یک نقل قول از یک نفر پاسخ خواهم داد: "در آینده نزدیک، مشتریان تقاضا را با شرکت هایی که بهتر رفتار، عادت ها را بهتر درک می کنند، تقاضا می کنند."

اما بیایید حقیقت را در چشم بگذاریم. برای معرفی تاریخ بزرگ در کسب و کار کوچک، لازم است که نه تنها بودجه های بزرگ برای توسعه و پیاده سازی نرم افزار، بلکه همچنین بر محتوای متخصصان، حداقل از جمله تحلیلگر بزرگ داده ها و Sysadmin.

و اکنون سکوت میکنم که باید چنین اطلاعاتی را برای پردازش داشته باشید.

باشه. برای کسب و کار کوچک، موضوع تقریبا قابل اجرا نیست. اما این بدان معنا نیست که شما باید همه چیز را که در بالا خوانده اید فراموش کنید. فقط اطلاعات خود را مطالعه نکنید، بلکه نتایج تجزیه و تحلیل داده های شناخته شده به عنوان شرکت های خارجی و روسی است.

به عنوان مثال، شبکه خرده فروشی هدف با استفاده از تحلیلگران داده های بزرگ متوجه شده است که زنان باردار در مقابل سه ماهه دوم بارداری (از 1 تا 12 هفته بارداری) به طور فعال به طور فعال خرید غیر معطر را خریداری می کنند.

با تشکر از این داده ها، آنها کوپن ها را با تخفیف های بیگانه با یک دوره محدود ارسال می کنند.

و اگر شما فقط یک کافه بسیار کوچک هستید، به عنوان مثال؟ بله، بسیار ساده است. از برنامه وفاداری استفاده کنید. و بعد از مدتی، به لطف اطلاعات انباشته شده، شما نه تنها می توانید مشتریان مربوط به نیازهای خود را ارائه دهید، بلکه همچنین غذاهای غیر قابل اعتماد و حاشیه ای را به معنای واقعی کلمه یک کلیک ماوس کلیک کنید.

از این رو خروجی. معرفی تاریخ بزرگ کسب و کار کوچک به سختی ارزش آن است، اما برای استفاده از نتایج و تحولات شرکت های دیگر - مطمئن باشید.