Tecnologie per analizzare i dati di grandi dimensioni. Grandi dati e blockchain - una svolta nell'area di analisi dei dati. Esperti: il picco della moda su grandi dati

Big Data - Quali sono parole così semplici

Nel 2010, i primi tentativi hanno iniziato a decidere il crescente problema dei dati di grandi dimensioni. Sono stati emessi prodotti software, l'azione di cui è stata diretta a minimizzare i rischi quando si utilizzano enormi array di informazioni.

Entro il 2011, le principali società come Microsoft, Oracle, EMC e IBM erano interessate a dati di grandi dimensioni, sono stati i primi a utilizzare i grandi dati nelle loro strategie di sviluppo e con successo.

Le università hanno iniziato a studiare i dati di grandi dimensioni come elemento separato nel 2013 - ora ci sono ora problemi in quest'area, non solo le scienze dei dati, ma anche nelle associate con gli oggetti di calcolo.

I metodi principali per l'analisi e l'elaborazione dei dati possono essere attribuiti come segue:

1. Metodi di classe o profondità (data mining).

Questi metodi sono sufficientemente numerosi, ma sono uniti da uno: strumenti matematici usati in combinazione con i risultati dell'area delle tecnologie dell'informazione.

1. Crowdsourcing.

Questa tecnica consente di ricevere dati contemporaneamente da diverse fonti e il numero di recenti è praticamente illimitato.

1. A / B-Test.

Di tutta la quantità di dati, il set di controllo degli elementi è selezionato, che è alternativamente confrontato con altri aggregati simili, in cui uno degli elementi è stato modificato. Condurre tali test aiuta a determinare le fluttuazioni di quali parametri hanno il maggiore impatto sul complesso del controllo. Grazie ai volumi di Big Data, è possibile effettuare un numero enorme di iterazioni, con ciascuno di essi avvicinandosi al più alto risultato possibile.

1. Analisi delle previsioni.

Gli esperti in questo settore stanno cercando di prevedere in anticipo e pianificare ciò che un oggetto controllato si comporterà ad adottare la soluzione più vantaggiosa in questa situazione.

1. Formazione macchina ( intelligenza artificiale).

Basato sull'analisi empirica delle informazioni e sulla successiva costruzione di algoritmi di autoapprendimento.

1. Analisi della rete.

Il metodo più comune per studiare i social network - Dopo aver ricevuto i dati statistici, vengono analizzati i nodi creati nella griglia, cioè le interazioni tra singoli utenti e le loro comunità.

Prospettive e sviluppo Tendenze Big Data

Nel 2017, quando i dati di grandi dimensioni cessarono di essere qualcosa di nuovo e sconosciuto, la loro importanza non solo non ha diminuito, ma ancora più aumentato. Ora gli esperti fanno delle scommesse sul fatto che l'analisi di grandi quantità di dati sarà disponibile non solo per le organizzazioni giganti, ma anche per i piccoli ei rappresentanti di business. Questo approccio è previsto per essere implementato utilizzando i seguenti componenti:

• Deposito cloud.

L'elaborazione di stoccaggio e dati sta diventando più veloce ed economico - rispetto ai costi di mantenimento del proprio data center e la possibile espansione del personale per il noleggio della nuvola sembra un'alternativa molto più economica.

• Usando dati scuri.

I cosiddetti "Dark Data" - Tutte le informazioni non sociali su un'azienda che non svolge un ruolo chiave nell'utilizzo direttamente, ma può essere causato a un nuovo formato per la memorizzazione delle informazioni.

• Intelligenza artificiale e apprendimento profondo.

Apprendimento della tecnologia macchina Intelligenza, imitare la struttura e il lavoro del cervello umano, poiché è impossibile essere adatti per l'elaborazione di una grande quantità di informazioni in continua evoluzione. In questo caso, l'auto farà la stessa cosa che una persona dovrebbe fare, ma la probabilità dell'errore è significativamente ridotta.

• Blockchain.

Questa tecnologia ti consente di accelerare e semplificare numerose transazioni Internet, incluse quelle internazionali. Un altro blockchain è che grazie a lui riduce i costi di transazione.

• Self-service e riduzione dei prezzi.

Nel 2017, è previsto di introdurre "piattaforme self-service" - queste sono piattaforme gratuite, in cui i rappresentanti di piccole e medie imprese saranno in grado di valutare in modo indipendente i dati che hanno memorizzato e sistematizzarli.

Visto Allo stesso modo ha utilizzato i grandi dati, monitorando i tentativi fraudolenti per produrre questo o quel funzionamento. A causa di ciò, annualmente risparmiano dalla perdita più di $ 2 miliardi.

Il ministero del lavoro tedesco è riuscito a ridurre il costo di 10 miliardi di euro, introducendo un sistema di dati di grandi dimensioni per lavorare sull'estradizione dei benefici della disoccupazione. Allo stesso tempo, è stato rivelato che il quinto dei benefici dei dati dei cittadini riceve in modo semplice.

I grandi dati non hanno bypassare il gioco e l'industria dei giochi. Pertanto, gli sviluppatori del mondo dei carri armati hanno condotto uno studio di informazioni su tutti i giocatori e confrontato gli indicatori disponibili della loro attività. Ha contribuito a prevedere il possibile deflusso futuro dei giocatori, affidarsi alle ipotesi fatte, i rappresentanti dell'organizzazione sono stati in grado di interagire in modo più efficace con gli utenti.

Anche le organizzazioni conosciute che utilizzano dati di grandi dimensioni possono anche essere attribuite a HSBC, NASDAQ, Coca-Cola, Starbucks e AT & T.

Problemi grandi dati.

Il più grande problema dei dati di grandi dimensioni è il costo della loro lavorazione. Questo può includere sia le costose attrezzature che gli esperti dei salari, in grado di servire enormi array di informazioni. È ovvio che l'apparecchiatura dovrà aggiornare regolarmente in modo che non perda le prestazioni minime con un aumento della quantità di dati.

Il secondo problema è di nuovo associato a un gran numero di informazioni che devono essere elaborate. Se, ad esempio, lo studio non dà 2-3, e il numero numeroso dei risultati è molto difficile rimanere obiettivo e allocare dal flusso totale dei dati solo quelli che avranno un vero effetto sullo stato di qualsiasi fenomeno.

Il problema della privacy Big Data. A causa del fatto che la maggior parte dei servizi di servizio clienti si spostano nell'uso dei dati online, è molto facile diventare un altro obiettivo per i cybercriminali. Anche un semplice deposito di informazioni personali senza alcuna transazione Internet può essere irrigata con indesiderata per i clienti. deposito cloud. conseguenze.

Il problema della perdita di informazioni. Le precauzioni non richiedono limitate alla semplice ridondanza dei dati singoli e almeno 2-3 backup Conservazione. Tuttavia, con un volume crescente, la complessità con la prenotazione - e gli specialisti IT stanno cercando di trovare soluzione ottimale Questo problema.

Grande mercato della tecnologia dei dati in Russia e del mondo

Secondo il 2014, il 40% del più grande mercato dei dati è il servizio di assistenza. Un po 'inferiore (38%) a queste entrate indicative dall'utilizzo di grandi dati nell'hardware del computer. Il restante 22% arriva alla quota di software.

I prodotti più utili dei prodotti del segmento globale per risolvere i problemi dei Big Data, in base ai dati statistici - in memoria e piattaforme analitiche NOSQL. 15 e il 12% del mercato, rispettivamente, occupano un file di registro analitico e una piattaforma colturale. Ma Hadoop / Mapreduce in pratica Cope con i problemi dei dati di grandi dimensioni non è troppo efficiente.

I risultati dell'introduzione di grandi tecnologie di dati:

• la qualità del servizio clienti;
• ottimizzazione dell'integrazione nella catena di approvvigionamento;
• ottimizzazione dell'organizzazione di pianificazione;
• accelerazione dell'interazione con i clienti;
• migliorare l'efficienza delle richieste dei clienti;
• costi di servizio ridotti;
• ottimizzazione delle applicazioni client di elaborazione.

I migliori libri su grandi dati

"Il volto umano dei grandi dati", Rick Smolyan e Jennifer Evitt

Adatto per lo studio iniziale delle tecnologie per l'elaborazione di dati di grandi dimensioni - è facile e comprensibile al caso. Rende chiaro come abbondanza di informazioni influenzate vita quotidiana E tutte le sue sfere: scienza, affari, medicina, ecc. Contiene numerose illustrazioni, così percepite senza molto sforzo.

"Introduzione al data mining", Pang-Ning Tang, Michael Steinbach e Vipin Kumar

Utile anche per il libro dei principianti su grandi dati, spiegando il lavoro con i grandi dati sul principio di "da semplice al complesso". Molti momenti non marcati nella fase iniziale sono: preparazione per l'elaborazione, la visualizzazione, l'OLAP, nonché alcuni metodi di analisi e classificazione dei dati.

"Python Machine Learning", Sebastian Rashka

Guida pratica all'uso di dati di grandi dimensioni e lavorare con loro utilizzando il linguaggio di programmazione Python. Adatto sia per studenti di specialità ingegneristiche che specialisti che vogliono approfondire le loro conoscenze.

"Hadoop per manichini", Dirk Dehrus, Paul S. Zikopulos, Roman B. Melnik

Hadoop è un progetto creato specificamente per lavorare con programmi distribuiti che organizzano l'azione su migliaia di nodi allo stesso tempo. La conoscenza con lui aiuterà in modo più dettagliato per comprendere l'applicazione pratica dei dati di grandi dimensioni.

Secondo la ricerca e le tendenze

Big Data, "Big Data" per diversi anni, mentre diventi una parabola nelle lingue nella stampa di esso e del marketing. Ed è chiaro: tecnologie digitali La vita di un uomo moderno penetrava: "Tutto è scritto". La quantità di dati sui lati più diversi della vita è in crescita, e allo stesso tempo le possibilità di immagazzinare le informazioni sono in aumento.

Tecnologie di stoccaggio della tecnologia globale

Fonte: Hilbert e Lopez, `La capacità tecnologica del mondo di memorizzare, comunicare e calcolare informazioni,` Science, 2011 Global.

La maggior parte degli esperti concordano sul fatto che l'accelerazione della crescita dei dati è una realtà oggettiva. Social networks, Dispositivi mobili, dati da dispositivi di misurazione, informazioni aziendali - solo alcuni tipi di fonti che possono generare informazioni gigantesche. Secondo lo studio IDC.Universo digitale. , pubblicato nel 2012, i prossimi 8 anni la quantità di dati al mondo raggiungerà 40 ZB (Zettabytes) equivalente a 5.200 GB per abitante del pianeta.

Crescita delle informazioni digitali raccolte negli Stati Uniti

Fonte: IDC.

Una parte significativa delle informazioni è stata creata non alle persone, ma i robot interagiscono sia a vicenda che con altre reti di dati, come ad esempio, sensori e dispositivi intelligenti. In tali tassi tassi di crescita, la quantità di dati nel mondo, secondo le previsioni dei ricercatori, raddoppierà ogni anno. Il numero di server virtuali e fisici al mondo crescerà dieci volte a causa dell'espansione e della creazione di nuovi data center. A questo proposito, la necessità per l'uso e la monetizzazione efficiente di questi dati è in crescita. Dal momento che l'uso di grandi dati in azienda richiede notevoli investimenti, quindi è necessario comprendere chiaramente la situazione. E lei, in sostanza, è semplice: migliorare l'efficienza aziendale può essere ridotta costi o / e aumentare le vendite.

Cosa hai bisogno di grandi dati

Il paradigma Big Data definisce tre tipi principali di compiti.

• Conservazione e gestione del volume dei dati in centinaia di terabyte o petabyte che i normali database relazionali non consentono un uso efficiente.
• Organizzazione di informazioni non strutturate composte da testi, immagini, video e altri tipi di dati.
• Big Analisi dei dati, che solleva la questione di come lavorare con informazioni non strutturate, generazione di report analitici, nonché l'introduzione di modelli prognostici.

Il mercato del progetto Big Data Data si interseca con il mercato delle imprese Intelligence (BA), il cui volume del mondo, secondo gli esperti, nel 2012 ammontava a circa $ 100 miliardi. Comprende i componenti delle tecnologie, dei server, dei software e dei servizi tecnici di rete.

Inoltre, l'uso di grandi tecnologie di dati è rilevante per le decisioni della classe di garanzia del reddito (RA) progettata per automatizzare le attività delle società. I moderni sistemi di garanzia del reddito comprendono gli strumenti di rilevamento di incongruenze e l'analisi approfondita dei dati, consentendo eventuali perdite di rilevare possibili perdite in modo tempestivo o una distorsione di informazioni che possono portare a una diminuzione dei risultati finanziari. In questo contesto, le società russe confermano la disponibilità della domanda di grandi tecnologie dei dati nel mercato interno, ha notato che i fattori che stimolano lo sviluppo di grandi dati in Russia sono la crescita dei dati, accelerando le decisioni di gestione e migliorano la loro qualità.

Cosa impedisce a lavorare con i grandi dati

Oggi viene analizzato solo lo 0,5% dei dati digitali accumulati, nonostante il fatto che ci siano compiti oggettivamente generali industriali che potrebbero essere risolti utilizzando le soluzioni analitiche della Big Data Class. I mercati IT sviluppati hanno già i risultati per i quali è possibile stimare le aspettative associate all'accumulo e all'elaborazione di dati di grandi dimensioni.

Uno dei principali fattori che inibisce l'introduzione di grandi dati - progetti, oltre ad alto costo, è considerato il problema di selezionare i dati elaborati: Cioè, la definizione di quali dati devono essere recuperati, memorizzati e analizzati e che non vengono presi in considerazione.

Molti rappresentanti di business si noti che le difficoltà nell'attuazione di progetti di grandi dati sono associati alla mancanza di specialisti - commercianti e analisti. Dalla qualità del lavoro dei dipendenti impegnati in analisi profonda e predicativa, il tasso di ritorno degli investimenti in grandi dati dipende direttamente. L'enorme potenziale dei dati già esistenti nell'organizzazione non può essere effettivamente utilizzato dai marketer stessi a causa di processi aziendali obsoleti o regolamenti interni. Pertanto, i grandi progetti di dati sono percepiti da Business come complessi non solo nell'attuazione, ma anche nella valutazione dei risultati: i valori dei dati raccolti. La specificità di lavoro con i dati richiede ai marketing e agli analisti per attivare l'attenzione dalla tecnologia e la creazione di report per risolvere compiti aziendali specifici.

A causa del grande volume e dell'alta velocità del flusso di dati, il processo della loro collezione comporta la procedura ETL in tempo reale. Per riferimento:Etl. - OT.ingleseEstratto, Trasformare, Caricare. - letteralmente "estrazione, trasformazione, caricamento") - uno dei principali processi in gestione magazzini di dati che includono: estrarre dati da fonti esterne, la loro trasformazione e pulizia per soddisfare le esigenze ETL dovrebbe essere considerato non solo come il processo di trasferimento dei dati da una domanda a un altro, ma anche come strumento di preparazione dei dati per l'analisi.

E poi domande per garantire che la sicurezza dei dati provenienti da fonti esterne dovrebbe avere soluzioni che corrispondono alle quantità di informazioni raccolte. Poiché i grandi metodi di analisi dei dati si stanno sviluppando finora dopo la crescita dei dati, la proprietà delle piattaforme analitiche viene svolta un ruolo importante per utilizzare nuovi metodi di preparazione e aggregazione dei dati. Ciò suggerisce che, ad esempio, i dati sui potenziali acquirenti o sui massicci data warehouse con una cronologia dei clic sui siti di negozi online possono essere interessanti per risolvere varie attività.

Le difficoltà non si fermano

Nonostante tutte le difficoltà con l'introduzione di grandi dati, l'azienda intende aumentare l'investimento in questa direzione. Come segue dai dati del Gartner, nel 2013, il 64% delle più grandi aziende del mondo ha già investito, o ha intenzione di investire nello spiegamento di tecnologie nella grande area dati per la loro attività, mentre nel 2012 c'erano il 58%. Secondo la ricerca di Gartner, i leader di investimento in Big Data Industries sono società di media, telecomunicazioni, settore bancario e società di servizi. I risultati di successo dell'attuazione dei grandi dati sono già stati raggiunti da molti principali attori al dettaglio in termini di utilizzo dei dati ottenuti utilizzando strumenti di identificazione della radiofrequenza, logistica e sistemi di rifornimento (dall'inglese. rifornimento. - Accumulo, rifornimento - R & T), nonché da programmi di fidelizzazione. L'esperienza al dettaglio di successo stimola gli altri settori del mercato Trova nuovi metodi efficaci Monetizzazione di grandi dati per trasformare la loro analisi in una risorsa che lavora allo sviluppo del business. Grazie a questo, secondo gli esperti, nel periodo fino al 2020, gli investimenti in gestione, lo stoccaggio diminuirà per ogni Gigabyte di dati da $ 2 a $ 0,2, ma per studiare e analizzare le proprietà tecnologiche dei Big Data aumenterà solo 40 %.

Spese presentate in vari progetti di investimento Nella regione dei grandi dati, hanno un carattere diverso. Gli articoli di costo dipendono dai tipi di prodotti selezionati in base a soluzioni definite. La maggior parte dei costi dei progetti di investimento, secondo gli specialisti, ha rappresentato i prodotti relativi alla raccolta, alla strutturazione dei dati, alla pulizia e alla gestione delle informazioni.

Come è fatto

Ci sono molte combinazioni di software e hardware, che consentono di creare soluzioni efficaci di grandi dati per varie discipline aziendali: dai social media e dalle applicazioni mobili, all'analisi intellettuale e alla visualizzazione dei dati commerciali. Un importante vantaggio dei Big Data è la compatibilità dei nuovi strumenti con database ampiamente utilizzati, che è particolarmente importante quando si lavora con progetti crociati disciplinari, come l'organizzazione di vendite multicanale e assistenza clienti.

La Big Data Sequence è composta da una raccolta di dati, strutturando le informazioni ricevute utilizzando report e dashboard (dashboard), creando approfondimenti e contesti, nonché formulare raccomandazioni all'azione. Poiché lavorare con grandi dati implica elevati costi di raccolta dei dati, il risultato dell'elaborazione che è sconosciuto in anticipo, il compito principale è una chiara comprensione, per la quale sono necessari i dati, e non quanto sono disponibili. In questo caso, la raccolta dei dati si trasforma nel processo di ottenimento esclusivamente necessario per risolvere attività di informazioni specifiche.

Ad esempio, i fornitori di telecomunicazioni aggrega una quantità enorme di dati, compresa la geolocalizzazione che viene costantemente reintegrata. Queste informazioni possono presentare interesse commerciale alle agenzie pubblicitarie che possono utilizzarlo per mostrare pubblicità mirata e locale, nonché per rivenditori e banche. Tali dati possono svolgere un ruolo importante nella risoluzione dell'apertura del punto di trading in una determinata posizione in base ai dati sulla presenza di un potente flusso target di persone. C'è un esempio di misurazione dell'efficienza pubblicitaria sugli scudi all'aperto a Londra. Ora la copertura di tale pubblicità può essere misurata solo collocando persone con un dispositivo speciale per il conteggio dei passanti vicino alle strutture pubblicitarie. Rispetto a questo tipo di misurazione dell'efficienza pubblicitaria, un operatore mobile ha molte più opportunità - sa esattamente la posizione dei suoi abbonati, conosce le loro caratteristiche demografiche, sesso, età, stato civile, ecc.

Sulla base di tali dati, in futuro, la prospettiva di modificare il contenuto del messaggio pubblicitario si apre, utilizzando le preferenze di una determinata persona che passa dallo scudo pubblicitario. Se i dati mostrano che passano da una persona viaggia molto, allora può mostrare l'annuncio del resort. Gli organizzatori della partita di calcio possono valutare il numero di fan solo quando arrivano alla partita. Ma se avessero avuto l'opportunità di richiedere all'operatore comunicazione cellulare Informazioni in cui i visitatori erano in un'ora, giorno o mese prima della partita, darebbe l'opportunità di pianificare luoghi per ospitare le seguenti partite.

Un altro esempio è che le banche possono utilizzare i grandi dati per prevenire la frode. Se il client dichiara la perdita della carta, e quando si effettua un acquisto con il suo aiuto, la Banca vede in tempo reale la posizione del telefono del cliente nell'area di acquisto in cui si verifica la transazione, la banca può controllare le informazioni sull'applicazione di Il cliente, non ha provato ad ingannarlo. O la situazione opposta, quando il cliente effettua un acquisto nel negozio, la banca vede che la carta in cui avviene la transazione, e il telefono del cliente è in un unico posto, la Banca può concludere che il suo proprietario gode della carta. Grazie a tali vantaggi dei Big Data, i confini sono ampliati, che eseguono i tradizionali magazzini di dati.

Per decidere con successo l'attuazione delle decisioni dei grandi dati, la società deve calcolare il caso di investimento e causa grandi difficoltà a causa di molti componenti sconosciuti. Il paradosso di Analytics in tali casi diventa prevedibile il futuro sulla base del passato, i dati su cui è spesso assente. In questo caso, un fattore importante è una chiara pianificazione delle sue azioni iniziali:

• In primo luogo, è necessario definire un compito di business specifico, per risolvere le grandi tecnologie dei dati, questa attività sarà una verga di determinare la lealtà del concetto selezionato. È necessario concentrarsi sulla raccolta dei dati relativi con precisione con questo compito e durante l'ispezione del concetto è possibile utilizzare vari strumenti, processi e metodi di gestione che consentiranno di prendere decisioni più informate in futuro.
• In secondo luogo, è improbabile che l'azienda senza competenze e esperienza di analisi dei dati sia in grado di implementare con successo il progetto Big Data. La conoscenza necessaria fluisce sempre dalla precedente esperienza di analisi, che è il fattore principale che colpisce la qualità del lavoro con i dati. Un ruolo importante viene svolto dalla cultura dell'uso dei dati, poiché spesso l'analisi delle informazioni apre la dura verità sull'attività, e per prendere questa verità e lavorare con esso, sono necessari i metodi sviluppati di lavorare con i dati.
• In terzo luogo, il valore delle grandi tecnologie dei dati è quello di fornire intuizioni che i buoni analisti rimangono un deficit sul mercato. Sono abituali a chiamare specialisti che hanno una profonda comprensione del senso commerciale dei dati e sapendo come applicarli. L'analisi dei dati è un mezzo per raggiungere gli obiettivi aziendali e per comprendere il valore dei Big Data, è necessario un modello di comportamento corrispondente e la comprensione delle sue azioni. In questo caso, i dati di grandi dimensioni darà molte informazioni utili sui consumatori, sulla base della quale è possibile effettuare soluzioni utili per gli affari.

Nonostante il fatto che il grande mercato dei dati russo stia appena iniziando a formarsi, i singoli progetti in questo settore sono già stati implementati con successo. Alcuni di essi hanno successo nel settore della raccolta dei dati, come progetti per la Banca FTS e Tinkoff Systems Bank, altre - in termini di analisi dei dati e l'applicazione pratica dei suoi risultati: questo è un progetto di SynSSera.

La Banca Tinkoff Credit Systems Bank ha implementato un progetto per implementare la piattaforma EMC2 GreenPlum, che è uno strumento per un calcolo in parallelo massiccio. Durante anni recenti La Banca ha aumentato le richieste per il tasso di trattamento delle informazioni accumulate e l'analisi dei dati in tempo reale, causato dagli elevati tassi di crescita del numero di utenti di carte di credito. La Banca ha annunciato piani per espandere l'uso di grandi tecnologie di dati, in particolare per elaborare dati non strutturati e lavorare con informazioni aziendali ottenute da fonti diverse.

Nel servizio fiscale federale della Russia al momento c'è uno strato analitico del data warehouse federale. È basato su un singolo spazio informativo e accesso alla tecnologia ai dati fiscali per la lavorazione statistica e analitica. Durante l'implementazione del progetto, il lavoro viene effettuato sulla centralizzazione delle informazioni analitiche con oltre 1.200 fonti dell'IFX locale.

Un altro esempio interessante dell'analisi dei dati di grandi dimensioni in tempo reale è l'avvio russo di Synsqera, che ha sviluppato la piattaforma Simplate. La soluzione si basa sul trattamento di grandi array di dati, il programma analizza le informazioni sugli acquirenti, la storia dei loro acquisti, età, sesso e persino umore. Nel botteghino nella rete di negozi cosmetici sono stati installati touch Screens. Con sensori che riconoscono le emozioni del cliente. Il programma determina l'atmosfera della persona, analizza le informazioni su di esso, determina l'ora del giorno e analizza la base degli sconti del negozio, dopo di che invia messaggi mirati su promozioni e offerte speciali. Questa soluzione aumenta l'acquisto di lealtà e aumenta le vendite di rivenditori.

Se parliamo di casi di successo stranieri, allora a questo proposito, l'esperienza di utilizzare grandi tecnologie di dati in Dunkin &utsonuts, utilizzando dati in tempo reale per la vendita di prodotti. I display digitali nei negozi visualizzano frasi che si sostituiscono ogni altro minuto, a seconda dell'ora del giorno e della disponibilità dei prodotti. Ai controlli in contanti, la società riceve dati che i suggerimenti hanno ricevuto la massima risposta dagli acquirenti. Questo approccio di elaborazione dei dati ha permesso di aumentare i profitti e le merci del fatturato in magazzino.

Poiché l'esperienza di introdurre progetti di progetti di grandi dati, quest'area è progettata per risolvere con successo compiti commerciali moderni. Allo stesso tempo, un fattore importante per raggiungere scopi commerciali quando si lavora con i Big Data è la scelta della giusta strategia che include analisi che rileva le richieste dei consumatori, nonché l'uso di tecnologie innovative nella grande area di dati.

Secondo un sondaggio globale, condotto annualmente da econsultaction e Adobe dal 2012 tra i marketer di aziende, "Big Data", che caratterizzano le azioni delle persone su Internet, possono molto. Sono in grado di ottimizzare i processi aziendali offline, aiutano a capire come i proprietari di dispositivi mobili li usano per cercare informazioni o semplicemente "rendere il marketing migliore", cioè. Più efficiente. Inoltre, l'ultima funzione dell'anno è sempre più sempre più sempre più, come segue dal diagramma che mostriamo.

Le principali aree di funzionamento dei marketer di Internet in termini di relazioni con i clienti

Una fonte: Econsultanza e Adobe, pubblicata - Emarketer.com.

Si noti che la nazionalità degli intervistati non importa. Come sondaggio condotto da KPMG nel 2013, la proporzione di "ottimisti", cioè. Coloro che utilizzano i grandi dati nello sviluppo di una strategia aziendale sono il 56%, inoltre, le fluttuazioni della regione della regione sono piccole: dal 63% nei paesi del Nord America fino al 50% in EMEA.

Usando grandi dati in diverse regioni del mondo

Una fonte: KPMG, pubblicato - Emarketer.com.

Nel frattempo, il rapporto tra marketing a tali "tendenze della moda" è simile al famoso aneddot:

Dimmi, Vano, ti piacciono i pomodori?
- Amo mangiare, e così - no.

Nonostante il fatto che i marketer nelle parole "amano" i grandi dati e sembrano persino usarli, infatti, "tutto è difficile", come scrivono sui loro atteggiamenti del cuore nei social network.

Secondo un sondaggio condotto dalla ricerca sul cerchio nel gennaio 2014 tra i marketer europei, 4 rispondenti su 5 non utilizzano grandi dati (nonostante il fatto che siano, naturalmente, "amore"). Le cause sono diverse. Scettici firmati un po 'del 17% ed esattamente tanto quanto i loro antipodi, cioè Coloro che rispondono con sicurezza: "Sì." Il resto è oscillante e dubitante, "palude". Partono da una risposta diretta sotto i pretesti favorevoli nello spirito di ciò che "non c'è, ma presto" o "Aspetta fino a quando il resto inizia".

Utilizzo di Big Data Marketer, Europa, Gennaio 2014

Una fonte:dNX, pubblicato -emarketer.com.

Cosa li confondono? Sciocchezze del sole. Alcuni (la loro esatta metà) semplicemente non credono a questi dati. Altri (hanno anche molto - 55%) difficili nella correlazione dei set di "Dati" e "Utenti". Qualcuno è semplicemente (esprimendo la correzione politicamente) disturbo intracorporato: i dati sono a piedi inconsolano tra i reparti di marketing e le strutture IT. Altri software non affrontano l'afflusso di lavoro. Eccetera. Poiché le quote totali superano significativamente il 100%, è chiaro che la situazione di "barriere multiple" si trova spesso.

Barriere all'uso di grandi dati nel marketing

Una fonte:dNX, pubblicato -emarketer.com.

Pertanto, è necessario dichiarare che mentre "Big Data" è un grande potenziale di cui hai ancora bisogno di approfittare. A proposito, questa potrebbe essere la ragione per cui i grandi dati stanno perdendo una "tendenza alla moda" Halo, come evidenziato dai dati del sondaggio condotti da aver già menzionato dall'econsultanza.

Le tendenze più significative del marketing digitale 2013-2014

Una fonte: Econsultanza e Adobe

Per la sostituzione, stanno uscendo un altro re-marketing del contenuto. Per quanto?

È impossibile dire che i dati di grandi dimensioni sono una specie di fenomeno fondamentalmente nuovo. Le fonti di grandi dati sono state esistenti per molti anni: i clienti acquistano database, storie di credito, stile di vita. E per molti anni, gli scienziati hanno usato questi dati per aiutare le aziende a valutare il rischio e prevedere le esigenze dei clienti future. Tuttavia, oggi la situazione è cambiata in due aspetti:

Ci sono strumenti e metodi più complessi per analizzare e combinare vari set di dati;

Questi strumenti analitici sono integrati da un'intera valanga di nuove fonti di dati causate dalla transizione alle tecnologie digitali di quasi tutti i metodi di raccolta e misurazione dei dati.

La gamma di informazioni disponibili contemporaneamente e ispira e spaventa ricercatori che sono cresciuti in un mezzo di ricerca strutturato. I sentimenti dei consumatori sono registrati da siti e tutti i tipi di varietà di social media. Il fatto di visualizzare la pubblicità è fisso non solo da console televisive, ma anche con l'aiuto di tag digitali e dispositivi mobiliToccando con una TV.

I dati comportamentali (come il numero di chiamate, l'acquisto di abitudini e acquisti) sono ora disponibili in tempo reale. Pertanto, gran parte di ciò che è stato utilizzato per essere ottenuto per ricerca, oggi è possibile imparare utilizzando grandi fonti di dati. E tutte queste attività di informazione sono costantemente generate, indipendentemente da qualsiasi procedura di ricerca. Questi cambiamenti e ci fanno chiedere: se i dati di grandi dimensioni saranno in grado di sostituire la ricerca classica del mercato.

Non si tratta dei dati, si tratta di domande e risposte

Prima di ordinare la suoneria funebre sulla ricerca classica, dobbiamo ricordare a te stesso che non è la presenza di determinati beni dati, ma qualcos'altro. Che cosa esattamente? La nostra capacità di rispondere alle domande, è quello che. Il nuovo mondo dei dati di grandi dimensioni ha una caratteristica divertente: i risultati ottenuti sulla base di nuove risorse informative portano all'emergere di ulteriori problemi, e la ricerca tradizionale è una risposta migliore da questi problemi. Pertanto, poiché i più grandi dati aumentano, vediamo una crescita parallela in presenza e necessitá di "piccoli dati" (piccoli dati), che possono dare risposte alle domande del mondo dei dati di grandi dimensioni.

Considera la situazione: un grande inserzionista conduce il monitoraggio costante del traffico nei negozi e sui volumi di vendita in tempo reale. Tecniche di ricerca esistenti (entro le quali interviamo i pannelli di ricerca sulle loro motivazioni per l'acquisto e il comportamento nei punti vendita) ci aiutano a mirare meglio a alcuni segmenti di acquirenti. Queste tecniche possono essere ampliate - possono includere una gamma più ampia di beni di dati di grandi dimensioni fino al punto che i dati di grandi dimensioni diventano un mezzo di osservazione passiva e studi - mediante il metodo della ricerca permanente non skonese di modifiche o degli eventi che richiedono uno studio. Questo è il modo in cui i dati di grandi dimensioni possono liberare la ricerca dalla routine in eccesso. Gli studi primari non dovrebbero più concentrarsi su ciò che sta accadendo (questo renderà i grandi dati). Invece, la ricerca primaria può concentrarsi sulla spiegazione del perché stiamo vedendo alcune tendenze o deviazioni dalle tendenze. Il ricercatore sarà in grado di pensare a meno di ricevere dati e di più su come analizzarli e usarli.

Allo stesso tempo, vediamo che i dati di grandi dimensioni consentono di risolvere uno dei nostri più grandi problemi - il problema della ricerca eccessivamente lunga. Lo studio degli stessi studi ha dimostrato che gli strumenti di ricerca eccessivamente gonfiati hanno un impatto negativo sulla qualità dei dati. Sebbene molti specialisti per un lungo periodo riconosciuti la presenza di questo problema per molto tempo, hanno risposto invariabilmente a questo dalla frase: "Ma ho bisogno di queste informazioni per il top management" e continuò a lungo sondaggi.

Nel mondo dei dati di grandi dimensioni, dove gli indicatori quantitativi possono essere ottenuti dall'osservazione passiva, questa domanda diventa controversa. Ancora una volta, ricordiamo tutte queste ricerche di consumo. Se i dati di grandi dimensioni ci danno approfondimenti sul consumo utilizzando l'osservazione passiva, la ricerca primaria sotto forma di sondaggi non ha più bisogno di raccogliere questo tipo di informazioni, e finalmente saremo in grado di rafforzare la tua visione di brevi sondaggi non solo da buoni auguri, Ma qualcosa di reale.

I grandi dati hanno bisogno del tuo aiuto

Infine, "Big" è solo una delle caratteristiche di grandi dati. La caratteristica "grande" si riferisce alla dimensione e alla scala della scala. Naturalmente, questa è la caratteristica principale, dal momento che la quantità di questi dati va oltre tutto ciò con cui abbiamo lavorato prima. Ma anche altre caratteristiche di questi nuovi flussi di dati sono importanti: sono spesso scarsamente formattati, non strutturati (o, al meglio, strutturati parzialmente) e sono pieni di incertezza. L'area in via di sviluppo della gestione dei dati, la metropolitana chiamata "Analisi delle entità" (Analytics Entity), è progettata per risolvere il problema del superamento del rumore in dati di grandi dimensioni. Il suo compito è quello di analizzare questi set di dati e scoprire quante osservazioni si riferisce alla stessa persona, che le osservazioni sono aggiornate e quale di esse sono adatte per l'uso.

Questo tipo di pulitura dei dati è necessaria per rimuovere il rumore o i dati errati quando si lavora con dati più grandi o piccoli, ma questo non è sufficiente. Dobbiamo anche creare un contesto attorno alle grandi risorse di dati basate sulla nostra precedente esperienza, analisi e conoscenza della categoria. Infatti, molti analisti indicano la capacità di gestire l'incertezza inerente ai dati di grandi dimensioni, come fonte di vantaggio competitivo, in quanto consente di effettuare soluzioni più efficaci.

E ora, la ricerca primaria non è solo esentata dalla routine grazie a dati di grandi dimensioni, ma contribuisce anche alla creazione di contenuti e analisi all'interno del quadro di dati di grandi dimensioni.

Un vivido esempio di questo può essere l'applicazione del nostro nuovo quadro fondamentalmente diverso del capitale del marchio sui social media (noi stiamo parlando O Sviluppato da B.Millward. Marrone. Nuovo approccio per misurare il valore del marchioLoro Significativamente Diverso. Struttura. - "paradigma di differenze significative" -R. & T. ). Questo modello è verificato sul comportamento all'interno di mercati specifici, implementato su base standard, ed è facile da applicare in altre direzioni di marketing e sistemi di informazione Sostenere il processo decisionale. In altre parole, il nostro modello di capitale del marchio basato sui metodi di sondaggi (anche se non solo su di essi) ha tutte le proprietà necessarie per superare la natura non strutturata, incoerente e indefinita dei dati di grandi dimensioni.

Considera i dati sul sentimento del consumatore fornito dai social media. Nella forma grea, le cime e le decalcomanie degli umori dei consumatori sono molto spesso correlati al minimo con i parametri di capitale del marchio e del comportamento ottenuti offline: è solo troppo rumore. Ma possiamo ridurre questo rumore, applicare i nostri modelli di significato dei consumatori, la differenziazione dei marchi, della dinamica e delle caratteristiche distintive ai dati di sentimento dei consumatori grezzi è un modo di elaborare e aggregazione dei dati sui social media su queste dimensioni.

Dopo che i dati sono organizzati in conformità con il nostro modello quadro, le tendenze di solito coincidono con i parametri del capitale del marchio e dei comportamenti ottenuti offline. In sostanza, i dati dei social media non possono parlare da soli. Per usarli per questo scopo richiede la nostra esperienza e modelli costruiti attorno ai marchi. Quando i social media ci danno informazioni uniche, espresso nella lingua che i consumatori usano per descrivere i marchi, dobbiamo usare questa lingua quando crei la tua ricerca per rendere la ricerca primaria molto più efficiente.

Vantaggi della ricerca liberata

Questo ci riporta al fatto che i dati di grandi dimensioni non sono molto sostituiti dalla ricerca mentre loro esentano. I ricercatori saranno rilasciati dalla necessità di creare un nuovo studio per ogni nuovo caso. Le attività di dati principali in costante aumento possono essere utilizzate per diverse ricerche, che consente la successiva ricerca primaria di approfondire nell'argomento e compilare spazi disponibili. I ricercatori saranno rilasciati dalla necessità di fare affidamento su sondaggi eccessivamente gonfiati. Invece, saranno in grado di utilizzare brevi sondaggi e concentrarsi sui parametri più importanti, che migliora la qualità dei dati.

Grazie a questa liberazione, i ricercatori saranno in grado di utilizzare i loro principi e idee spesi al fine di aggiungere accuratezza e significato di beni dati di grandi dimensioni, che porteranno all'emergere di nuove aree per la ricerca da parte di un metodo di indagine. Questo ciclo dovrebbe portare a una comprensione più profonda di una varietà di questioni strategiche e, in definitiva, di muoversi verso il fatto che dovrebbe sempre essere il nostro obiettivo principale - informare e migliorare la qualità delle soluzioni relative al marchio e alle comunicazioni.

Inciampiamo regolarmente su parole e definizioni alla moda, il significato di cui ci sembra intuitivamente comprensi, ma un quadro chiaro del fatto che è ancora per la cosa e come funziona, non lo facciamo.

Uno di questi concetti è un grande dati, in russo, a volte puoi trovare una traduzione letterale - "Big Data", ma più spesso le persone parlano e scrivono come: Big Data. Tutto certamente ascoltato o, almeno ha incontrato questa frase su Internet, e sembra essere semplice, ma cosa si intende esattamente, lontano dalle sottigliezze degli umanitari di Diditiv-World Ufficio non sempre chiari.

Un eccellente tentativo di riempire questo divario nel cervello della vasta gamma di utenti è un articolo di uno dei nostri autori preferiti di Bernard Marra, che è chiamato "Quali sono i grandi dati? Spiegazione super prova per ciascuna ". Senza riconosciuto Jarnon, con il solo scopo di spiegare le idee chiave di questo fenomeno per ciascuno, indipendentemente dall'istruzione e dall'ambito di applicazione.

In effetti, negli ultimi anni viviamo già nel mondo, attraverso i grandi dati inclinati, ma continuano ad essere confusi nel capire cosa è ancora. Ciò accade in parte e perché il grande concetto di dati è costantemente trasformato e ripensato, perché il mondo delle alte tecnologie e il trattamento di grandi array di informazioni cambia molto rapidamente, comprese tutte le nuove e nuove opzioni. E la quantità di queste informazioni è in costante crescita.

Quindi cosa significano i grandi dati - 2017?

Tutto è iniziato con l'aumento esplosivo del numero di dati che creiamo dall'inizio dell'era digitale. Ciò è diventato possibile principalmente a causa dell'aumento del numero e della potenza dei computer, dell'espansione di Internet e dello sviluppo di tecnologie che possono acquisire informazioni dal mondo reale e fisico in cui viviamo tutti e convertiamo in dati digitali.

Nel 2017, produciamo dati quando entriamo in Internet quando usiamo i nostri smartphone GPS complicati quando comunichiamo con gli amici nei social network, download applicazioni mobili O musica quando fai acquisti.

Possiamo dire che ci riserviamo molte tracce digitali, qualunque cosa facciamo se le nostre azioni includono qualsiasi transazione digitale. Questo è, quasi sempre e ovunque.

Inoltre, con una velocità enorme, la quantità di dati generati dalle macchine stesse sta crescendo. I dati vengono creati e trasmessi quando i nostri dispositivi intelligenti comunicano tra loro. Le imprese di produzione di tutto il mondo sono dotate di attrezzature, che raccoglie DANCY e TRANSFERS e trasmettono dati.

Nel prossimo futuro, le nostre strade saranno piene di auto autonomiche, lanciando autonomamente percorsi basati su carte quadrugi midimensionali, generate in tempo reale.

Cosa possono i grandi dati?

Flusso infinitamente crescente di informazioni sensoriali, foto, messaggi di testoI dati audio e video sono alla base dei grandi dati, che possiamo usare come è stato possibile immaginare nemmeno alcuni anni fa.

In questo momento basato su grandi progetti di dati Aiuto:

- Trattare le malattie e prevenire il cancro. La grande medicina basata sui dati analizza un enorme numero di documenti e immagini medici, il che rende possibile una diagnosi molto precoce e contribuisce alla creazione di nuovi trattamenti.

- Combattere la fame. L'agricoltura sta vivendo una vera rivoluzione dei grandi dati che consente l'uso di risorse per massimizzare la resa con un intervento minimo nell'ecosistema e ottimizzare l'uso di macchine e attrezzature.

- Apri pianeti distanti. La NASA, ad esempio, analizza un'enorme quantità di dati e costruisce un modello di future missioni in mondi lontani.

- Prevedere le emergenze Natura diversa e minimizza i possibili danni. Questi numerosi sensori possono prevedere dove e quando si verificherà il prossimo terremoto o il possibile comportamento delle persone in caso di emergenza, il che aumenta le possibilità di sopravvivenza.

- Prevenire il crimine Attraverso l'uso di tecnologie che consentono di allocare in modo più efficace le risorse e indirizzarle a dove sono più necessarie.

E il più vicino alla maggior parte di noi: i grandi dati rendono la vita di una persona ordinaria più facile e più comoda - è lo shopping online e la pianificazione dei viaggi e la navigazione in una metropoli.

Scegli il momento migliore per acquistare i biglietti e decidere quale film o serie per vedere, è diventato molto più facile grazie al lavoro di Big Data.

Come funziona?

I grandi dati funzionano in linea di principio: più sai di qualcosa, più accurato puoi prevedere ciò che accadrà in futuro. Un confronto tra dati individuali e relazioni tra di loro (stiamo parlando di un'enorme quantità di dati e incredibilmente grandi quantità di possibili collegamenti tra loro) consente di rilevare modelli nascosti in precedenza. Ciò rende possibile guardare all'interno del problema e in definitiva una comprensione di come possiamo controllare l'unico o un altro processo.

Più spesso, il trattamento di grandi quantità di informazioni include modelli di costruzione in base ai dati raccolti e il lancio di simulazioni, durante le quali le impostazioni delle chiavi sono in continua evoluzione, e ogni volta che il sistema monitora, come il "cambio di impostazioni" influisce sul possibile risultato.

Questo processo è completamente automatizzato, perché stiamo parlando dell'analisi di milioni di simulazioni, l'estinguente di tutte le possibili opzioni fino al momento in cui il modello (lo schema desiderato) non viene trovato o fino a quando la "illuminazione" non accade, che lo farà Aiuta a risolvere il compito per il quale tutto è ancora trattato.

In contrasto con i soliti articoli e calcoli del mondo, i dati sono accettati in una forma non strutturata, cioè, sono difficili da spingere in soliti, persone, tavoli con cellule e colonne. Una quantità enorme di dati viene trasmessa come immagini o video: dagli scatti satelliti a Selfie, che pubblicherete in Instagram o Facebook, - solo come le voci in e-mail e messenger o telefonate.

Per dare tutto questo flusso di dati infinito e diverso, i grandi dati utilizzano spesso le tecnologie di analisi più avanzate che includono l'intelligenza artificiale e l'apprendimento della macchina (questo è quando il programma è stato addestrato in altri programmi).

I computer stessi stanno imparando a determinare cosa o tali informazioni rappresentano - ad esempio, riconoscere immagini, lingua, - e possono farlo molto più velocemente delle persone.

Grande Fratello?

In proporzione alle caratteristiche senza precedenti che i grandi dati ci danno oggi, il numero di preoccupazioni e problemi relativi al suo utilizzo sono in crescita.

Approvvigionamento di dati personali. I grandi dati raccogliendo un'enorme quantità di informazioni sulla nostra vita privata. Ci sono molte informazioni che preferiremmo tenere segreto.

SICUREZZA. Anche se decidiamo che nel trasferimento di tutti i nostri dati personali l'auto per qualche particolare obiettivo favorevole non c'è nulla di terribile, possiamo essere sicuri che i nostri dati siano archiviati in un luogo sicuro?
Chi e come possiamo garantire questo?

DISCRIMINAZIONE. Quando è tutto conosciuto, è possibile esporre le persone alla discriminazione basata su ciò che è noto su di loro grazie ai grandi dati? Le banche utilizzano la storia del credito e le compagnie assicurative determinano il costo delle autostrade, in base a ciò che sanno di te. Quanto è lontano?

Si può presumere che il bene di minimizzare i rischi della Società, le agenzie governative e persino le persone utilizzeranno ciò che possono imparare su di noi e per alcuni dei motivi, limitarci l'accesso alle risorse e alle informazioni.

Con tutti i vantaggi, dobbiamo riconoscere che tutte queste paure sono anche parte integrante dei grandi dati. Fino a poco tempo fa, gli scienziati si sono precipitati sulle risposte, ma ora è arrivato il momento in cui l'onda è arrivata a un'azienda che vuole sfruttare i grandi dati per i propri scopi. E questo può essere irto con entrambe le disastrose conseguenze.

I dati di grandi dimensioni (o grandi dati) sono un insieme di metodi di lavoro con enormi volumi di informazioni strutturate o non strutturate. Gli specialisti nel lavorare con dati di grandi dimensioni sono impegnati nella sua elaborazione e analisi per ottenere risultati visivi e percepiti. Guardami parlato con i professionisti e ho scoperto qual è la situazione con il trattamento di grandi dati in Russia, dove e cosa è meglio imparare a coloro che vogliono lavorare in quest'area.

Alexey Rupin sulle direzioni principali nel campo dei dati di grandi dimensioni, comunicazione con i clienti e il mondo dei numeri

Ho studiato al Moscow Institute of Electronic Technology. La cosa principale che sono riuscito a prendere, sono la conoscenza fondamentale della fisica e della matematica. Allo stesso tempo, ho lavorato nel centro di ricerca e sviluppo, dove è stato impegnato nello sviluppo e nell'attuazione di algoritmi di codifica nobili per i mezzi di trasferimento dei dati protetti. Dopo la fine dello studente universitario, sono entrato nella magistratura delle informazioni commerciali della scuola superiore dell'economia. Dopodiché, volevo lavorare in IBS. Sono stato fortunato che in quel momento c'era un ulteriore serie di stagisti in relazione a un gran numero di progetti, e dopo diverse interviste ho iniziato a lavorare a IBS, una delle più grandi aziende russe in quest'area. Per tre anni, sono andato via dal treno prima dell'architetto di soluzioni aziendali. Ora sono impegnato nello sviluppo di grandi tecnologie di dati per le società dei clienti del settore finanziario e di telecomunicazione.

Ci sono due specializzazioni principali per le persone che vogliono lavorare con i grandi dati: analisti e consulenti IT che creano tecnologie per lavorare con dati di grandi dimensioni. Inoltre, puoi anche parlare della professione di Big Data Analyst, I.e., Persone che funzionano direttamente con i dati con la piattaforma IT dal cliente. In precedenza, erano normali analisti di matematica che conoscevano statistiche e matematiche e utilizzando il software statistico per risolvere le attività di analisi dei dati. Oggi, oltre alla conoscenza delle statistiche e della matematica, è necessaria anche una comprensione della tecnologia e di un ciclo di vita dei dati. In questo, a mio avviso, è la differenza tra gli analisti dei dati moderni da quegli analisti che erano prima.

La mia specializzazione è consultando, cioè, sto inventando e offrendo ai clienti come risolvere attività aziendali con tecnologie IT. Le persone vengono a consultare varie esperienze, ma le qualità più importanti per questa professione sono la capacità di comprendere le esigenze del cliente, il desiderio di aiutare le persone e le organizzazioni, le buone capacità di comunicazione e di squadra (poiché è sempre a lavorare con il cliente e in una squadra), buone capacità analitiche. La motivazione interna è molto importante: lavoriamo in un ambiente competitivo, e il cliente sta aspettando soluzioni e interessi insoliti nel lavoro.

La maggior parte del tempo devo comunicare con i clienti, formalizzare le loro esigenze aziendali e l'assistenza nello sviluppo dell'architettura tecnologica più adatta. I criteri di selezione qui hanno le proprie caratteristiche: oltre alla funzionalità e TSO (costo totale della proprietà - il costo totale della proprietà) sono molto importanti, requisiti non funzionali per il sistema, il più delle volte è il tempo di risposta, l'elaborazione delle informazioni tempo. Per convincere il cliente, spesso utilizziamo la prova dell'approccio Concept - offriamo gratuitamente per "Test" tecnologia per qualche attività, su un set di dati ristretto per assicurarci che la tecnologia funzioni. La decisione dovrebbe creare un vantaggio competitivo per il cliente a spese di ulteriori vantaggi (ad esempio X-sell, cross-sale) o risolvere una sorta di problema aziendale, ad esempio, ridurre l'alto livello di frode di prestito.

Sarebbe molto più facile se i clienti provenivano dal compito finito, Ma finché non capiscono che è apparsa una tecnologia rivoluzionaria, che può cambiare il mercato per un paio d'anni.

Quali problemi devono affrontare? Il mercato non è pronto per utilizzare la tecnologia "Big Data". Sarebbe molto più facile se i clienti provenivano da un compito già pronto, ma fino a quando non comprendono una tecnologia rivoluzionaria che potesse cambiare il mercato per un paio d'anni. Ecco perché noi, infatti, funzioniamo nella modalità di avvio - non vendere solo la tecnologia, ma ogni volta che convinciamo i clienti che devi investire in queste soluzioni. Questa è una tale posizione dei visionari - mostriamo i clienti come puoi cambiare la tua attività con l'attrazione dei dati e. Creiamo questo nuovo mercato - il mercato di consulenza commerciale nella grande area dati.

Se una persona vuole impegnarsi in analisi dei dati o consultando la sfera dei grandi dati, la prima cosa importante è l'educazione matematica o tecnica con una buona preparazione matematica. È inoltre utile padroneggiare tecnologie specifiche, diciamo SAS, Hadoop, Languaga R o Soluzione IBM. Inoltre, è necessario attivamente essere interessati alle attività di applicazione per i grandi dati, ad esempio, come possono essere utilizzati per migliorare il punteggio di credito in una banca o un controllo ciclo vitale cliente. Queste e altre conoscenze possono essere ottenute da fonti disponibili: ad esempio, Coursera e Big Data University. C'è anche un'iniziativa di Analytics del cliente nell'Università di Wharton della Pennsylvania, che ha pubblicato molti materiali interessanti.

Un problema serio per coloro che vogliono lavorare nella nostra zona è una mancanza esplicita di informazioni sui grandi dati. Non puoi andare al bookstore o in un sito e ottenere, ad esempio, una colonna esauriente di casi per tutte le applicazioni di grandi tecnologie di dati nelle banche. Non ci sono tali libri di riferimento. Parte delle informazioni è nei libri, un'altra parte viene raccolta alle conferenze, e a qualcosa devi raggiungerti.

Un altro problema è che gli analisti si sentono bene nel mondo dei numeri, ma non sono sempre a proprio agio nel business. Queste persone sono spesso introverse, è difficile per loro comunicare, e quindi è difficile per loro convincenti trasmettere ai clienti informazioni sui risultati della ricerca. Per lo sviluppo di queste abilità, consiglierei tali libri come il "Principio della piramide", "parla nei diagrammi". Aiutano a sviluppare competenze di presentazione, in modo conciso e chiaramente dichiarano i loro pensieri.

Sono stato molto utile per la partecipazione a diversi campionati del caso studiando all'HSE. I campionati del caso sono concorsi intelligenti per gli studenti, dove è necessario studiare problemi aziendali e offrire la loro decisione. Sono due specie: campionati di casi di consulenza della consulenza, come McKinsey, BCG, Accenture, nonché campionati indipendenti di tipo Changellenge. Durante la partecipazione a loro, ho imparato a vedere e risolvere compiti complessi - di identificare il problema e la sua strutturazione alla protezione delle raccomandazioni per la sua soluzione.

Oleg Mikhalsky sul mercato russo e le specifiche di creare un nuovo prodotto nel campo dei dati di grandi dimensioni

Prima di venire ad Acronis, ero già impegnato nel lancio di nuovi prodotti sul mercato in altre società. È sempre interessante e difficile allo stesso tempo, quindi sono stato immediatamente interessato alla possibilità di lavorare servizi cloud e soluzioni per l'archiviazione dei dati. In questo settore, tutta la mia precedente esperienza nel settore IT è stata utile, incluso il proprio progetto di avvio I-Accelerator. La presenza di educazione aziendale (MBA) ha anche aiutato in aggiunta all'ingegneria di base.

In Russia, grandi aziende - Banche, operatori mobili ecc. - È necessaria la necessità di analizzare i grandi dati, quindi nel nostro paese ci sono prospettive per coloro che vogliono lavorare in quest'area. È vero, molti progetti stanno ora integrando, cioè sulla base di sviluppi stranieri o tecnologie open source. In tali progetti, approcci e tecnologie fondamentalmente nuovi non vengono creati, ma gli sviluppi piuttosto esistenti sono adattati. Acronis, siamo andati in un altro modo e, dopo aver analizzato le alternative esistenti, ha deciso di investire nel nostro stesso sviluppo, creando un sistema di conservazione affidabile per dati di grandi dimensioni, che non è inferiore al costo, ad esempio, Amazon S3, ma funziona in modo affidabile ed efficiente su scala significativamente più piccola. Lo sviluppo proprio per i dati di grandi dimensioni è anche tra le principali compagnie Internet, ma sono piuttosto focalizzate sulle esigenze interne rispetto alla soddisfazione delle esigenze dei clienti esterni.

È importante comprendere le tendenze e le forze economiche che influenzano l'area di elaborazione di dati di grandi dimensioni. Per fare questo, leggere molto, ascoltare le esibizioni degli specialisti autorevoli nel settore IT, visitare conferenze tematiche. Ora quasi tutte le conferenze hanno una grande sezione dati, ma ne parlano tutti a diversi angoli: dal punto di vista della tecnologia, degli affari o del marketing. Puoi andare per il lavoro di progettazione o stage in azienda, che conduce già progetti su questo argomento. Se sei sicuro delle tue capacità, non è troppo tardi per organizzare un'invio nella sfera di grandi dati.

Senza contatti costanti con il mercato Nuovi rischi di sviluppo per essere non reclamati

Vero, quando sei responsabile di un nuovo prodotto, molto tempo va a Analytics del mercato e comunicare con potenziali clienti, partner, analisti professionali che conoscono molto sui clienti e sui loro bisogni. Senza contatti costanti con il mercato, i nuovi rischi di sviluppo non sono reclamati. Ci sono sempre molta incertezza: devi capire chi diventerà i primi utenti (primi addotti) che hai prezioso per loro e poi attira un pubblico di massa. Il secondo compito più importante è formare e trasmettere agli sviluppatori chiaro e visione olistica. prodotto finaleper motivarli a lavorare in tali condizioni quando alcuni requisiti possono ancora cambiare, e le priorità dipendono da rispostaproveniente dai primi clienti. Pertanto, un compito importante è gestire le aspettative dei clienti su un lato e gli sviluppatori dall'altro. In modo che né altri abbiano perso interesse e portato il progetto prima del completamento. Dopo il primo progetto di successo, diventa più facile, e il compito principale troverà il giusto modello di crescita per il nuovo business.

Una volta, ho sentito il termine "Big Data" dal Gredd tedesco (capo di Sberbank). Dicono che ora lavorano attivamente all'introduzione, perché li aiuterà a ridurre il tempo di lavorare con ogni cliente.

La seconda volta ho corso in questo concetto nel negozio online del cliente, su cui abbiamo lavorato e aumentiamo la gamma da un paio di migliaia di migliaia a un paio di decine di migliaia di posizioni di materie prime.

Per la terza volta, quando ho visto che il grande analista dei dati è richiesto in Yandex. Poi ho deciso di osare capirlo in questo argomento e allo stesso tempo scrivere un articolo che avrebbe detto che questo è un termine tale che eccitava le menti dei top manager e dello spazio internet.

Cos'è

Di solito qualsiasi articolo Inizio con la spiegazione, qual è il termine per tale. Questo articolo non sarà un'eccezione.

Tuttavia, questo è causato prima di tutto, non il desiderio di mostrare ciò che sono intelligente, ma il fatto che l'argomento sia veramente complesso e richiede un'attenta spiegazione.

Ad esempio, puoi leggere quali grandi dati sono in Wikipedia, non capiscono nulla, e quindi tornare a questo articolo in modo da capire ancora la definizione e l'applicabilità per gli affari. Quindi, iniziamo con la descrizione e poi agli esempi per gli affari.

I big data sono grandi dati. Sorprendentemente, sì? Davvero, è tradotto dall'inglese come "Big Data". Ma questa definizione può essere detta per i manichini.

Tecnologia Big Data. - Questo è un approccio / metodo di elaborazione di un numero maggiore di dati per ottenere nuove informazioni che sono difficili da gestire in modi convenzionali.

I dati possono essere elaborati (strutturati) e disparati (cioè non strutturati).

Il termine stesso è apparso relativamente di recente. Nel 2008, nella rivista scientifica, questo approccio è stato previsto come qualcosa necessario per lavorare con una grande quantità di informazioni, che aumenta nella progressione geometrica.

Ad esempio, annualmente le informazioni su Internet, che devono essere memorizzate, bene, per elaborare, aumentare del 40%. Ancora una volta: + 40% ogni anno appare su Internet di nuove informazioni.

Se i documenti stampati sono chiari e i loro metodi di elaborazione sono anche chiari (trasferimento a forma elettronica, cucire in una cartella, numerata), cosa fare con le informazioni che vengono presentate in altri "supporti" e altri volumi:

• Documenti Internet;
• Blog e social network;
• Fonti audio / video;
• Dispositivi di misurazione.

Ci sono caratteristiche che ti consentono di attribuire informazioni e dati ai grandi dati. Cioè, non tutti i dati possono essere adatti per l'analisi. In queste caratteristiche, il concetto chiave di grande data è stabilito. Tutti si adattano a tre V.

1. Volume(dall'ingns. volume). I dati vengono misurati nella grandezza del volume fisico del "documento" da analizzare;
2. Velocità(dall'inglese. Velocity). I dati non costano nel loro sviluppo, ma crescono costantemente, ecco perché la loro rapida elaborazione è necessaria per ottenere risultati;
3. Collettore(dall'inglese. Varietà). I dati potrebbero non essere formati singoli. Cioè, possono essere disparati, strutturati o strutturati parzialmente.

Tuttavia, periodicamente aggiungere a VVV e la quarta V (VERACITÀ - AFFIDABILITÀ / CREDENABILITÀ DEI DATI) e persino il quinto V (in alcune forme di realizzazione è la redditività - la redditività, in altri è valore - valore).

Da qualche parte ho visto anche 7V, che caratterizza i dati relativi alla grande data. Ma secondo me questo è dalla serie (dove P viene aggiunto periodicamente, anche se è per capire la prima iniziale 4-x).

Siamo già oltre 29.000 persone.
accedere

Chi ne ha bisogno

Si tratta di una domanda logica, come posso utilizzare le informazioni (se quella, grande data è centinaia e migliaia di terabyte)?

Nemmeno così. Ecco le informazioni. Allora, cosa ha avviato il grande data? Qual è l'uso di grandi dati nel marketing e nel business?

1. I database ordinari non possono essere memorizzati ed elaborati (ora parlo nemmeno nemmeno di Analytics, ma semplicemente stoccaggio e elaborazione) di un'enorme quantità di informazioni.
   La grande data risolve questo compito principale. Memorizza con successo e gestisce le informazioni con un grande volume;
2. Strutture Informazioni provenienti da varie fonti (video, immagini, documenti audio e testo), in un unico aspetto singolo, comprensibile e rispondente;
3. Formazione di analisi e creazione di previsioni accurate basate su informazioni strutturate ed elaborate.

È complicato. Per parlare semplicemente, qualsiasi marketer che capisce che se esplori una grande quantità di informazioni (su di te, la tua azienda, i tuoi concorrenti, il tuo settore), puoi ottenere risultati molto decenti:

• Comprensione completa della tua azienda e della tua attività da parte dei numeri;
• Esplora i tuoi concorrenti. E questo, a sua volta, darà l'opportunità di uscire a causa della prevalenza di loro;
• Impara nuove informazioni sui tuoi clienti.

E precisamente perché la grande tecnologia dei dati fornisce i seguenti risultati, tutto è indossato con esso. Cercando di fissare questo caso nella tua azienda per ottenere un aumento delle vendite e ridurre i costi. E se specificamente, allora:

1. Aumentare la croce di vendita e le vendite aggiuntive dovute a una migliore conoscenza delle preferenze dei clienti;
2. Trovare prodotti popolari e motivi per cui sono acquistati (e al contrario);
3. Migliorare il prodotto o il servizio;
4. Migliorare il livello di servizio;
5. Raying fedeltà e focus del cliente;
6. Avvertenza per frodi (più rilevante per il settore bancario);
7. Riduzione dei costi in eccesso.

L'esempio più comune, che è dato in tutte le fonti - è, ovviamente, azienda Apple.che raccoglie i dati sui suoi utenti (telefono, orologio, computer).

È dovuto alla presenza dell'Eco-System che la Corporation sa tanto dei suoi utenti e in seguito utilizza questo per profitto.

Questi e altri esempi di utilizzo è possibile leggere in qualsiasi altro articolo tranne questo.

Esempio moderno

Ti parlerò di un altro progetto. Piuttosto di una persona che costruisce il futuro usando grandi soluzioni di dati.

Questa è la maschera Ilon e la sua compagnia Tesla. Il suo sogno principale è quello di rendere autonomo le macchine, cioè, si arriva al volante, accendi l'autopilota da Mosca a Vladivostok e ... addormentarsi, perché non hai assolutamente bisogno di guidare una macchina, perché farà tutto se stesso .

Sembrerebbe fantasia? Ma no! Solo Ilon è arrivato molto più saggio di Google, che gestiscono le auto con decine di satelliti. E sono andato in un altro modo:

1. In ogni auto venduta, viene impostato un computer, che raccoglie tutte le informazioni.
   Tutto - questo significa tutto il tutto. A proposito del conducente, lo stile della sua guida, strade intorno, il movimento di altre macchine. Il volume di tali dati raggiunge 20-30 GB all'ora;
2. Successivamente, questa informazione su comunicazioni satellitari. passato al computer centrale, impegnato a elaborare questi dati;
3. Basato su grandi dati di dati che processano questo computer, Viene costruito un modello di un'auto senza pilota.

A proposito, se il business di Google diventa piuttosto male e le loro macchine rientrano tutto il tempo nell'incidente, quindi la maschera, a causa del fatto che il lavoro con i grandi dati sta andando molto meglio, perché i modelli di test mostrano risultati molto buoni.

Ma ... è tutto dall'economia. Cosa siamo tutti dei profitti, sì del profitto? Molto, che può decidere che la grande data, è completamente non riconosciuta con guadagni e denaro.

Le statistiche di Google, solo basate su grandi dati, mostrano una cosa interessante.

Prima che i medici dichiarino l'inizio dell'epidemia della malattia in qualche regione, la quantità di questa regione aumenta significativamente ricerca query. Sul trattamento di questa malattia.

Pertanto, lo studio corretto dei dati e la loro analisi possono formare previsioni e prevedere l'inizio dell'epidemia (e, di conseguenza, la sua prevenzione) è molto più veloce della conclusione di organismi ufficiali e delle loro azioni.

Applicazione in Russia

Tuttavia, la Russia come sempre rallenta un po '. Pertanto, la definizione di grandi dati in Russia non è apparso più di 5 anni fa (ora ora ora su società normali).

E nonostante il fatto che questo dei mercati in più rapida crescita del mondo (farmaci e armi che fioriamo nervosamente sul lato), perché annualmente il mercato per la raccolta e l'analisi dei grandi dati si scateneranno del 32%.

Per caratterizzare il grande mercato dei dati in Russia, ricordo un vecchio scherzo. Grande data è come sesso fino a 18 anni. Tutti gli hanno detto tutti, ci sono molti rumori e poche vere azioni intorno ad esso, e tutti si vergognano di ammettere che non sono impegnati in questo. E la verità è, intorno a questo un sacco di rumore, ma piccole azioni reali.

Sebbene la famosa società di ricerca Gartner abbia già annunciato che la grande data è una tendenza crescente (come, a proposito, intelligenza artificiale) e strumenti abbastanza indipendenti per analizzare e sviluppare tecnologie avanzate.

Le nicchie più attive, dove vengono applicate grandi dati in Russia, queste sono banche / assicurazioni (non c'è da meravigliarsi di aver avviato un articolo con il capo di Sberbank), la sfera di telecomunicazioni, la vendita al dettaglio, il settore immobiliare e ... settore pubblico.

Ad esempio, ti dirò di più su un paio di settori dell'economia, che utilizzano grandi algoritmi di dati.

1. Banche

Iniziamo con le banche e le informazioni che raccolgono su di noi e delle nostre azioni. Ad esempio, ho preso le prime 5 banche russe che investono attivamente in grandi dati:

1. Sberbank;
2. Gazprombank;
3. VTB 24;
4. Banca alfa;
5. Tinkoff Bank.

È particolarmente bello vedere tra i leader russi di Alpha Bank. Al minimo, è bello capire che la banca, il partner ufficiale di cui sei, comprende la necessità di introdurre nuovi strumenti di marketing nella tua azienda.

Ma esempi di utilizzo e attuazione con successo di grandi dati che voglio mostrare su una banca che mi piace per un look non standard e un atto del suo fondatore.

Sto parlando di Tinkoff Bank. Il loro compito principale era quello di sviluppare un sistema per analizzare i dati di grandi dimensioni in tempo reale a causa della crescente base del cliente.

Risultati: il tempo dei processi interni è diminuito almeno 10 volte, e per circa 100 volte.

Bene, e una piccola distrazione. Sai perché ho parlato di trucchi e azioni non standard di Oleg Tinkov? Proprio a mio avviso, lo hanno aiutato a liberarsi da un uomo d'affari della Middle Hand, Koi mille in Russia, in uno degli imprenditori più famosi e riconoscibili. In conferma, guarda questo video insolito e interessante:

2. Real Estate.

Nel settore immobiliare, tutto è molto più difficile. E questo è esattamente l'esempio che voglio portarti a capire la grande data per capire il consueto business. Dati iniziali:

1. Grande quantità di documentazione del testo;
2. Fonti aperte (satelliti privati \u200b\u200bche trasmettono dati sui cambiamenti di terra);
3. Enorme quantità di informazioni incontrollate su Internet;
4. Cambiamenti continui in fonti e dati.

E sulla base di ciò, è necessario prepararsi e valutare il valore del terreno del terreno, ad esempio sotto il villaggio di Ural. Il professionista richiederà una settimana.

I periti della Società russa e Rosco, che in realtà è un'analisi dei grandi dati con l'aiuto del software, partirà per questo non più di 30 minuti di lavoro piacevole. Confronta, settimana e 30 minuti. La differenza colossale.

Strumenti di creazione

Naturalmente, enormi quantità di informazioni non possono essere memorizzate ed elaborate su semplici dischi rigidi.

MA softwareQuali strutture e analizza i dati sono generalmente proprietà intellettuali e ogni volta lo sviluppo dell'autore. Tuttavia, ci sono strumenti basati su tutto questo fascino:

• Hadoop e Mapreduce;
• Database NOSQL;
• Strumenti di classe di rilevamento dei dati.

Ad essere onesti, non sarò in grado di spiegare chiaramente cosa differiscono l'uno dall'altro, poiché stanno imparando a incontrare e lavorare con queste cose nelle istituzioni fisiche e matematiche.

Perché allora ho parlato se non riesco a spiegare? Ricorda, in tutti i film I ladri vengono in qualsiasi banca e vedono un numero enorme di tutti i tipi di hardware collegati ai fili? La stessa cosa in grande data. Ad esempio, ecco un modello che è attualmente uno dei leader del mercato.

Strumento Grande data

Il costo nella configurazione massima arriva fino a 27 milioni di rubli per rack. Questo è, ovviamente, la versione di lusso. Devo assicurarti di seguire la creazione di grandi dati nella tua azienda.

Brevemente sulla cosa principale

Puoi chiedere, perché tu, piccoli e medie imprese lavorano con un grande appuntamento?

Su questo ti risponderò una citazione di una persona: "Nel prossimo futuro, i clienti saranno richiesti dalle aziende che comprendono meglio il loro comportamento, le loro abitudini e abbinarle il più possibile".

Ma prendiamo una verità negli occhi. Per introdurre la grande data nella piccola impresa, è necessario possedere non solo grandi budget per lo sviluppo e l'attuazione del software, ma anche sul contenuto di specialisti, almeno come il grande analista dei dati e la sysadmin.

E ora sono in silenzio che devi avere tali dati per l'elaborazione.

Va bene. Per le piccole imprese, l'argomento non è quasi applicabile. Ma questo non significa che devi dimenticare tutto ciò che leggeva sopra. Studia non i tuoi dati, ma i risultati dell'analisi dei dati noti come società straniere e russe.

Ad esempio, la rete di vendita di destinazione che utilizza gli analisti di dati di grandi dimensioni ha scoperto che le donne incinte di fronte al secondo trimestre di gravidanza (dal 1 ° alla 12a settimana della gravidanza) stanno acquistando attivamente mezzi non aromatici.

Grazie a questi dati, inviano loro coupon con sconti su mezzi abusato con un periodo limitato.

E se sei solo un caffè molto piccolo, per esempio? Sì, molto semplice. Utilizzare l'applicazione fedeltà. E dopo un po ', grazie alle informazioni accumulate, non è possibile offrire solo ai clienti pertinenti alle loro esigenze, ma anche per vedere i piatti più inaffidabili e più marginali letteralmente un paio di clic del mouse.

Da qui l'uscita. L'introduzione della grande data della piccola impresa non ne vale la pena, ma per utilizzare i risultati e gli sviluppi di altre società, assicurati.