Idea
Ciao! Mi chiamo Vitaliy, sono uno sviluppatore e co-fondatore di una startup Bearned . Fin da bambino ho un udito molto debole e mia moglie non lo sente affatto, da molto tempo ho voluto iniziare a sviluppare applicazioni e software per non udenti e con problemi di udito. Tutti i problemi che affrontano mi sono familiari.
Io e mia moglie Natalya
In precedenza, stavo sviluppando software per le compagnie aeree civili ucraine, ho creato l'applicazione di realtà aumentata SIMO. Sono sempre stato interessato a tutto ciò che riguarda la tecnologia. E un paio d'anni fa ho incontrato Sergey Malyukov, ora nostro amministratore delegato, attraverso un insegnante del Politecnico di Kiev, dal quale ho studiato una volta.
L'idea di creare un'applicazione per persone non udenti e con problemi di udito è venuta a Sergey nel 2013. Una volta che camminava lungo la strada di sera, e un'auto cominciò a suonare il clacson alle sue spalle, Sergey saltò rapidamente di lato, ma la coppia che camminava nelle vicinanze non si mosse. Gridò loro di andarsene, ma rimasero nello stesso posto in cui si trovavano. Presto, Sergei si rese conto che si trattava di una coppia di persone sorde, si parlavano tra loro nella lingua dei segni. Sergey era sicuro che esistessero applicazioni che aiutassero a riconoscere suoni pericolosi. Dopo aver analizzato le applicazioni e i gadget esistenti per le persone non udenti e non aver trovato un'unica soluzione che aiuti a riconoscere i suoni pericolosi, ha deciso di realizzare tale applicazione. Nel processo di lavoro, diversi partner si sono uniti a lui e ora BeWarned sta investendo autonomamente i creatori di startup.
Non appena ho saputo del progetto e ho visto gli sviluppi, mi sono subito interessato all'idea e presto sono diventato cofondatore. Al momento sono impegnato nello sviluppo tecnico di una startup.
Implementazione
Nel 2014 è stato rilasciato il primo prototipo dell'applicazione BeWarned con la funzione Sound Monitor, che ha permesso di riconoscere suoni pericolosi in tempo reale. Fu il primo piccolo successo. Ma quello era solo l'inizio.
Fin dall'infanzia, mi piaceva la tecnologia, spesso assemblato o smontato qualcosa, volevo vedere cosa ne è venuto fuori
Da centinaia di lettere e recensioni, era chiaro che le persone sorde avevano bisogno di qualcosa di più di un'applicazione che riconosce suoni pericolosi. I sordi avevano mille problemi irrisolti che potevano essere risolti. Sulla base di queste lettere e feedback, è stata creata la piattaforma BeWarned, che ha combinato 4 assistenti tecnici per non udenti: Sound Monitor, Connect, Emergency Call e Dance.
Sound Monitor risolve il problema di sicurezza identificando suoni pericolosi (urla, clacson, abbaiare cane, sirena). In caso di pericolo, l'applicazione avvisa l'utente con vibrazione e lampeggiamento del flash sullo smartphone. Connect aiuta i non udenti a comunicare con gli altri: converte il testo in parlato e viceversa. La danza ti consente di sentire le tracce musicali convertendole in vibrazioni, segnali luminosi e pulsazioni dell'equalizzatore visivo. Chiamata di emergenza aiuta l'utente a chiamare i parenti dell'udito per aiutare quando si trova in una situazione pericolosa.
Altri video possono trovare sul nostro canale
Nell'estate del 2016 abbiamo condotto beta test della piattaforma negli Stati Uniti. Di conseguenza, l'88,9% degli utenti ha dichiarato di raccomandare l'applicazione agli amici.
La parte più difficile dello sviluppo di BeWarned è stata Sound Monitor, che abbiamo trascorso diversi anni nello sviluppo. Il programma di riconoscimento del suono pericoloso si basa su reti neurali. Abbiamo provato due tipi di reti neurali: il classico percettrone multistrato e la rete neurale convoluzionale. Ma poi hanno deciso di provare il modello Markov nascosto, che si adattava meglio ai nostri compiti.
Al fine di creare un database su cui si baserà l'algoritmo, noi stessi abbiamo registrato molte varianti di un tipo di suono pericoloso, ad esempio un segnale auto, sulla base del quale l'algoritmo riconoscerà i suoni in arrivo e li determinerà in relazione a un determinato tipo. Tuttavia, nel corso del lavoro, abbiamo avuto un problema, vale a dire che l'algoritmo di riconoscimento ha assegnato tutti i suoni in arrivo solo a categorie esistenti: un segnale di auto, un grido, il suono di una sirena della polizia e un cane che abbaia. Ad esempio, se qualcuno ride, il programma lo riconosce come appartenente a una di queste categorie. Per risolvere questo problema, abbiamo dovuto segmentare i suoni, ad esempio, per frequenze e altre caratteristiche. Che alla fine ci ha permesso di introdurre un'ulteriore forma indefinita di suono.
Qualche tempo dopo il rilascio della piattaforma BeWarned, abbiamo deciso di apportare importanti modifiche al fine di migliorare l'usabilità: abbiamo drasticamente semplificato e adattato tutto alla percezione delle persone sorde. Ecco perché abbiamo rilasciato nuovamente le applicazioni separatamente.
A dicembre è stato rilasciato BW Dance (Android, iOS), che dalla funzione della piattaforma BeWarned si è trasformata in un'applicazione autonoma. BW Dance consente alle persone non udenti o con problemi di udito di ballare con le loro canzoni preferite. L'utente aggiunge i brani preferiti alla playlist e l'applicazione converte la musica in vibrazioni, flash e animazioni sullo schermo. L'utente può anche sentire la musica usando il visual player. BW Dance è stata accolta positivamente dagli utenti sia in Ucraina che all'estero.
Successivamente, abbiamo rilasciato Connect by Bewarned (Android, iOS), un'applicazione che consente alle persone non udenti e con problemi di udito di comunicare con le persone che ascoltano. Per iniziare a parlare con una o più persone nell'applicazione, devi solo fare clic sul pulsante AVVIO e lasciare che la persona con cui stai parlando, dopo di che l'applicazione converta il discorso in un messaggio di testo che una persona sorda può leggere. L'applicazione converte anche il testo in discorso, una persona sorda deve scrivere ciò che vuole dire. Inoltre, abbiamo sviluppato una serie di modelli che simulano situazioni semplici, spesso ripetitive, come ordinare un caffè in un bar. Con questi modelli, una persona sorda può dire rapidamente qualcosa all'auditore. Abbiamo anche previsto la possibilità di creare modelli aggiuntivi per gli obiettivi personali di ogni persona sorda.
risultati
In Ucraina, i giornalisti hanno iniziato a scriverci attivamente, le storie di STB, canale 1 + 1, canale 5 e altri sono state girate su di noi. Abbiamo visto che le persone che non erano indifferenti non erano indifferenti e eravamo anche convinti che la preoccupazione per la semplicità e l'usabilità fosse un passo nella giusta direzione. L'abbiamo capito sulla strada giusta.
Mia moglie ed io parliamo con i giornalisti di Channel 5
Abbiamo lanciato Connect di Bewarned su Product Hunt il 30 gennaio e siamo entrati nei TOP 5 giorni e siamo anche entrati nella mailing list ufficiale. Nei commenti sul nostro prodotto su Product Hunt, abbiamo ricevuto suggerimenti per l'aiuto nello sviluppo di localizzazioni in francese e persino persiano. Insieme alle quattro localizzazioni esistenti - spagnolo, russo, ucraino e inglese, possiamo avvicinarci al nostro obiettivo globale: rendere la vita più facile per i non udenti.
Sono convinto che i professionisti IT debbano utilizzare le loro competenze a beneficio di altre persone. La nostra piccola ma efficace esperienza dimostra che le nuove applicazioni possono cambiare in modo significativo la vita di altre persone. Ecco perché continueremo a lavorare sull'idea contenuta in Connect di Bewarned: superando le barriere nella comunicazione dei non udenti e ascoltando le persone, ce ne sono circa 400 milioni nel mondo.
BeWarned team da sinistra a destra: io, Eugene, Eugene, Ivan, Julia, Sergey, Andrey, Ilona, \u200b\u200bIra, Anton, Andrey (ora ci sono più di noi che in questa foto :))
Le persone come me hanno spesso problemi quando hanno bisogno di parlare con una persona udente: un poliziotto, un dottore, un banchiere. A livello legislativo, siamo garantiti pari diritti e accesso a servizi e servizi alla pari dell'udienza. Ma in realtà, le nostre capacità sono significativamente limitate. Ecco perché abbiamo deciso di assumere un compito veramente globale: creare un'infrastruttura elettronica globale che faciliterà l'accesso delle persone sorde a tutti i servizi disponibili per l'udito: banche, ospedali, taxi, ecc. Al momento, stiamo lavorando proprio su questo compito.
Semplici passaggi, come parlare al telefono, scendere le scale o persino determinare la durata di conservazione del latte, possono essere difficili per le persone con disabilità. Tuttavia, alcuni di questi problemi possono essere risolti con successo utilizzando uno smartphone.
Presentazione di una selezione di app mobili che semplificano la vita delle persone con disabilità.
Applicazioni di riconoscimento vocale
Yandex.Talk
Di recente, Yandex ha rilasciato un'applicazione che aiuta le persone non udenti e con problemi di udito a comunicare con amici e sconosciuti grazie al fatto che traducono il discorso orale in testo e viceversa.
L'applicazione può ascoltare e riconoscere il parlato: tutto ciò che ti viene detto viene visualizzato sullo schermo dello smartphone sotto forma di testo, nonché pronunciare le parole stampate ad alta voce.
L'applicazione è stata inventata e sviluppata da un gruppo di studenti dell'Istituto di Fisica e Tecnologia di Mosca e lavora sulla tecnologia di riconoscimento vocale Yandex SpeechKit.
Rogerview
RogerVoice è un'applicazione con cui le persone non udenti possono parlare al telefono con le loro persone. L'applicazione utilizza la tecnologia di riconoscimento vocale per convertire la voce in testo, in modo che le persone non udenti possano leggere ciò che il loro interlocutore dice loro.
L'applicazione è apparsa graziecampagna Kickstarter di successo - È attualmente disponibile una versione beta dell'applicazione, che può essere scaricata dal sito Web RogerVoice.
Un'app che ti aiuta a sentire
Heyououow
Con questa applicazione, gli utenti con problemi di udito possono regolare il suono in base alla situazione in cui si trovano - in un luogo pubblico, in una riunione, ecc. Per fare ciò, le cuffie sono collegate allo smartphone attraverso il quale viene fornito l'audio con le impostazioni appropriate per ottimizzare lo sfondo o il primo piano.
L'applicazione è stata sviluppata da ExSilent, un produttore olandese di apparecchi acustici, ed è progettato per le persone che possono utilizzare gli apparecchi acustici, ma non sono ancora pronti.
Ciao!
"Il pane nutre il corpo e un libro nutre la mente" ...
I libri sono uno dei tesori più preziosi dell'uomo moderno. I libri apparivano in tempi antichi ed erano molto costosi (un libro poteva essere scambiato con un branco di mucche!). Nel mondo moderno, i libri sono disponibili per tutti! Leggendoli, diventiamo più alfabetizzati, gli orizzonti si sviluppano, l'ingegnosità. E in effetti, non ho ancora trovato una fonte di conoscenza più perfetta da trasmettere a vicenda!
Con lo sviluppo della tecnologia informatica (specialmente negli ultimi 10 anni) - è diventato possibile non solo leggere libri, ma anche ascoltarli (cioè, dovrai leggerli con un programma speciale, maschio o femmina). Vorrei parlarvi degli strumenti software per la recitazione vocale.
Possibili problemi di registrazione
Prima di passare all'elenco dei programmi, vorrei soffermarmi su un problema comune e considerare i casi in cui un programma non è in grado di leggere il testo.
Il fatto è che ci sono motori vocali, che possono essere di diversi standard: SAPI 4, SAPI 5 o Microsoft Speech Platform (nella maggior parte dei programmi per la riproduzione di testo c'è una scelta di questo strumento). Pertanto, è logico che oltre al programma di lettura vocale, sia necessario un motore (dipenderà da esso in quale lingua verrà letta, in quale voce: maschio o femmina, ecc.).
Motori vocali
I motori possono essere gratuiti e commerciali (naturalmente, i motori commerciali offrono la migliore qualità del suono).
SAPI 4. Versioni strumento obsolete. Per i PC moderni, non è consigliabile utilizzare versioni obsolete. Guarda meglio SAPI 5 o Microsoft Speech Platform.
SAPI 5. Moderni motori vocali, ci sono sia gratuiti che a pagamento. Su Internet puoi trovare dozzine di motori vocali SAPI 5 (con voci sia femminili che maschili).
Uno dei migliori programmi per il punteggio del testo. Consente al PC di leggere non solo file semplici in formato txt, ma anche notizie, RSS, qualsiasi pagina Web su Internet, e-mail, ecc.
Inoltre, consente di convertire il testo in file mp3 (che è quindi possibile scaricare su qualsiasi telefono o lettore mp3 e ascoltare in movimento, ad esempio). Coloro. Puoi creare audiolibri da solo!
Le voci del programma IVONA sono molto simili a quelle reali, la pronuncia non è abbastanza male, non balbettano. A proposito, il programma può essere utile per coloro che studiano una lingua straniera. Grazie a lei, puoi ascoltare la pronuncia corretta di determinate parole, svolte.
Supporta SAPI5, inoltre collabora bene con applicazioni esterne (ad esempio Apple iTunes, Skype).
Esempio (post di uno dei miei articoli recenti)
Tra i lati negativi: legge alcune parole sconosciute con stress e intonazione impropri. Nel complesso, non è affatto male ascoltare, ad esempio, un paragrafo di un libro sulla storia mentre vai a una lezione / lezione - anche di più!
Balabolka
Un eccellente programma per lavorare con i libri: leggere, catalogare, cercare quello giusto, ecc. Oltre ai documenti standard che possono essere letti da altri programmi (TXT-HTML, HTML-TXT, TXT-DOC, DOC-TXT, PDB-TXT, LIT-TXT , FB2-TXT, ecc.) ICE Book Reader supporta i formati di file: .LIT, .CHM ed ePub.
Inoltre, ICE Book Reader consente non solo la lettura, ma anche un'eccellente libreria desktop:
- consente di archiviare, elaborare, catalogare libri (fino a 250.000 mila copie!);
- organizza automaticamente la tua collezione
- rapida ricerca di un libro dalla tua "discarica" \u200b\u200b(particolarmente rilevante se hai molta letteratura non catalogata);
- il nucleo del database ICE Book Reader è superiore alla maggior parte dei programmi di questo tipo.
Il programma consente anche di pronunciare testi in una voce.
Per fare ciò, vai alle impostazioni del programma e configura due schede: “Modalità” (seleziona la lettura vocale) e “Modalità sintesi vocale” (seleziona il motore vocale stesso).
Parlatore
Con Sakrament Talker, puoi trasformare il tuo computer in un audiolibro "parlante"! Sakrament Talker supporta i formati RTF e TXT, è in grado di riconoscere automaticamente la codifica di un file (probabilmente avrai notato che alcuni programmi aprono un file con "crack" anziché testo, ma ciò è impossibile in Sakrament Talker!).
Inoltre, Sakrament Talker ti consente di riprodurre file abbastanza grandi, trovare rapidamente determinati file. Il testo espresso non può solo essere ascoltato su un computer, ma anche salvato su un file mp3 (che può essere successivamente copiato su qualsiasi lettore o telefono e ascoltato lontano dal PC).
In generale, un programma abbastanza buono che supporta tutti i più diffusi motori vocali.
È tutto per oggi. Nonostante il fatto che i programmi di oggi non possano ancora leggere completamente (al 100% qualitativamente) un testo in modo che una persona non possa determinare chi lo legge: un programma o una persona ... Ma credo che un giorno i programmi raggiungeranno questo punto: il potere dei computer crescere, i motori crescono di volume (compresi sempre più anche i più complessi giri di parole) - il che significa che abbastanza presto il suono del programma non sarà distinguibile dal normale linguaggio umano ?!
Due studenti dell'Università Beihai di Pechino hanno sviluppato un'applicazione che può aiutare i non udenti in Cina. L'applicazione si chiama Shouyin, che letteralmente significa "voce delle mani". Ti permette di tradurre in tempo reale i segni della lingua sordomuta in parlato.
L'applicazione funziona in combinazione con un braccialetto intelligente e al momento è in grado di riconoscere più di 200 caratteri, ogni personaggio è stato registrato mille volte da persone diverse per aumentare l'accuratezza della traduzione. Ora la percentuale di riconoscimento è del 95%.
La giovane Nana Wang, una degli sviluppatori, ha affermato di essere stata ispirata da un'amica sorda con cui poteva comunicare solo tramite messaggi sul suo telefono cellulare. In Cina, circa il 5% della popolazione o 70 milioni di persone sono sordi. Indubbiamente, l'applicazione avrà molto successo. La versione ufficiale dell'applicazione è prevista per fine maggio. In altri paesi del mondo esistono già programmi simili. Ad esempio Uni e Google Chats di MotionSavvy, un traduttore sordo e muto.
Le tecnologie si stanno sviluppando rapidamente oggi, anche nei settori sociali e in medicina. Aiutano non solo a far fronte a vari tipi di disturbi, ma anche a comprendere meglio il loro vicino, anche se la sua percezione del mondo è diversa dalla tua. Un'applicazione speciale ti aiuterà a parlare con una persona sordomuta, mentre le tecnologie VR possono aiutare, ad esempio, con una comprensione dell'autismo, il che significa avvicinarti a coloro che soffrono di questa malattia.
Vari studi hanno dimostrato che oltre il 99% delle persone ha sentito parlare di autismo, ma solo il 16% capisce veramente cosa significhi questo stato mentale. E secondo un sondaggio condotto nel Regno Unito, oltre il 25% delle persone con autismo ha mai chiesto di lasciare luoghi pubblici come un ristorante o un negozio quando hanno visto i sintomi della loro malattia.
Per far fronte a questo problema di disinformazione, la British National Autistic Society ha deciso di creare Film VR ciò aiuterebbe tutte le persone a sapere come ci si sente a vivere con una diagnosi simile. Gmbox ha scritto su questo.
Questo video virtuale ti porterà nel corpo di un giovane ragazzo autistico e mostrerà il mondo attraverso i suoi occhi. Nel film, andrai in un centro commerciale e sentirai l'enorme carico sensoriale che sente quando cammina in questo luogo affollato. Il rumore, l'abbondanza di vari oggetti, i colori, lo sfarfallio delle persone, le loro voci - tutto ciò provoca il panico nel ragazzo, che è molto difficile per lui far fronte.
Un'altra comunità di ricerca sull'Alzheimer ha anche pubblicato un film VR che ti consente di visitare il sito di una persona con demenza. Il film "A Walk Through Dementia" ti permette di capire come alcune semplici attività quotidiane, come preparare una tazza di tè, possano diventare un vero problema per il proprietario di questa malattia.
Il problema principale di tali applicazioni è che questa nicchia non è sufficientemente sviluppata. Durante la ricerca, ho esaminato oltre 30 applicazioni e quasi tutte sono state progettate per un pubblico di lingua inglese o persone che vivono in Europa o negli Stati Uniti. Tuttavia, le sei applicazioni sottostanti sono un'eccezione e spero che possano tornare utili per qualcuno.
Mirus modus
Miracle Modus è un'app per sviluppatori autistici. A giudicare dalle sue parole e recensioni su Play Market, l'applicazione funziona davvero. Il principio di funzionamento è semplice e complesso allo stesso tempo: Miracle Modus disegna varie linee e schemi e riproduce suoni rilassanti che hanno un effetto calmante sulle persone con autismo.
Diario diabetico
Un'applicazione che aiuta le persone con diabete di primo e secondo grado. Qui puoi inserire tutte le informazioni sul cibo che hai mangiato durante il giorno. Il rapporto completo può quindi essere esportato in Excel per essere mostrato al medico.
Amico di emicrania
Consente alle persone con emicrania di analizzare il loro stile di vita e capire quali fattori portano al mal di testa. L'app tiene traccia anche del sonno in modo da poter vedere la correlazione tra emicrania e qualità del sonno.
Bumps
I dossi aiutano i non vedenti ad imparare il braille. L'applicazione supporta solo l'inglese, quindi è adatta solo a coloro che vogliono imparare a leggere non solo in russo. Oltre ad imparare l'alfabeto, puoi inserire varie parole in bozze e guardare come sono scritte in Braille.
Per Android esiste un'applicazione simile: la Guida Braile.
Diffondere segni
Spread Signs ha una vasta libreria di gesti per aiutare le persone sorde e stupide a comunicare. Il database dell'applicazione ha più di una dozzina di lingue, tra cui russo, ucraino e inglese. Puoi imparare gesti che indicano singole lettere e parole intere.
