Idee
Hallo! Mein Name ist Vitaly, ich bin Entwickler und Mitbegründer eines Startups Sei gewarnt ... Seit meiner Kindheit habe ich ein sehr schwaches Gehör und meine Frau hört überhaupt nicht. Lange wollte ich anfangen, Anwendungen zu entwickeln und software für Gehörlose und Schwerhörige. Alle Probleme, mit denen sie konfrontiert sind, sind mir vertraut.
Ich und meine Frau Natalia
Zuvor war ich mit der Entwicklung von Software für zivile Fluggesellschaften in der Ukraine beschäftigt und habe eine Augmented-Reality-Anwendung SIMO erstellt. Ich habe mich schon immer für alles interessiert, was mit Technologie zu tun hat. Vor ein paar Jahren traf ich Sergey Malyukov, jetzt unseren CEO, durch einen Lehrer am Kiewer Polytechnischen Institut, bei dem ich einmal studiert hatte.
Die Idee, eine Anwendung für gehörlose und schwerhörige Menschen zu erstellen, kam 2013 zu Sergey. Als er abends die Straße entlang ging und ein Auto in seinem Rücken hupte, sprang Sergei schnell zur Seite, aber das Paar, das in der Nähe ging, rührte sich nicht. Er rief ihnen nach, sie sollten wegziehen, aber sie blieben an der Stelle, an der sie standen. Bald erkannte Sergey, dass es sich um ein Paar Gehörloser handelte, die in Gebärdensprache miteinander kommunizierten. Sergey war überzeugt, dass es Anwendungen gab, die ihm helfen würden, gefährliche Geräusche zu erkennen. Nachdem er vorhandene Anwendungen und Geräte für Gehörlose analysiert und keine einzige Lösung gefunden hatte, mit der gefährliche Geräusche erkannt werden können, machte er sich daran, eine solche Anwendung zu erstellen. Während der Arbeit schlossen sich ihm mehrere Partner an, und jetzt investiert BeWarned selbst in die Gründer des Startups.
Sobald ich von dem Projekt hörte und die Entwicklungen sah, war ich sofort von der Idee begeistert und wurde bald Mitbegründer. Auf dieser Moment Ich beschäftige mich mit der technischen Entwicklung eines Startups.
Implementierung
2014 wurde der erste Prototyp der BeWarned-App mit der Sound Monitor-Funktion veröffentlicht, mit der gefährliche Geräusche in Echtzeit erkannt werden konnten. Dies war der erste kleine Erfolg. Das war aber nur der Anfang.
Seit meiner Kindheit mochte ich Technologie, ich baute oder zerlegte oft etwas, ich wollte sehen, was daraus werden würde
Aus Hunderten von E-Mails und Bewertungen ging hervor, dass gehörlose Menschen mehr als eine App benötigen, die gefährliche Geräusche erkennt. Die Gehörlosen hatten tausend ungelöste Fragen zu lösen. Basierend auf diesen Briefen und Rückmeldungen wurde die BeWarned-Plattform erstellt, auf der 4 technische Assistenten für Gehörlose zusammenkamen: Sound Monitor, Connect, Emergency Call und Dance.
Sound Monitor löst das Sicherheitsproblem, indem gefährliche Geräusche (Schreien, Autohupe, Hundebellen, Sirene) erkannt werden. Im Gefahrenfall warnt die Anwendung den Benutzer durch Vibrationen und blinkende Blitze auf dem Smartphone. Connect hilft Gehörlosen bei der Kommunikation mit anderen - es wandelt Text in Sprache um und umgekehrt. Mit Dance können Sie Musiktitel erleben, indem Sie sie in Vibrationen, Lichtsignale und Pulsationen des visuellen Equalizers umwandeln. Der Notruf hilft dem Benutzer, hörende Angehörige anzurufen, wenn er sich in einer gefährlichen Situation befindet.
Weitere Videos finden Sie hier auf unserem Kanal
Im Sommer 2016 haben wir in den USA Betatests der Plattform durchgeführt. Infolgedessen gaben 88,9% der Benutzer an, dass sie die App ihren Freunden empfehlen würden.
Der schwierigste Teil bei der Entwicklung von BeWarned war Sound Monitor, den wir mehrere Jahre lang entwickelt haben. Das Programm zur Erkennung gefährlicher Geräusche basiert auf neuronalen Netzen. Wir haben zwei Arten von neuronalen Netzen ausprobiert: das klassische mehrschichtige Perzeptron und das Faltungsnetz neurales Netzwerk... Aber dann haben wir uns entschlossen, das versteckte Markov-Modell auszuprobieren, es passte am besten zu unseren Aufgaben.
Um eine Datenbank zu erstellen, auf der der Algorithmus basiert, haben wir selbst viele Varianten einer Art gefährlicher Geräusche aufgezeichnet, beispielsweise ein Autosignal, auf dessen Grundlage der Algorithmus eingehende Geräusche erkennt und als zu einem bestimmten Typ gehörend bestimmt. Im Laufe der Arbeit hatten wir jedoch das Problem, dass der Erkennungsalgorithmus alle eingehenden Geräusche nur den vorhandenen Kategorien zuordnete: einem Autosignal, einem Schrei, dem Geräusch einer Polizeisirene und einem bellenden Hund. Wenn zum Beispiel jemand lachte, erkannte das Programm, dass es zu einer dieser Kategorien gehört. Um dieses Problem zu lösen, mussten wir Geräusche beispielsweise nach Frequenzen und anderen Eigenschaften segmentieren. Infolgedessen konnte eine zusätzliche unbestimmte Art von Klang eingeführt werden.
Einige Zeit nach der Veröffentlichung der BeWarned-Plattform haben wir beschlossen, wichtige Änderungen vorzunehmen, um die Benutzerfreundlichkeit zu verbessern: Wir haben alles radikal vereinfacht und an die Wahrnehmung gehörloser Menschen angepasst. Aus diesem Grund haben wir die Apps einzeln neu veröffentlicht.
Im Dezember wurde BW Dance (Android, iOS) veröffentlicht, das sich von einer Funktion der BeWarned-Plattform in eine unabhängige Anwendung verwandelte. Mit BW Dance können gehörlose und schwerhörige Menschen zu ihren Lieblingsliedern tanzen. Der Benutzer fügt der Wiedergabeliste seine Lieblingslieder hinzu, und die Anwendung wandelt die Musik in Vibrationen, Blitze und Animationen auf dem Bildschirm um. Der Benutzer kann die Musik auch über den visuellen Player fühlen. BW Dance wurde von Nutzern in der Ukraine und im Ausland positiv aufgenommen.
Danach haben wir Connect by Bewarned (Android, iOS) veröffentlicht, eine Anwendung, mit der gehörlose und schwerhörige Menschen mit dem Hören kommunizieren können. Um mit einer oder mehreren Personen in der Anwendung zu kommunizieren, müssen Sie nur die START-Taste drücken und den Gesprächspartner sprechen lassen. Anschließend wandelt die Anwendung die Sprache in eine Textnachricht um, die eine gehörlose Person lesen kann. Die App wandelt auch Text in Sprache um. Ein Gehörloser muss schreiben, was er sagen möchte. Darüber hinaus haben wir eine Reihe von Vorlagen entwickelt, die einfache, sich häufig wiederholende Situationen simulieren, z. B. die Bestellung von Kaffee in einem Café. Mit diesen Vorlagen kann eine gehörlose Person der hörenden Person schnell etwas mitteilen. Wir haben auch die Möglichkeit bereitgestellt, zusätzliche Vorlagen für die persönlichen Zwecke jeder gehörlosen Person zu erstellen.
Ergebnisse
In der Ukraine begannen Journalisten, uns aktiv zu schreiben, Geschichten über uns wurden von STB, 1 + 1, Channel 5 und anderen gedreht. Wir haben gesehen, dass sich die Menschen um Gehörlose kümmern, und wir haben auch dafür gesorgt, dass die Konzentration auf Einfachheit und Benutzerfreundlichkeit ein Schritt in die richtige Richtung ist. Wir haben festgestellt, dass wir auf dem richtigen Weg sind.
Meine Frau und ich sprechen mit Journalisten von Channel 5
Wir haben Connect by Bewarned am 30. Januar bei Product Hunt gestartet, sind in die TOP 5 des Tages eingestiegen und haben uns auch in die offizielle Mailingliste eingetragen. In den Kommentaren zu unserem Produkt bei Product Hunt erhielten wir Angebote zur Entwicklung von Lokalisierungen auf Französisch und sogar Farsi. Zusammen mit den bereits vorhandenen vier Lokalisierungen - Spanisch, Russisch, Ukrainisch und Englisch - können wir unserem globalen Ziel näher kommen: Menschen, die taub sind, das Leben zu erleichtern.
Ich bin überzeugt, dass IT-Mitarbeiter die ihnen erteilten Fähigkeiten zum Nutzen anderer nutzen sollten. Unsere kleine, aber erfolgreiche Erfahrung zeigt, dass neue Anwendungen das Leben anderer Menschen erheblich verändern können. Deshalb werden wir weiter an der Idee arbeiten, die in Connect by Bewarned verkörpert ist: Überwindung der Kommunikationsbarrieren für Gehörlose und Gehörlose gibt es weltweit etwa 400 Millionen.
BeWarned Team von links nach rechts: Ich, Evgeny, Evgeniya, Ivan, Julia, Sergey, Andrey, Ilona, \u200b\u200bIra, Anton, Andrey (jetzt sind noch mehr von uns als auf diesem Foto :))
Menschen wie ich haben oft Probleme, wenn sie mit einer hörenden Person kommunizieren müssen: einem Polizisten, einem Arzt, einem Bankier. Wir sind gesetzlich gleichberechtigt und haben Zugang zu Diensten und Dienstleistungen auf gleicher Basis wie hörende Menschen. In Wirklichkeit sind unsere Fähigkeiten jedoch erheblich eingeschränkt. Aus diesem Grund haben wir uns entschlossen, eine wirklich globale Aufgabe anzugehen: die Schaffung einer globalen elektronischen Infrastruktur, die den Zugang gehörloser Menschen zu allen Diensten und Diensten erleichtert, die hörenden Menschen zur Verfügung stehen: Banken, Krankenhäuser, Taxis usw. Im Moment arbeiten wir genau an dieser Aufgabe.
Einfache Aktionen wie telefonieren, nach unten gehen oder sogar das Verfallsdatum von Milch bestimmen können für Menschen mit Behinderungen schwierig werden. Einige dieser Probleme können jedoch mit einem Smartphone erfolgreich behoben werden.
Einführung einer Auswahl mobiler Apps, die Menschen mit Behinderungen das Leben erleichtern.
Anwendungen, die Sprache erkennen
Yandex.Talk
Yandex hat kürzlich eine Anwendung veröffentlicht, die gehörlosen und schwerhörigen Menschen hilft, mit Bekannten und Fremden zu kommunizieren, indem gesprochene Sprache in Text übersetzt wird und umgekehrt.
Die Anwendung kann Sprache hören und erkennen - alles, was Ihnen gesagt wird, wird auf dem Smartphone-Bildschirm in Form von Text angezeigt und die eingegebenen Wörter laut ausgesprochen.
Die App wurde von einer Gruppe von MIPT-Studenten erfunden und entwickelt und basiert auf der Spracherkennungstechnologie Yandex SpeechKit.
RogerVoice
RogerVoice ist eine Anwendung, mit der gehörlose Menschen mit ihren Gesprächspartnern telefonieren können. Die App verwendet Spracherkennungstechnologie, um Sprache in Text umzuwandeln, damit gehörlose Menschen lesen können, was die andere Person ihnen sagt.
Die Anwendung erschien dankerfolgreiche Kickstarter-Kampagne - Derzeit ist eine Beta-Version der Anwendung verfügbar, die von der RogerVoice-Website heruntergeladen werden kann.
Eine App, die Ihnen beim Hören hilft
Hören Sie jetzt
Mit dieser Anwendung können hörgeschädigte Benutzer den Ton an die Situation anpassen, in der sie sich befinden - an einem öffentlichen Ort, in einer Besprechung usw. Zu diesem Zweck werden Kopfhörer an das Smartphone angeschlossen, über die der Ton mit den entsprechenden Einstellungen zur Optimierung des Hintergrunds oder des Vordergrunds geliefert wird.
Die App wurde von ExSilent, einem niederländischen Hörgerätehersteller, entwickelt und richtet sich an Personen, die Hörgeräte verwenden können, aber noch nicht dazu bereit sind.
Hallo!
"Brot nährt den Körper und das Buch nährt den Geist" ...
Bücher sind einer der wertvollsten Schätze des modernen Menschen. Bücher erschienen in der Antike und waren sehr teuer (ein Buch konnte gegen eine Herde Kühe ausgetauscht werden!). In der modernen Welt stehen Bücher jedem zur Verfügung! Wenn wir sie lesen, werden wir gebildeter, unsere Einstellung und unser Einfallsreichtum entwickeln sich. Und im Allgemeinen haben wir noch keine perfektere Wissensquelle für den gegenseitigen Transfer gefunden!
Mit der Entwicklung der Computertechnologie (insbesondere in den letzten 10 Jahren) ist es möglich geworden, Bücher nicht nur zu lesen, sondern auch anzuhören (dh Sie können sie lesen) spezielles Programm, männliche oder weibliche Stimme). Ich möchte Sie über Software-Tools für die Textbewertung informieren.
Mögliche Aufnahmeprobleme
Bevor ich zur Liste der Programme übergehe, möchte ich auf ein häufiges Problem eingehen und Fälle betrachten, in denen das Programm den Text nicht lesen kann.
Tatsache ist, dass es Sprachmodule gibt, die unterschiedliche Standards haben können: SAPI 4, SAPI 5 oder Microsoft Speech Platform (in den meisten Programmen zur Textwiedergabe steht dieses Tool zur Auswahl). Es ist daher logisch, dass zusätzlich zum Programm zum Lesen per Sprache eine Engine benötigt wird (dies hängt davon ab, in welcher Sprache Sie gelesen werden, in welcher Stimme: männlich oder weiblich usw.).
Sprachmaschinen
Die Motoren können kostenlos oder kommerziell sein (natürlich beste Qualität Die Tonwiedergabe erfolgt über kommerzielle Engines.
SAPI 4. Veraltete Versionen von Tools. Es wird nicht empfohlen, veraltete Versionen für moderne PCs zu verwenden. Schauen Sie sich lieber SAPI 5 oder Microsoft Speech Platform genauer an.
SAPI 5. Moderne Sprachmaschinen gibt es sowohl kostenlos als auch kostenpflichtig. Es gibt Dutzende von SAPI 5-Sprachmodulen (mit Frauen- und Männerstimmen) im Internet.
Einer der meisten beste Programme zum Überspielen des Textes. Ermöglicht Ihrem PC, mehr als nur zu lesen einfache Dateien im txt-Format, aber auch Nachrichten, RSS, alle Webseiten im Internet, email etc.
Darüber hinaus können Sie Text in eine MP3-Datei konvertieren (die Sie dann auf ein beliebiges Telefon oder einen MP3-Player herunterladen und beispielsweise unterwegs anhören können). Jene. Sie können Hörbücher selbst erstellen!
Stimmen des IVONA-Programms sind sehr ähnlich zu echten, nicht schlecht genug Aussprache, stolpern nicht. Das Programm kann übrigens für diejenigen nützlich sein, die studieren fremdsprache... Dank ihr können Sie die korrekte Aussprache bestimmter Wörter, Wendungen hören.
Unterstützt SAPI5 und arbeitet gut mit externen Anwendungen zusammen (z. B. Apple Itunes, Skype).
Beispiel (Eintrag eines meiner letzten Artikel)
Von den Minuspunkten: Er liest einige unbekannte Wörter mit falschem Stress und falscher Intonation. Im Allgemeinen ist es nicht schlecht genug, zum Beispiel einen Absatz aus einem Geschichtsbuch anzuhören, während Sie zu einer Vorlesung / Klasse gehen - noch mehr!
Balabolka
Ein ausgezeichnetes Programm für die Arbeit mit Büchern: Lesen, Katalogisieren, Suchen nach dem gewünschten usw. Zusätzlich zu Standarddokumenten, die von anderen Programmen gelesen werden können (TXT-HTML, HTML-TXT, TXT-DOC, DOC-TXT, PDB-TXT, LIT-TXT) , FB2-TXT usw.) ICE Book Reader unterstützt die Dateiformate .LIT, .CHM und ePub.
Darüber hinaus ermöglicht ICE Book Reader nicht nur das Lesen, sondern auch eine hervorragende Desktop-Bibliothek:
- ermöglicht das Speichern, Verarbeiten und Katalogisieren von Büchern (bis zu 250.000 Exemplare!);
- automatische Bestellung Ihrer Sammlung;
- eine schnelle Suche nach einem Buch aus Ihrem "Dump" (besonders wichtig, wenn Sie viel nicht katalogisierte Literatur haben);
- die ICE Book Reader-Datenbank-Engine übertrifft die meisten Programme dieser Art.
Mit dem Programm können Sie auch Texte mit Ihrer Stimme lesen.
Dazu müssen Sie zu den Programmeinstellungen gehen und zwei Registerkarten konfigurieren: "Modus" (Sprachlesung auswählen) und "Text-zu-Sprache-Modus" (Sprachmaschine selbst auswählen).
Sprecher
Mit Sakrament Talker können Sie Ihren Computer in ein "sprechendes" Hörbuch verwandeln! Sakrament Talker unterstützt rTF-Formate und TXT können die Codierung der Datei automatisch erkennen (wahrscheinlich haben Sie manchmal bemerkt, dass einige Programme eine Datei mit „Crackern“ anstelle von Text öffnen, aber dies ist in Sakrament Talker nicht möglich!).
Darüber hinaus können Sie mit Sakrament Talker ausreichend große Dateien abspielen und bestimmte Dateien schnell finden. Der stimmhafte Text kann nicht nur auf einem Computer angehört, sondern auch in einer MP3-Datei gespeichert werden (die später auf einen beliebigen Player oder ein anderes Telefon kopiert und vom PC aus wiedergegeben werden kann).
Im Allgemeinen ein ziemlich gutes Programm, das alle gängigen Voice Engines unterstützt.
Das ist alles für heute. Trotz der Tatsache, dass heutige Programme den Text immer noch nicht vollständig (100% Qualität) lesen können, so dass eine Person nicht bestimmen kann, wer ihn liest: ein Programm oder eine Person ... Aber ich denke, dass eines Tages Programme dies erreichen werden: die Leistung von Computern wachsen, Motoren werden lauter (einschließlich immer mehr selbst der komplexesten Sprachumdrehungen) - was bedeutet, dass der Ton aus dem Programm bald nicht mehr von gewöhnlicher menschlicher Sprache zu unterscheiden ist ?!
Zwei Studentinnen der Beijing Beihai University haben eine App entwickelt, um Gehörlosen in China zu helfen. Die Anwendung wurde Shouyin genannt, was wörtlich "die Stimme der Hände" bedeutet. Sie können die Zeichen der Sprache der Gehörlosen in Echtzeit in Sprache übersetzen.
Die Anwendung arbeitet mit einem intelligenten Armband zusammen und kann derzeit mehr als 200 Zeichen erkennen. Jedes Zeichen wurde tausendmal von verschiedenen Personen aufgezeichnet, um die Genauigkeit der Übersetzung zu verbessern. Jetzt liegt die Erkennungsrate bei 95%.
Die junge Nana Wang, eine der Entwicklerinnen, sagte, dass sie von einer taubstummen Freundin inspiriert wurde, mit der sie nur über Nachrichten kommunizieren konnte mobiltelefon... In China sind ungefähr 5% der Bevölkerung oder 70 Millionen Menschen taub. Zweifellos wird die Anwendung verwenden großer Erfolg... Die offizielle Veröffentlichung des Antrags ist für Ende Mai geplant. Ähnliche Programme gibt es bereits in anderen Ländern der Welt. Zum Beispiel Uni von MotionSavvy und Übersetzer für Taubstumme von Google Chats.
Technologien entwickeln sich heute rasant, auch in sozialen Bereichen und in der Medizin. Sie helfen nicht nur, mit verschiedenen Arten von Krankheiten umzugehen, sondern auch, Ihren Nachbarn besser zu verstehen, auch wenn sich seine Wahrnehmung der Welt von Ihrer unterscheidet. Eine spezielle Anwendung hilft Ihnen dabei, mit einer taubstummen Person zu sprechen, während VR-Technologien beispielsweise zum Verständnis von Autismus beitragen können, was bedeutet, dass Sie denjenigen näher kommen, die an dieser Krankheit leiden.
Verschiedene Studien haben gezeigt, dass über 99% der Menschen von Autismus gehört haben, aber nur 16% verstehen wirklich, was dieser psychische Zustand bedeutet. Und laut einer in Großbritannien durchgeführten Umfrage haben mehr als 25% der Menschen mit Autismus jemals darum gebeten, einen öffentlichen Ort wie ein Restaurant oder ein Geschäft zu verlassen, wenn sie Symptome ihrer Krankheit sahen.
Um dieses Desinformationsproblem anzugehen, hat die British National Autistic Society beschlossen, es zu schaffen VR-Film das würde allen Menschen helfen zu wissen, wie es ist, mit einer solchen Diagnose zu leben. Gmbox hat darüber geschrieben.
Dieses virtuelle Video führt Sie in den Körper eines Jungen mit Autismus und zeigt die Welt durch seine Augen. Im Film gehst du zu das Einkaufszentrum und fühle die enorme sensorische Belastung, die er fühlt, wenn er an diesem überfüllten Ort geht. Lärm, eine Fülle verschiedener Gegenstände, Blumen, Flackern der Menschen, ihre Stimmen - all dies bringt den Jungen in Panik, was für ihn sehr schwer zu bewältigen ist.
Eine andere Alzheimer-Community hat ebenfalls einen VR-Film veröffentlicht, der Sie in die Lage eines Menschen mit Demenz versetzt. Der Film "Ein Spaziergang durch Demenz" zeigt Ihnen, wie einige einfache tägliche Aktivitäten, wie das Zubereiten einer Tasse Tee, für jemanden mit dieser Krankheit zu einem echten Problem werden können.
Das Hauptproblem bei solchen Anwendungen ist, dass diese Nische unterentwickelt ist. Während meiner Recherche habe ich mir über 30 Bewerbungen angesehen, und fast alle waren für ein englischsprachiges Publikum oder für Menschen in Europa oder den USA konzipiert. Die sechs unten aufgeführten Anwendungen sind jedoch zu einer Ausnahme geworden und werden hoffentlich für jemanden nützlich sein.
Wundermodus
Miracle Modus ist eine App, die von einem autistischen Entwickler erstellt wurde. Gemessen an seinen Worten und Rezensionen in Spiel Marktfunktioniert die App tatsächlich. Das Funktionsprinzip ist gleichzeitig einfach und komplex: Miracle Modus zeichnet verschiedene Linien und Muster und erzeugt entspannende Geräusche, die Menschen mit Autismus beruhigen.
Diabetes Logbuch
Eine Anwendung, die Menschen mit Diabetes ersten und zweiten Grades hilft. Hier können Sie alle Informationen über das Essen eingeben, das Sie tagsüber gegessen haben. Der vollständige Bericht kann dann nach Excel exportiert und Ihrem medizinischen Fachpersonal angezeigt werden.
Migräne Kumpel
Ermöglicht Migränepatienten, ihren Lebensstil zu analysieren und zu verstehen, welche Faktoren zu Kopfschmerzen führen. Die App verfolgt auch Ihren Schlaf, sodass Sie den Zusammenhang zwischen Migräne und Schlafqualität erkennen können.
Unebenheiten
Unebenheiten helfen Blinden, Braille zu lernen. Die App unterstützt nur englische SpracheDaher ist es nur für diejenigen geeignet, die nicht nur Russisch lesen lernen wollen. Mit Bumps können Sie nicht nur das Alphabet lernen, sondern auch verschiedene Wörter eingeben und sie in Blindenschrift schreiben sehen.
Es gibt eine ähnliche Anwendung für Android - Braile Guide.
Zeichen verbreiten
Spread Signs verfügt über eine riesige Bibliothek mit Gesten, mit denen gehörlose und stumme Menschen kommunizieren können. Die Anwendungsbasis umfasst mehr als ein Dutzend Sprachen, darunter Russisch, Ukrainisch und Englisch. Sie können beide Gesten für einzelne Buchstaben und ganze Wörter lernen.
