Pomysł
Witaj! Nazywam się Witalij, jestem programistą i współzałożycielem startupu Być ostrzeżonym ... Od dzieciństwa mam bardzo słaby słuch, a moja żona w ogóle nie słyszy, od dawna chciałem zacząć tworzyć aplikacje i oprogramowanie dla osób niesłyszących i niedosłyszących. Wszystkie problemy, z którymi się borykają, są mi znane.
Ja i moja żona Natalia
Wcześniej zajmowałem się tworzeniem oprogramowania dla cywilnych linii lotniczych na Ukrainie, stworzyłem aplikację rozszerzonej rzeczywistości SIMO. Zawsze interesowało mnie wszystko, co związane z technologią. Kilka lat temu poznałem Siergieja Maliukowa, obecnie naszego dyrektora generalnego, przez nauczyciela z Politechniki Kijowskiej, z którym kiedyś studiowałem.
Pomysł stworzenia aplikacji dla osób niesłyszących i niedosłyszących przyszedł do Siergieja w 2013 roku. Kiedy szedł wieczorem ulicą, a samochód zaczął mu trącić w plecy, Siergiej szybko odskoczył w bok, ale para, która szła w pobliżu, nie drgnęła. Krzyknął za nimi, żeby się odsunęli, ale pozostali w tym samym miejscu, w którym stali. Wkrótce Siergiej zdał sobie sprawę, że to para głuchoniemych, komunikowali się ze sobą w języku migowym. Siergiej był przekonany, że istnieją aplikacje, które pomogą rozpoznać niebezpieczne dźwięki. Po przeanalizowaniu istniejących aplikacji i gadżetów dla osób niesłyszących i nie znalezieniu ani jednego rozwiązania ułatwiającego rozpoznawanie niebezpiecznych dźwięków, postanowił stworzyć taką aplikację. W trakcie pracy dołączyło do niego kilku partnerów, a teraz BeWarned inwestuje samodzielnie ze strony założycieli startupu.
Gdy tylko usłyszałem o projekcie i zobaczyłem postępy, pomysł natychmiast mnie porwał i wkrótce zostałem współzałożycielem. Obecnie zajmuję się rozwojem technicznym startupu.
Realizacja
W 2014 roku ukazał się pierwszy prototyp aplikacji BeWarned z funkcją Sound Monitor, która umożliwiła rozpoznawanie niebezpiecznych dźwięków w czasie rzeczywistym. To był pierwszy mały sukces. Ale to był dopiero początek.
Od dziecka lubiłem technologię, często coś składałem lub demontowałem, chciałem zobaczyć, co z tego wyniknie
Z setek e-maili i recenzji jasno wynikało, że osoby niesłyszące potrzebują czegoś więcej niż tylko aplikacji rozpoznającej niebezpieczne dźwięki. Osoby niesłyszące miały tysiące nierozwiązanych pytań, które można było rozwiązać. Na podstawie tych listów i informacji zwrotnych powstała platforma BeWarned, która skupiła 4 asystentów technicznych dla niesłyszących: Sound Monitor, Connect, Emergency Call i Dance.
Sound Monitor rozwiązuje problem bezpieczeństwa, wykrywając niebezpieczne dźwięki (krzyki, klakson samochodowy, szczekanie psa, syrena). W przypadku niebezpieczeństwa aplikacja ostrzega użytkownika wibracjami i migającą lampą błyskową na smartfonie. Connect pomaga niesłyszącym w komunikowaniu się z innymi - konwertuje tekst na mowę i odwrotnie. Taniec pozwala doświadczać utworów muzycznych, przekształcając je w wibracje, sygnały świetlne i pulsacje korektora wizualnego. Połączenie alarmowe pomaga użytkownikowi wezwać słyszących bliskich o pomoc, gdy znajduje się w niebezpiecznej sytuacji.
Więcej filmów można znaleźć na naszym kanale
Latem 2016 roku przeprowadziliśmy testy beta platformy w Stanach Zjednoczonych. W rezultacie 88,9% użytkowników zgłosiło, że poleciłoby aplikację swoim znajomym.
Najtrudniejszą częścią tworzenia BeWarned był Sound Monitor, nad którym pracowaliśmy przez kilka lat. Program do rozpoznawania niebezpiecznych dźwięków oparty jest na sieciach neuronowych. Wypróbowaliśmy dwa typy sieci neuronowych: klasyczny perceptron wielowarstwowy i konwolucyjną sieć neuronową. Ale potem zdecydowaliśmy się wypróbować ukryty model Markowa, który najlepiej pasował do naszych zadań.
Aby stworzyć bazę danych, na której będzie oparty algorytm, sami zarejestrowaliśmy wiele wariantów jednego rodzaju niebezpiecznego dźwięku, np. Sygnał samochodowy, na podstawie którego algorytm rozpozna nadchodzące dźwięki i określi je jako należące do określonego typu. Jednak w trakcie naszej pracy mieliśmy problem, że algorytm rozpoznawania przypisywał wszystkie przychodzące dźwięki tylko do istniejących kategorii: sygnał samochodowy, krzyk, dźwięk syreny policyjnej, szczekanie psa. Na przykład, jeśli ktoś się śmiał, program rozpoznałby go jako należącego do jednej z tych kategorii. Aby rozwiązać ten problem, musieliśmy posegmentować dźwięki, na przykład według częstotliwości i innych cech. W efekcie pozwoliło to na wprowadzenie dodatkowego, nieokreślonego rodzaju dźwięku.
Jakiś czas po premierze platformy BeWarned postanowiliśmy wprowadzić ważne zmiany w celu poprawy użyteczności: radykalnie wszystko uprościliśmy i dostosowaliśmy do percepcji osób niesłyszących. Dlatego ponownie wydaliśmy te aplikacje osobno.
W grudniu ukazało się BW Dance (Android, iOS), które z funkcji platformy BeWarned stało się niezależną aplikacją. BW Dance pozwala osobom niesłyszącym i niedosłyszącym tańczyć do swoich ulubionych piosenek. Użytkownik dodaje swoje ulubione utwory do listy odtwarzania, a aplikacja konwertuje muzykę na wibracje, błyski i animacje ekranowe. Użytkownik może również poczuć muzykę za pomocą odtwarzacza wizualnego. BW Dance zostało pozytywnie odebrane przez użytkowników zarówno na Ukrainie, jak i za granicą.
Następnie wydaliśmy Connect by Bewarned (Android, iOS), aplikację, która umożliwia osobom niesłyszącym i niedosłyszącym komunikowanie się z osobami słyszącymi. Aby rozpocząć komunikację z jedną lub kilkoma osobami w aplikacji, wystarczy wcisnąć przycisk START i pozwolić rozmówcy mówić, po czym aplikacja konwertuje wypowiedź na wiadomość tekstową, którą może przeczytać osoba niesłysząca. Aplikacja konwertuje również tekst na mowę, osoba niesłysząca musi napisać to, co chce powiedzieć. Dodatkowo opracowaliśmy zestaw szablonów, które symulują proste, powtarzalne sytuacje, takie jak zamawianie kawy w kawiarni. Dzięki tym szablonom osoba niesłysząca może szybko przekazać coś osobie słyszącej. Zapewniliśmy również możliwość tworzenia dodatkowych szablonów na potrzeby osobiste każdej osoby niesłyszącej.
wyniki
Na Ukrainie dziennikarze zaczęli aktywnie do nas pisać, STB, 1 + 1, Channel 5 i inni filmowali o nas. Widzieliśmy, że ludziom zależy na niesłyszących i upewniliśmy się, że skupienie się na prostocie i użyteczności było krokiem we właściwym kierunku. Zdaliśmy sobie sprawę, że jesteśmy na dobrej drodze.
Rozmawiamy z żoną z dziennikarzami z Channel 5
Uruchomiliśmy Connect by Bewarned na Product Hunt 30 stycznia i weszliśmy do TOP 5 dnia, a także dostaliśmy się na oficjalną listę mailingową. W komentarzach do naszego produktu na Product Hunt otrzymaliśmy oferty, które pomogą nam opracować lokalizacje w języku francuskim, a nawet farsi. Wraz z już istniejącymi czterema lokalizacjami - hiszpańską, rosyjską, ukraińską i angielską, będziemy mogli zbliżyć się do naszego globalnego celu: ułatwienia życia osobom niesłyszącym.
Jestem przekonany, że informatycy powinni wykorzystywać przekazane im umiejętności dla dobra innych ludzi. Nasze małe, ale udane doświadczenie pokazuje, że nowe aplikacje mogą znacząco zmienić życie innych ludzi. Dlatego zamierzamy kontynuować pracę nad ideą zawartą w Connect by Bewarned: pokonując bariery w komunikacji osób niesłyszących i słyszących, jest ich na świecie około 400 milionów.
Zespół BeWarned od lewej do prawej: Ja, Evgeny, Evgeniya, Ivan, Julia, Sergey, Andrey, Ilona, \u200b\u200bIra, Anton, Andrey (teraz jest nas jeszcze więcej niż na tym zdjęciu :))
Osoby takie jak ja często mają problemy, gdy potrzebują porozumieć się z osobą słyszącą: policjantem, lekarzem, bankierem. Gwarantujemy prawnie równe prawa i dostęp do usług i usług na równych zasadach z osobami słyszącymi. Ale w rzeczywistości nasze możliwości są znacznie ograniczone. Dlatego zdecydowaliśmy się podjąć prawdziwie globalne zadanie: stworzyć globalną infrastrukturę elektroniczną, która ułatwi osobom niesłyszącym dostęp do wszystkich usług i usług, które są dostępne dla osób słyszących: banki, szpitale, taksówki itp. W tej chwili pracujemy właśnie nad tym zadaniem.
Proste czynności, takie jak rozmowa przez telefon, zejście na dół, czy nawet ustalenie daty przydatności do spożycia mleka mogą sprawiać trudności osobom niepełnosprawnym. Niemniej jednak z niektórymi z tych problemów można z powodzeniem radzić sobie za pomocą smartfona.
Przedstawiamy wybór aplikacji mobilnych, które ułatwiają życie osobom niepełnosprawnym.
Aplikacje rozpoznające mowę
Yandex.Talk
Yandex niedawno wydał aplikację, która pomaga głuchoniemym i niedosłyszącym osobom komunikować się ze znajomymi i nieznajomymi, tłumacząc język mówiony na tekst i odwrotnie.
Aplikacja potrafi słuchać i rozpoznawać mowę - wszystko, co do Ciebie mówi, wyświetla się na ekranie smartfona w formie tekstu, a także wypowiada na głos wpisywane słowa.
Aplikacja została wymyślona i opracowana przez grupę studentów MIPT i jest oparta na technologii rozpoznawania mowy Yandex SpeechKit.
RogerVoice
RogerVoice to aplikacja, która umożliwia osobom niesłyszącym rozmowę telefoniczną ze swoimi rozmówcami. Aplikacja wykorzystuje technologię rozpoznawania mowy do konwersji głosu na tekst, aby osoby niesłyszące mogły przeczytać, co mówi im druga osoba.
Aplikacja pojawiła się dziękiudana kampania na Kickstarterze - Wersja beta aplikacji jest obecnie dostępna i można ją pobrać ze strony internetowej RogerVoice.
Aplikacja, która pomaga Ci słyszeć
HearYouNow
Dzięki tej aplikacji użytkownicy niedosłyszący mogą dostosować dźwięk do sytuacji, w której się znajdują - w miejscu publicznym, na spotkaniu itp. W tym celu do smartfona podłączane są słuchawki, przez które dostarczany jest dźwięk z odpowiednimi ustawieniami optymalizującymi tło lub pierwszy plan.
Opracowana przez ExSilent, holenderskiego producenta aparatów słuchowych, aplikacja jest przeznaczona dla osób, które mogą używać aparatów słuchowych, ale nie są na to jeszcze gotowe.
Witaj!
„Chleb odżywia ciało, a książka odżywia umysł” ...
Książki to jeden z najcenniejszych skarbów współczesnego człowieka. Książki pojawiły się już w starożytności i były bardzo drogie (jedną książkę można było wymienić na stado krów!). We współczesnym świecie książki są dostępne dla każdego! Czytając je, stajemy się bardziej piśmienni, rozwija się nasza perspektywa i pomysłowość. Ogólnie rzecz biorąc, nie znaleźliśmy jeszcze doskonalszego źródła wiedzy do wzajemnego przekazywania!
Wraz z rozwojem technologii komputerowych (szczególnie w ciągu ostatnich 10 lat) stało się możliwe nie tylko czytanie książek, ale także ich słuchanie (czyli będziesz miał specjalny program do ich czytania, męskim lub żeńskim głosem). Chciałbym opowiedzieć o narzędziach programowych do oceniania tekstu.
Możliwe problemy z nagrywaniem
Zanim przejdę do listy programów, chciałbym zastanowić się nad typowym problemem i rozważyć przypadki, w których program nie może odczytać tekstu.
Faktem jest, że istnieją silniki głosowe, mogą mieć różne standardy: SAPI 4, SAPI 5 lub Microsoft Speech Platform (w większości programów do reprodukcji tekstu jest do wyboru to narzędzie). Jest więc logiczne, że oprócz programu do czytania głosowego potrzebny jest silnik (będzie on zależał od tego, w jakim języku będziesz czytany, w jakim głosie: męski czy żeński itp.).
Silniki mowy
Silniki mogą być bezpłatne i komercyjne (oczywiście silniki komercyjne zapewniają najlepszą jakość dźwięku).
SAPI 4. Przestarzałe wersje narzędzi. Nie zaleca się używania przestarzałych wersji dla nowoczesnych komputerów. Lepiej przyjrzeć się bliżej SAPI 5 lub Microsoft Speech Platform.
SAPI 5. Nowoczesne silniki mowy są zarówno darmowe, jak i płatne. W internecie są dziesiątki silników mowy SAPI 5 (z głosami żeńskimi i męskimi).
Jedno z najlepszych programów do zamiany tekstu na mowę. Umożliwia komputerowi odczytywanie nie tylko prostych plików txt, ale także wiadomości, RSS, stron internetowych, poczty e-mail itp.
Ponadto umożliwia konwersję tekstu do pliku mp3 (który można następnie pobrać na dowolny telefon lub odtwarzacz mp3 i posłuchać np. W trasie). Te. możesz sam tworzyć książki audio!
Głosy programu IVONA są bardzo podobne do prawdziwych, nie dość zła wymowa, nie potykają się. Nawiasem mówiąc, program może być przydatny dla osób uczących się języka obcego. Dzięki niej możesz wysłuchać poprawnej wymowy niektórych słów, zwrotów.
Obsługuje SAPI5, a ponadto dobrze współpracuje z aplikacjami zewnętrznymi (np. Apple Itunes, Skype).
Przykład (wpis jednego z moich ostatnich artykułów)
Spośród minusów: czyta nieznane mu słowa z niewłaściwym akcentem i intonacją. Ogólnie rzecz biorąc, nie wystarczy słuchać na przykład akapitu z książki historycznej, idąc na wykład / lekcję - nawet więcej!
Balabolka
Doskonały program do pracy z książkami: czytanie, katalogowanie, wyszukiwanie potrzebnej książki itp. Oprócz standardowych dokumentów, które mogą być odczytywane przez inne programy (TXT-HTML, HTML-TXT, TXT-DOC, DOC-TXT, PDB-TXT, LIT-TXT , FB2-TXT itp.) ICE Book Reader obsługuje formaty plików .LIT, .CHM i ePub.
Ponadto ICE Book Reader umożliwia nie tylko czytanie, ale także doskonałą bibliotekę na pulpicie:
- umożliwia przechowywanie, obróbkę, katalogowanie książek (do 250 000 tysięcy egzemplarzy!);
- automatyczne zamawianie Twojej kolekcji;
- szybkie wyszukanie książki z „śmietnika” (szczególnie ważne, jeśli masz dużo nieskatalogowanej literatury);
- silnik bazy danych ICE Book Reader przewyższa większość tego typu programów.
Program umożliwia również czytanie tekstów za pomocą głosu.
W tym celu przejdź do ustawień programu i skonfiguruj dwie zakładki: „Tryb” (wybierz czytanie głosowe) i „Tryb zamiany tekstu na mowę” (wybierz sam silnik mowy).
Gaduła
Dzięki Sakrament Talker możesz zmienić swój komputer w „mówiącą” książkę audio! Sakrament Talker obsługuje formaty RTF i TXT, potrafi automatycznie rozpoznać kodowanie pliku (prawdopodobnie czasami zauważyłeś, że niektóre programy otwierają plik za pomocą „crackerów” zamiast tekstu, ale w Sakrament Talker jest to niemożliwe!).
Ponadto Sakrament Talker pozwala odtwarzać wystarczająco duże pliki, szybko znajdować określone pliki. Głos można nie tylko odsłuchać na komputerze, ale także zapisać w pliku mp3 (który można później skopiować do dowolnego odtwarzacza lub telefonu i odsłuchać z dala od komputera).
Ogólnie rzecz biorąc, nie jest to zły program, który obsługuje wszystkie popularne silniki głosowe.
To wszystko na dzisiaj. Pomimo tego, że dzisiejsze programy nadal nie są w stanie w pełni (100% jakościowo) odczytać tekstu, tak aby osoba nie mogła określić, kto go czyta: program czy osoba ... Ale myślę, że programy kiedyś osiągną to: moc komputerów rosną, silniki rosną głośno (w tym coraz więcej nawet najbardziej skomplikowanych zwrotów mowy) - co oznacza, że \u200b\u200bjuż niedługo dźwięk z programu będzie nie do odróżnienia od zwykłej ludzkiej mowy ?!
Dwie studentki z Beijing Beihai University opracowały aplikację, która ma pomóc niesłyszącym w Chinach. Aplikacja została nazwana Shouyin, co dosłownie oznacza „głos rąk”. Umożliwia tłumaczenie znaków języka głuchoniemych na mowę w czasie rzeczywistym.
Aplikacja działa w połączeniu z inteligentną bransoletką i w tej chwili może rozpoznać ponad 200 znaków, każdy znak został nagrany tysiąc razy przez różne osoby, aby poprawić dokładność tłumaczenia. Obecnie wskaźnik rozpoznawalności wynosi 95%.
Młoda Nana Wan, która jest jednym z deweloperów, powiedziała, że \u200b\u200bzainspirowała ją głuchoniema przyjaciółka, z którą mogła komunikować się wyłącznie za pomocą wiadomości na swoim telefonie komórkowym. W Chinach około 5% populacji lub 70 milionów ludzi jest głuchych. Aplikacja z pewnością odniesie duży sukces. Oficjalne wydanie aplikacji planowane jest na koniec maja. Podobne programy istnieją już w innych krajach świata. Na przykład Uni z MotionSavvy i tłumacz dla głuchoniemych z Google Chats.
Dzisiejsze technologie rozwijają się w szybkim tempie, w tym w sferach społecznych i medycynie. Pomagają nie tylko radzić sobie z różnego rodzaju dolegliwościami, ale także lepiej zrozumieć bliźniego, nawet jeśli jego postrzeganie świata różni się od Twojego. Specjalna aplikacja ułatwi rozmowę z osobą głuchoniemą, a technologie VR mogą pomóc np. W zrozumieniu autyzmu, czyli zbliżeniu się do osób cierpiących na tę chorobę.
Różne badania wykazały, że ponad 99% ludzi słyszało o autyzmie, ale tylko 16% naprawdę rozumie, co oznacza ten stan psychiczny. Według sondażu przeprowadzonego w Wielkiej Brytanii, ponad 25% osób z autyzmem kiedykolwiek prosiło o opuszczenie miejsca publicznego, takiego jak restauracja lub sklep, gdy zobaczyło objawy swojej choroby.
Aby rozwiązać ten problem dezinformacji, British National Autistic Society postanowiło stworzyć Film VR to pomogłoby wszystkim ludziom dowiedzieć się, jak to jest żyć z taką diagnozą. Gmbox napisał o tym.
Ten wirtualny film przeniesie Cię w ciało młodego chłopca z autyzmem i pokaże świat jego oczami. W filmie wchodzisz do centrum handlowego i doświadczasz ogromnego obciążenia sensorycznego, które odczuwa, kiedy przechodzi przez to zatłoczone miejsce. Hałas, obfitość przeróżnych przedmiotów, kolorów, migotanie ludzi, ich głosy - to wszystko powoduje, że chłopiec wpada w panikę, z którą bardzo trudno mu sobie poradzić.
Inna społeczność Alzheimera również wydała film VR, w którym wcielasz się w kogoś z demencją. Film „Spacer po demencji” pozwoli ci zrozumieć, jak proste codzienne czynności, takie jak zrobienie sobie filiżanki herbaty, mogą stać się prawdziwym problemem dla osoby z tą chorobą.
Główny problem z takimi aplikacjami polega na tym, że ta nisza jest słabo rozwinięta. W swoich poszukiwaniach przejrzałem ponad 30 aplikacji, a prawie wszystkie z nich były przeznaczone dla anglojęzycznej publiczności lub osób mieszkających w Europie lub Stanach Zjednoczonych. Jednak sześć przedstawionych poniżej aplikacji stało się wyjątkiem i mam nadzieję, że komuś się przyda.
Cudowny modus
Miracle Modus to aplikacja stworzona przez autystycznego programistę. Sądząc po jego słowach i recenzjach na Play Market, aplikacja naprawdę działa. Zasada działania jest jednocześnie prosta i złożona: Miracle Modus rysuje różne linie i wzory oraz wydaje relaksujące dźwięki, które działają uspokajająco na osoby z autyzmem.
Dziennik cukrzycy
Aplikacja pomagająca osobom z cukrzycą I i II stopnia. Tutaj możesz wprowadzić wszystkie informacje o jedzeniu, które zjadłeś w ciągu dnia. Cały raport można następnie wyeksportować do programu Excel, aby pokazać go lekarzowi.
Kolega z migreną
Pozwala osobom z migreną przeanalizować ich styl życia i zrozumieć, jakie czynniki prowadzą do bólów głowy. Aplikacja śledzi również Twój sen, dzięki czemu możesz zobaczyć korelację między migrenami a jakością snu.
Guzki
Bumps pomaga niewidomym w nauce alfabetu Braille'a. Aplikacja obsługuje tylko język angielski, więc jest odpowiednia tylko dla tych, którzy chcą nauczyć się czytać nie tylko po rosyjsku. Oprócz nauki alfabetu Bumps umożliwia wprowadzanie różnych słów i oglądanie ich pisanych alfabetem Braille'a.
Istnieje podobna aplikacja na Androida - Braile Guide.
Znaki rozprzestrzeniania
Spread Signs zawiera ogromną bibliotekę gestów, które pomagają porozumiewać się głuchoniemym ludziom. Baza aplikacji obejmuje kilkanaście języków, w tym rosyjski, ukraiński i angielski. Możesz nauczyć się zarówno gestów dla poszczególnych liter, jak i całych słów.
