ідея
Привіт! Мене звуть Віталій, я розробник і співзасновник стартапу BeWarned . З дитинства у мене дуже слабкий слух, а моя дружина не чує зовсім, я довгий час хотів зайнятися розробкою додатків і програмного забезпечення для нечуючих та слабочуючих. Всі проблеми, з якими стикаються вони, мені знайомі.
Я і моя дружина Наталя
Раніше я займався розробкою програмного забезпечення для цивільних авіаліній України, створив додаток доповненої реальності SIMO. Мені завжди було цікаво все, що пов'язано з технологіями. А пару років тому я познайомився з Сергієм Малюковим, нині нашим CEO, через викладача Київського політехнічного інституту, у якого я колись навчався.
Ідея створення програми для глухих і слабочуючих людей прийшла до Сергія в 2013 році. Якось він прогулювався ввечері по вулиці, і йому в спину почав сигналити автомобіль, Сергій швидко відскочив убік, але пара, яка гуляла поруч, не зрушила з місця. Він крикнув їм услід, щоб вони відійшли, але вони залишилися на тому ж місці, де і стояли. Незабаром Сергій зрозумів, що це була пара глухих, вони спілкувалися між собою на мові жестів. Сергій був упевнений, що існують додатки, які допомагають розпізнавати небезпечні звуки. Проаналізувавши існуючі програми і гаджети для глухих людей і не знайшовши жодного рішення, яке допомагає розпізнавати небезпечні звуки, він поставив собі за мету зробити такий додаток. У процесі роботи до нього приєдналося кілька партнерів і зараз BeWarned знаходиться на Самоінвестування творців стартапу.
Як тільки я почув про проект і побачив напрацювання, то миттєво захопився ідеєю і незабаром став співзасновником. на наразі я займаюся технічним розвитком стартапу.
Реалізація
У 2014 році був випущений перший прототип додатка BeWarned з функцією Sound Monitor, яка дозволяла розпізнавати небезпечні звуки в режимі реального часу. Це був перший маленький успіх. Але це був тільки початок.
З дитинства мені подобалися технології, часто збирав або розбирав що-небудь, хотілося подивитися, що з цього вийде
За сотням листів і відгуків було зрозуміло, що глухим людям потрібно щось більше, ніж додаток, яке розпізнає небезпечні звуки. У глухих було тисячу невирішених питань, які можна вирішити. На основі цих листів і відгуків була створена платформа BeWarned, яка об'єднала 4 технічних асистента для глухих: Sound Monitor, Connect, Emergency Call і Dance.
Sound Monitor вирішує проблему безпеки, визначаючи небезпечні звуки (крик, звук клаксона автомобіля, гавкіт собаки, сирена). У разі небезпеки додаток попереджає користувача вібрацією і миготінням спалаху на смартфоні. Connect допомагає нечуючих в спілкуванні з оточуючими - він конвертує текст в мову і навпаки. Dance дозволяє відчути музичні треки, завдяки конвертації їх в вібрацію, світлові сигнали і пульсацію візуального еквалайзера. Emergency Call допомагає користувачеві викликати чують близьких на допомогу, коли він знаходиться в небезпечній ситуації.
Більше відео можете знайти на нашому каналі
Влітку 2016 роки ми провели бета-тестування платформи в США. В результаті 88,9% користувачів повідомили, що порекомендували б додаток друзям.
Найскладнішою частиною розробки BeWarned був Sound Monitor, на розробку якого ми витратили кілька років. Програма розпізнавання небезпечних звуків базується на нейронних мережах. Ми випробували два види нейронних мереж: класичний багатошаровий персептрон і сверточное нейронну мережу. Але потім вирішили спробувати приховану марковскую модель, вона найкраще підійшла для наших завдань.
Для того, щоб створити базу даних, на якій буде грунтуватися алгоритм, ми самі записували безліч варіантів одного виду небезпечного звуку, наприклад, при автомобіля, на основі яких алгоритм буде розпізнавати надходять звуки і визначати їх як пов'язані з певного виду. Втім, в ході роботи у нас виникла проблема, яка полягає в тому, що алгоритм розпізнавання відносив всі вступники звуки тільки до існуючих категорій: сигналу автомобіля, крику, звуку поліцейської сирени і гавкоту собаки. Наприклад, якщо хтось сміявся, то програма розпізнавала це як відноситься до якоїсь з цих категорій. Щоб вирішити цю проблему, нам довелося сегментувати звуки, наприклад, по частотах і іншим характеристикам. Що в підсумку дозволило ввести додатковий невизначений вид звуку.
Через деякий час після випуску платформи BeWarned, ми вирішили піти на важливі зміни для того, щоб поліпшити юзабіліті: ми все кардинально спростили і адаптували під сприйняття глухих людей. Саме тому ми перевипустити програми окремо.
У грудні вийшов BW Dance (Android, iOS), який з функції платформи BeWarned перетворився в самостійний додаток. BW Dance дозволяє нечуючих та погано чують людям танцювати під улюблені пісні. Користувач додає улюблені пісні в плейлист, а додаток перетворює музику в вібрації, спалахи і анімації на екрані. Користувач також може відчути музику за допомогою візуального програвача. BW Dance був позитивно сприйнятий користувачами як в Україні, так і за кордоном.
Після цього ми випустили Connect by Bewarned (Android, iOS), додаток дозволяє спілкуватися глухим і слабочуючих людям з чують. Для того, щоб почати спілкуватися з одним або декількома людьми в додатку, потрібно всього лише натиснути на кнопку START і дати співрозмовнику говорити, після цього додаток перетворює мова в текстове повідомлення, Яке зможе прочитати глуха людина. Додаток також перетворює текст в мову, глухій людині потрібно написати те, що він хоче сказати. Крім того, ми розробили набір шаблонів, які моделюють прості, часто повторювані ситуації, наприклад, замовлення кави в кав'ярні. За допомогою цих шаблонів нечуючих людина може швидко повідомити щось чує. Ми також передбачили можливість створення додаткових шаблонів для персональних цілей кожного чує людини.
результати
В Україні нам почали активно писати журналісти, про нас зняли сюжети СТБ, 1 + 1, 5 канал та інші. Ми побачили, що людям не байдужі не чують, а також переконалися в тому, що турбота про простоту і юзабіліті була кроком у правильному напрямку. Ми зрозуміли, що на правильному шляху.
Я і моя дружина спілкуємося з журналістами 5 каналу
Ми запустили Connect by Bewarned на Product Hunt 30 січня та увійшли в ТОП-5 дня, а також потрапили в офіційну розсилку. У коментарях до нашого продукту на Product Hunt ми отримали пропозиції про допомогу в розробці локалізацій на французькому і навіть фарсі. Разом з уже існуючими чотирма локалізаціями - іспанської, російської, української, і англійської, ми зможемо наблизитися до нашої глобальної мети: полегшення життя нечуючих людей.
Я переконаний, що айтішники повинні використовувати дані їм вміння на благо інших людей. Наш невеликий, але успішний досвід показує, що нові додатки можуть істотно змінити життя інших людей. Саме тому ми збираємося продовжувати працювати над ідеєю, втіленою в Connect by Bewarned: подолання бар'єрів у спілкуванні нечуючих та ті, що слухають, в світі їх близько 400 мільйонів.
Команда BeWarned зліва направо: Я, Євген, Євгенія, Іван, Юля, Сергій, Андрій, Ілона, Іра, Антон, Андрій (зараз нас ще більше, ніж на цьому фото :))
У таких людей, як я, часто виникають проблеми, коли їм потрібно поспілкуватися зі чують людиною: поліцейським, лікарем, банкіром. Законодавчо нам гарантовані рівні права та доступ до сервісів і послуг нарівні зі чують. Але в реальності наші можливості істотно обмежені. Саме тому ми вирішили взятися за дійсно глобальне завдання: створення світової електронної інфраструктури, яка полегшить доступ нечуючих людей до всіх сервісів і послуг, які доступні чують людям: банкам, лікарням, таксі і т.д. На даний момент ми працюємо саме над цим завданням.
Такі прості дії, як розмова по телефону, спуск по сходах або навіть визначення терміну придатності молока, можуть стати складними для людей з обмеженими можливостями. Проте з деякими з цих проблем можна успішно впоратися за допомогою смартфона.
Представляємо добірку мобільних додатків, які роблять життя людей з обмеженими можливостями простіше.
Додатки, які розпізнають мова
«Яндекс.Разговор»
Нещодавно компанія Яндекс випустила додаток, яке допомагає глухим і слабочуючих спілкуватися зі знайомими і незнайомими людьми завдяки тому, що переводить усну мову в текст і назад.
Додаток вміє слухати і розпізнавати мову - все, що вам говорять, відображається на екрані смартфона у вигляді тексту, а також вимовляти вголос надруковані слова.
Додаток було придумано і розроблено групою студентів МФТІ і працює на технології розпізнавання мови Yandex SpeechKit.
RogerVoice
RogerVoice - це додаток, за допомогою якого глухі люди можуть розмовляти зі своїми співрозмовниками по телефону. Додаток використовує технологію розпізнавання мови для того, щоб конвертувати голос в текст, так глухі люди зможуть читати, що говорить їм співрозмовник.
Додаток з'явилося завдякиуспішної кампанії на Kickstarter - в даний час доступна бета-версія додатка, яку можна завантажити на сайті RogerVoice.
Додаток, який допомагає чути
HearYouNow
За допомогою цієї програми користувачі з вадами слуху можуть регулювати звук в залежності від ситуації, в якій вони перебувають, - в громадському місці, на зустрічі і т.д. Для цього до смартфону підключаються навушники, через які подається звук з відповідними настройками для оптимізації фону або переднього плану.
Додаток розроблений ExSilent, голландським виробником слухових апаратів, і розраховане на людей, які можуть використовувати слухові апарати, але поки не готові до цього.
Вітаю!
«Хліб живить тіло, а книга живить розум» ...
Книги - одне з найцінніших багатств сучасної людини. З'явилися книги ще в стародавні часи і коштували дуже дорого (одну книгу можна було поміняти на стадо корів!). У сучасному ж світі - книги доступні всім! Читаючи їх, ми стаємо більш грамотні, розвивається кругозір, кмітливість. Та й взагалі, поки ще не придумали більш досконалого джерела знань для передачі один одному!
З розвитком комп'ютерних технологій (Особливо в останні 10 років) - стала можливо не тільки читати книги, а й слухати їх (т. Е. Читати їх вам буде спеціальна програма, Чоловічим або жіночим голосом). Я б хотів розповісти вам про програмних інструментах для озвучення тексту.
Можливі проблеми при записі
Перш, ніж перейти до списку програм, хотілося б зупинитися на поширеною проблеми і розглянути випадки, коли програма не може прочитати текст.
Справа в тому що є голосові движки, вони можуть бути різних стандартів: SAPI 4, SAPI 5 або Microsoft Speech Platform (в більшості програм для відтворення тексту є вибір цього інструменту). Так ось, логічно, що крім програми для читання голосом - потрібен движок (від нього буде залежати, якою мовою вам будуть читати, яким голосом: чоловічим або жіночим та ін.).
мовні движки
Двигуни можуть бути безкоштовними і комерційними (природно, що найкраща якість відтворення звуку забезпечують комерційні движки).
SAPI 4. Застарілі версії інструментів. Для сучасних ПК не рекомендується використовувати застарілі версії. Краще придивитися до SAPI 5 або Microsoft Speech Platform.
SAPI 5. Сучасні мовні движки, є як безкоштовні, так і платні. В інтернеті можна знайти десятки мовних движків SAPI 5 (і з жіночим і з чоловічим голосом).
Одна з самих кращих програм для озвучування тексту. Дозволяє вашому ПК читати не тільки прості файли в форматі txt, а й новини, RSS, будь-які веб-сторінки в інтернеті, електронну пошту та ін.
Крім того, дозволяє перетворити текст в mp3 файл (який ви потім можете завантажити на будь-який телефон або mp3 плеєр і слухати в дорозі, наприклад). Тобто ви можете самостійно створювати аудіо-книги!
Голоси програми IVONA дуже схожі на реальні, досить хороше вимова, що не запинаються. До речі, програма може бути корисна для тих, хто вивчає іноземна мова. Завдяки ній можна слухати правильну вимову тих чи інших слів, оборотів.
Підтримує SAPI5, плюс до цього добре кооперується з зовнішніми додатками (наприклад, Apple Itunes, Skype).
Приклад (запис однієї моєї недавньої статті)
З мінусів: деякі незнайомі слова читає з неправильним наголосом та інтонацією. В цілому ж вельми не погано, щоб прослухати, наприклад, параграф з книги по історії, поки йдеш на лекцію / заняття - навіть більш ніж!
Талалайка
Відмінна програма для роботи з книгами: читання, каталогізація, пошук потрібної тощо. Крім стандартних документів, які можуть читати і інші програми (TXT-HTML, HTML-TXT, TXT-DOC, DOC-TXT, PDB-TXT, LIT-TXT , FB2-TXT і т.д.) ICE Book Reader підтримує файли форматів: .LIT, .CHM і.ePub.
До того ж ICE Book Reader дозволяє не тільки читати, а й відмінна настільна бібліотека:
- дозволяє зберігати, обробляти, каталогізувати книги (до 250000 тисяч примірників!);
- автоматичне упорядкування вашої колекції;
- швидкий пошук книги з вашої «звалища» (особливо актуально, якщо у вас багато не каталогізувати літератури);
- ядро бази даних ICE Book Reader перевершує більшість програм подібного роду.
Також програма дозволяє озвучувати тексти голосом.
Для цього потрібно зайти в налаштування програми і налаштувати дві вкладки: «Режим» (вибрати читання голосом) і «Режим синтезу мови» (вибрати безпосередньо сам мовної движок).
Говорилка
За допомогою Sakrament Talker можна перетворити свій комп'ютер в «говорить» аудіо книгу! Програма Sakrament Talker підтримує формати RTF і TXT, може автоматично розпізнавати кодування файлу (напевно, іноді помічали, що деякі програми відкривають файл з «крякозабрамі» замість тексту, так ось в Sakrament Talker таке неможливо!).
Крім того Sakrament Talker дозволяє відтворювати досить великі файли, швидко знаходити ті чи інші файли. Озвучений текст можна не тільки прослухати на комп'ютері, але і зберегти в mp3 файл (який надалі можна скопіювати на будь-який плеєр або телефон і прослуховувати далеко від ПК).
В цілому досить не погана програма, яка підтримує всі популярні голосові движки.
На цьому сьогодні все. Незважаючи на те, що сьогоднішні програми ще не можуть в повній мірі (якісно на 100%) читати текст так, щоб людина не могла визначити хто це читає: програма або людина ... Але вважаю, що до цього коли-небудь програми дійдуть: потужності комп'ютерів ростуть, движки ростуть в обсязі (включаючи всі нові і нові навіть найскладніші мовні звороти) - а значить, досить скоро звук від програми не відрізнятиметься від звичайної мови людини?! ст
Дві студентки з пекінського університету Бейхай розробили додаток, здатне допомогти глухим людям в Китаї. Додаток отримало назву Shouyin, що дослівно означає "голос рук". Воно дозволяє в режимі реального часу переводити знаки мови глухонімих в мова.
Додаток працює спільно зі смарт-браслетом і на даний момент може розпізнати більше 200 знаків, кожен знак був записаний тисячу разів з різних людей, щоб підвищити акуратність перекладу. Зараз відсоток розпізнавання становить 95%.
Юна Нана Ван, яка є одним з розробників, розповіла, що її надихнула глухоніма подруга, з якою вона могла спілкуватися тільки через повідомлення на мобільному телефоні. У Китаї приблизно 5% населення або 70 млн осіб є глухими. Безсумнівно, додаток буде користуватися великим успіхом. Офіційний вихід додатка намічений на кінець травня. В інших країнах світу вже існують схожі програми. Наприклад Uni від MotionSavvy і перекладач мови глухонімих від Google Chats.
Технології сьогодні розвиваються стрімкими темпами, в тому числі в соціальних сферах і в медицині. Вони допомагають не тільки справлятися з різного роду недугами, але і краще розуміти ближнього свого, навіть якщо його сприйняття світу відрізняється від вашого. Поговорити з глухонімим людиною вам допоможе спеціальний додаток, в той час як VR-технології можуть допомогти, наприклад, з розумінням аутизму, а значить зблизити вас з тими, хто страждає від цього захворювання.
Різні дослідження показали, що більше 99% людей чули про аутизм, але лише 16% дійсно розуміє, що означає це психічний стан. А за результатами опитування, проведеного у Великобританії, більше 25% людей, що страждають на аутизм, коли-небудь просили піти з таких публічних місць, як ресторан або магазин, коли бачили симптоми їх недуги.
Щоб впоратися з цією проблемою дезінформації, британське «National Autistic Society» вирішило створити VR-фільм , Який допоміг би всім людям дізнатися, як це - жити з подібним діагнозом. Gmbox писав про це.
Цей віртуальний ролик перенесе вас в тіло юного хлопчика, який страждає на аутизм, і покаже світ його очима. У фільмі ви зайдете в торговий центр і відчуєте на собі ту величезну сенсорну навантаження, яку він відчуває, коли ходить по цьому багатолюдному місця. Шум, велика кількість різних предметів, квітів, мельтешение людей, їхні голоси - все це викликає у хлопчика паніку, з якої йому дуже складно впоратися.
Інша співтовариство, що вивчає хворобу Альцгеймера, також випустило VR-фільм, що дозволяє вам побувати на місці людини, яка страждає на деменцію. Фільм «A Walk Through Dementia» дозволить вам зрозуміти, як деякі прості повсякденні справи, начебто заварювання собі чашки чаю, можуть стати справжньою проблемою для власника цієї хвороби.
Основна проблема подібних додатків в тому, що ця ніша недостатньо розвинена. Займаючись пошуком, я переглянув більше 30 додатків, і практично всі вони були розраховані на англомовну аудиторію або людей, які проживають в Європі або США. Однак шість додатків, які представлені нижче, стали винятком і, я сподіваюся, зможуть комусь стати в нагоді.
Miracle Modus
Miracle Modus - це додаток, створений розробником-аутистом. Судячи з його слів і відгуками в Play Market, Додаток дійсно працює. Принцип роботи простий і складний одночасно: Miracle Modus малює різні лінії і патерни і відтворює розслаблюючі звуки, які надають заспокійливий ефект на людей, хворих на аутизм.
Diabetes Log Book
Додаток, який допомагає людям, хворим на діабет першого та другого ступеня. Сюди можна заносити всю інформацію про їжу, яку ви з'їли за день. Повний звіт потім можна експортувати в Excel, щоб показати свого лікаря.
Migraine Buddy
Дозволяє людям, що страждають на мігрень, аналізувати свій спосіб життя і розуміти, які фактори призводять до головного болю. Додаток також відстежує ваш сон, щоб ви бачили кореляцію між мігренню і якістю сну.
Bumps
Bumps допомагає сліпим людям вивчити шрифт Брайля. Додаток підтримує тільки англійська мова, Тому підійде лише тим, хто хоче навчитися читати не тільки російською. Крім вивчення алфавіту, в Bumps можна вводити різні слова і дивитися, як вони пишуться шрифтом Брайля.
Для Android є подібний додаток - Braile Guide.
Spread Signs
У Spread Signs величезна бібліотека жестів, які допомагають спілкуватися глухонімим людям. База додатки налічує більше десятка мов, включаючи російську, українську та англійську. Можна вчити як жести, що позначають окремі літери, так і цілі слова.
