Idée
salut! Je m'appelle Vitaly, je suis développeur et co-fondateur d'une startup Être averti ... Depuis l'enfance, j'ai une audition très faible, et ma femme n'entend pas du tout, depuis longtemps je voulais commencer à développer des applications et logiciel pour les sourds et les malentendants. Tous les problèmes auxquels ils sont confrontés me sont familiers.
Moi et ma femme Natalia
Auparavant, j'étais engagé dans le développement de logiciels pour les compagnies aériennes civiles en Ukraine, j'ai créé une application de réalité augmentée SIMO. J'ai toujours été intéressé par tout ce qui touche à la technologie. Et il y a quelques années, j'ai rencontré Sergei Malyukov, maintenant notre PDG, par l'intermédiaire d'un enseignant de l'Institut polytechnique de Kiev, avec qui j'ai étudié une fois.
L'idée de créer une application pour les personnes sourdes et malentendantes est venue à Sergey en 2013. Une fois qu'il marchait dans la rue le soir, et qu'une voiture a commencé à klaxonner dans son dos, Sergei a rapidement sauté sur le côté, mais le couple qui marchait à proximité n'a pas bougé. Il a crié après eux de s'éloigner, mais ils sont restés au même endroit où ils se tenaient. Bientôt, Sergey s'est rendu compte que c'était une paire de personnes sourdes, ils ont communiqué entre eux en langue des signes. Sergey était convaincu qu'il existait des applications qui l'aideraient à reconnaître les sons dangereux. Après avoir analysé les applications et gadgets existants pour les personnes sourdes et ne pas trouver une solution unique permettant de reconnaître les sons dangereux, il a entrepris de créer une telle application. En cours de travail, plusieurs partenaires l'ont rejoint et BeWarned s'investit désormais de lui-même par les fondateurs de la startup.
Dès que j'ai entendu parler du projet et vu les développements, j'ai été instantanément emporté par l'idée et suis rapidement devenu co-fondateur. Sur le ce moment Je suis engagé dans le développement technique d'une startup.
la mise en oeuvre
En 2014, le premier prototype de l'application BeWarned est sorti avec la fonction Sound Monitor, qui permet de reconnaître les sons dangereux en temps réel. Ce fut le premier petit succès. Mais c'était seulement le début.
Depuis l'enfance, j'aimais la technologie, j'assemblais ou démontais souvent quelque chose, je voulais voir ce qu'il en sortait
Il ressort clairement de centaines de courriels et de critiques que les personnes sourdes ont besoin de plus qu'une application qui reconnaît les sons dangereux. Les sourds avaient mille questions non résolues qui pouvaient être résolues. Sur la base de ces lettres et retours d'expérience, la plateforme BeWarned a été créée, qui a réuni 4 assistants techniques pour les sourds: Sound Monitor, Connect, Emergency Call et Dance.
Sound Monitor résout le problème de sécurité en détectant les sons dangereux (cris, klaxon de voiture, aboiements de chien, sirène). En cas de danger, l'application prévient l'utilisateur par vibration et flash clignotant sur le smartphone. Connect aide les sourds à communiquer avec les autres - il convertit le texte en parole et vice versa. La danse vous permet d'expérimenter des morceaux de musique en les convertissant en vibrations, signaux lumineux et pulsations de l'égaliseur visuel. L'appel d'urgence aide l'utilisateur à appeler ses proches entendants pour obtenir de l'aide lorsqu'il se trouve dans une situation dangereuse.
Plus de vidéos peuvent être trouvées sur notre chaîne
À l'été 2016, nous avons testé la plate-forme en version bêta aux États-Unis. En conséquence, 88,9% des utilisateurs ont déclaré qu'ils recommanderaient l'application à leurs amis.
La partie la plus difficile du développement de BeWarned a été Sound Monitor, que nous avons passé plusieurs années à développer. Le programme de reconnaissance des sons dangereux est basé sur des réseaux de neurones. Nous avons essayé deux types de réseaux de neurones: le perceptron multicouche classique et le réseau neuronal... Mais ensuite, nous avons décidé d'essayer le modèle caché de Markov, c'était la meilleure solution pour nos tâches.
Afin de créer une base de données sur laquelle l'algorithme sera basé, nous avons nous-mêmes enregistré de nombreuses variantes d'un type de son dangereux, par exemple un signal de voiture, sur la base de laquelle l'algorithme reconnaîtra les sons entrants et les déterminera comme appartenant à un certain type. Cependant, au cours de notre travail, nous avons eu un problème en ce que l'algorithme de reconnaissance attribuait tous les sons entrants uniquement aux catégories existantes: un signal de voiture, un cri, le son d'une sirène de police et un chien qui aboyait. Par exemple, si quelqu'un riait, le programme le reconnaîtrait comme appartenant à l'une de ces catégories. Pour résoudre ce problème, nous avons dû segmenter les sons, par exemple, en fonction des fréquences et d'autres caractéristiques. En conséquence, il était possible d'introduire un autre type de son indéfini.
Quelques temps après la sortie de la plateforme BeWarned, nous avons décidé d'apporter des changements importants afin d'améliorer la convivialité: nous avons radicalement simplifié tout et l'avons adapté à la perception des personnes sourdes. C'est pourquoi nous avons réédité les applications individuellement.
En décembre, BW Dance (Android, iOS) est sorti, qui est passé d'une fonction de la plateforme BeWarned à une application indépendante. BW Dance permet aux personnes sourdes et malentendantes de danser sur leurs chansons préférées. L'utilisateur ajoute ses chansons préférées à la liste de lecture et l'application convertit la musique en vibrations, flashs et animations à l'écran. L'utilisateur peut également ressentir la musique via le lecteur visuel. BW Dance a été accueilli positivement par les utilisateurs en Ukraine et à l'étranger.
Après cela, nous avons sorti Connect by Bewarned (Android, iOS), une application qui permet aux personnes sourdes et malentendantes de communiquer avec l'audition. Pour commencer à communiquer avec une ou plusieurs personnes dans l'application, il vous suffit d'appuyer sur le bouton DÉMARRER et de laisser parler l'interlocuteur, après quoi l'application convertit le discours en un message texte qu'une personne sourde peut lire. L'application convertit également le texte en parole, une personne sourde doit écrire ce qu'elle veut dire. De plus, nous avons développé un ensemble de modèles qui simulent des situations simples et répétitives, comme la commande de café dans un café. Avec ces modèles, une personne sourde peut rapidement communiquer quelque chose à la personne qui entend. Nous avons également fourni la possibilité de créer des modèles supplémentaires pour les besoins personnels de chaque personne sourde.
résultats
En Ukraine, les journalistes ont commencé à nous écrire activement, des histoires sur nous ont été filmées par STB, 1 + 1, Channel 5 et autres. Nous avons vu que les gens se soucient des sourds et nous nous sommes également assurés que se concentrer sur la simplicité et la convivialité était un pas dans la bonne direction. Nous avons réalisé que nous étions sur la bonne voie.
Ma femme et moi parlons aux journalistes de Channel 5
Nous avons lancé Connect by Bewarned à Product Hunt le 30 janvier et sommes entrés dans le TOP 5 de la journée et avons également intégré la liste de diffusion officielle. Dans les commentaires sur notre produit chez Product Hunt, nous avons reçu des offres pour nous aider à développer des localisations en français et même en farsi. Avec les quatre localisations déjà existantes - espagnol, russe, ukrainien et anglais, nous pourrons nous rapprocher de notre objectif mondial: faciliter la vie des personnes sourdes.
Je suis convaincu que les informaticiens doivent utiliser les compétences qui leur sont confiées au profit d'autres personnes. Notre petite mais fructueuse expérience montre que les nouvelles applications peuvent changer considérablement la vie d'autres personnes. C'est pourquoi nous allons continuer à travailler sur l'idée incarnée dans Connect by Bewarned: surmonter les barrières de communication des sourds et entendants, il y en a environ 400 millions dans le monde.
L'équipe BeWarned de gauche à droite: Moi, Evgeny, Evgeniya, Ivan, Julia, Sergey, Andrey, Ilona, \u200b\u200bIra, Anton, Andrey (maintenant nous sommes encore plus nombreux que sur cette photo :))
Les gens comme moi ont souvent des problèmes lorsqu'ils ont besoin de communiquer avec une personne entendant: un policier, un médecin, un banquier. Nous avons la garantie légale de l'égalité des droits et de l'accès aux services et services sur un pied d'égalité avec les entendants. Mais en réalité, nos capacités sont considérablement limitées. C'est pourquoi nous avons décidé de nous attaquer à une tâche véritablement mondiale: créer une infrastructure électronique globale qui facilitera l'accès des personnes sourdes à tous les services et services disponibles pour les entendants: banques, hôpitaux, taxis, etc. En ce moment, nous travaillons exactement sur cette tâche.
Des actions simples telles que parler au téléphone, descendre les escaliers ou même déterminer la date d'expiration du lait peuvent devenir difficiles pour les personnes handicapées. Cependant, certains de ces problèmes peuvent être résolus avec succès à l'aide d'un smartphone.
Présentation d'une sélection d'applications mobiles qui facilitent la vie des personnes handicapées.
Applications qui reconnaissent la parole
Yandex.Talk
Yandex a récemment publié une application qui aide les personnes sourdes et malentendantes à communiquer avec leurs connaissances et des inconnus en traduisant la langue parlée en texte et vice versa.
L'application peut écouter et reconnaître la parole - tout ce qui vous est dit est affiché sur l'écran du smartphone sous forme de texte, ainsi que prononcé à haute voix les mots tapés.
L'application a été inventée et développée par un groupe d'étudiants du MIPT et est alimentée par la technologie de reconnaissance vocale Yandex SpeechKit.
RogerVoice
RogerVoice est une application qui permet aux personnes sourdes de parler à leurs interlocuteurs au téléphone. L'application utilise la technologie de reconnaissance vocale pour convertir la voix en texte afin que les personnes sourdes puissent lire ce que l'autre leur dit.
L'application est apparue grâce àcampagne Kickstarter réussie - Actuellement, une version bêta de l'application est disponible et peut être téléchargée depuis le site Web de RogerVoice.
Une application qui vous aide à entendre
HearYouNow
Avec cette application, les utilisateurs malentendants peuvent ajuster le son en fonction de la situation dans laquelle ils se trouvent - dans un lieu public, en réunion, etc. Pour ce faire, des écouteurs sont connectés au smartphone, à travers lequel le son est fourni avec des paramètres appropriés pour optimiser l'arrière-plan ou le premier plan.
Développée par ExSilent, un fabricant néerlandais d'aides auditives, l'application s'adresse aux personnes qui peuvent utiliser des aides auditives mais ne sont pas encore prêtes pour cela.
salut!
"Le pain nourrit le corps et le livre nourrit l'esprit" ...
Les livres sont l'un des trésors les plus précieux de l'homme moderne. Les livres sont apparus dans l'Antiquité et étaient très chers (un livre pouvait être échangé contre un troupeau de vaches!). Dans le monde moderne, les livres sont accessibles à tous! En les lisant, nous devenons plus alphabétisés, nos perspectives et notre ingéniosité se développent. Et en général, nous n'avons pas encore trouvé une source de connaissances plus parfaite pour se transmettre les uns aux autres!
Avec le développement de la technologie informatique (en particulier au cours des 10 dernières années), il est devenu possible non seulement de lire des livres, mais aussi de les écouter (c'est-à-dire que vous pourrez les lire programme spécial, voix masculine ou féminine). Je voudrais vous parler des outils logiciels pour la notation de texte.
Problèmes d'enregistrement possibles
Avant de passer à la liste des programmes, je voudrais m'attarder sur un problème courant et examiner les cas où le programme ne peut pas lire le texte.
Le fait est qu'il existe des moteurs vocaux, ils peuvent être de normes différentes: SAPI 4, SAPI 5 ou Microsoft Speech Platform (dans la plupart des programmes de reproduction de texte, il y a un choix de cet outil). Donc, il est logique qu'en plus du programme de lecture vocale, un moteur soit nécessaire (cela dépendra de la langue dans laquelle vous serez lu, dans quelle voix: homme ou femme, etc.).
Moteurs vocaux
Les moteurs peuvent être gratuits et commerciaux (bien sûr, meilleure qualité la lecture du son est fournie par des moteurs commerciaux).
SAPI 4. Versions obsolètes des outils. Il n'est pas recommandé d'utiliser des versions obsolètes pour les PC modernes. Mieux vaut regarder de plus près SAPI 5 ou Microsoft Speech Platform.
SAPI 5. Moteurs vocaux modernes, il existe à la fois gratuits et payants. Il existe des dizaines de moteurs vocaux SAPI 5 (avec des voix féminines et masculines) sur Internet.
Un des plus meilleurs programmes pour doubler le texte. Permet à votre PC de lire plus que simplement fichiers simples au format txt, mais aussi news, RSS, toutes pages web sur Internet, email etc.
De plus, il vous permet de convertir du texte en fichier mp3 (que vous pouvez ensuite télécharger sur n'importe quel téléphone ou lecteur mp3 et écouter sur la route, par exemple). Ceux. vous pouvez créer des livres audio par vous-même!
Les voix du programme IVONA sont très similaires aux vraies, pas assez de prononciation, ne trébuche pas. En passant, le programme peut être utile pour ceux qui étudient une langue étrangère... Grâce à elle, vous pouvez écouter la prononciation correcte de certains mots, tourne.
Prend en charge SAPI5, et coopère bien avec les applications externes (par exemple, Apple Itunes, Skype).
Exemple (entrée d'un de mes articles récents)
Parmi les inconvénients: il lit des mots inconnus avec un accent et une intonation incorrects. En général, il ne suffit pas d'écouter, par exemple, un paragraphe d'un livre d'histoire pendant que vous allez à une conférence / un cours - encore plus que cela!
Balabolka
Un excellent programme pour travailler avec des livres: lecture, catalogage, recherche de celui souhaité, etc. En plus des documents standard pouvant être lus par d'autres programmes (TXT-HTML, HTML-TXT, TXT-DOC, DOC-TXT, PDB-TXT, LIT-TXT , FB2-TXT, etc.) ICE Book Reader prend en charge les formats de fichier .LIT, .CHM et ePub.
De plus, ICE Book Reader permet non seulement la lecture, mais aussi une excellente bibliothèque de bureau:
- vous permet de stocker, traiter, cataloguer des livres (jusqu'à 250 000 exemplaires!);
- commande automatique de votre collection;
- une recherche rapide d'un livre dans votre "dépotoir" (particulièrement important si vous avez beaucoup de littérature non cataloguée);
- le moteur de base de données ICE Book Reader surpasse la plupart des programmes de ce type.
Le programme vous permet également de lire des textes avec votre voix.
Pour ce faire, allez dans les paramètres du programme et configurez deux onglets: "Mode" (sélectionnez la lecture vocale) et "Mode synthèse vocale" (sélectionnez le moteur vocal lui-même).
Parleur
Avec Sakrament Talker, vous pouvez transformer votre ordinateur en un livre audio «parlant»! Sakrament Talker prend en charge formats RTF et TXT, peuvent reconnaître automatiquement l'encodage du fichier (probablement, vous avez parfois remarqué que certains programmes ouvrent un fichier avec des «crackers» au lieu de texte, mais c'est impossible dans Sakrament Talker!).
De plus, Sakrament Talker vous permet de lire des fichiers suffisamment volumineux, de retrouver rapidement certains fichiers. Le texte vocal peut non seulement être écouté sur un ordinateur, mais également enregistré dans un fichier mp3 (qui peut plus tard être copié sur n'importe quel lecteur ou téléphone et écouté loin du PC).
En général, ce n'est pas un mauvais programme qui prend en charge tous les moteurs vocaux populaires.
C'est tout pour aujourd'hui. Malgré le fait que les programmes d'aujourd'hui ne peuvent toujours pas lire complètement (qualité à 100%) le texte de sorte qu'une personne ne peut pas déterminer qui le lit: un programme ou une personne ... Mais je pense qu'un jour les programmes atteindront ceci: la puissance des ordinateurs grandir, les moteurs grossissent en volume (y compris de plus en plus de nouvelles et même les tours de parole les plus complexes) - ce qui signifie que bientôt le son du programme sera impossible à distinguer de la parole humaine ordinaire?!
Deux étudiantes de l'Université Beihai de Pékin ont développé une application pour aider les sourds en Chine. L'application s'appelait Shouyin, ce qui signifie littéralement «la voix des mains». Il vous permet de traduire les signes de la langue des sourds en parole en temps réel.
L'application fonctionne en conjonction avec un bracelet intelligent et pour le moment peut reconnaître plus de 200 caractères, chaque personnage a été enregistré mille fois par des personnes différentes pour améliorer la précision de la traduction. Maintenant, le taux de reconnaissance est de 95%.
La jeune Nana Wan, qui est l'une des développeurs, a déclaré qu'elle avait été inspirée par un ami sourd-muet avec lequel elle ne pouvait communiquer que par des messages sur téléphone portable... En Chine, environ 5% de la population ou 70 millions de personnes sont sourdes. Sans aucun doute, l'application utilisera grand succès... La sortie officielle de l'application est prévue pour la fin mai. Des programmes similaires existent déjà dans d'autres pays du monde. Par exemple, Uni de MotionSavvy et traducteur pour sourds et muets de Google Chats.
Les technologies se développent à un rythme rapide aujourd'hui, y compris dans les sphères sociales et en médecine. Ils aident non seulement à faire face à divers types de maux, mais aussi à mieux comprendre votre prochain, même si sa perception du monde diffère de la vôtre. Une application spéciale vous aidera à parler avec une personne sourde-muette, tandis que les technologies VR peuvent aider, par exemple, à comprendre l'autisme, ce qui signifie vous rapprocher de ceux qui souffrent de cette maladie.
Diverses études ont montré que plus de 99% des personnes ont entendu parler de l'autisme, mais seulement 16% comprennent vraiment ce que signifie cette condition mentale. Et selon une enquête britannique, plus de 25% des personnes atteintes d'autisme ont déjà demandé à quitter un lieu public comme un restaurant ou un magasin lorsqu'elles voyaient des symptômes de leur maladie.
Pour s'attaquer à ce problème de désinformation, la British National Autistic Society a décidé de créer Film VR cela aiderait tout le monde à savoir ce que c'est que de vivre avec un tel diagnostic. Gmbox a écrit à ce sujet.
Cette vidéo virtuelle vous emmènera dans le corps d'un jeune garçon autiste et montrera le monde à travers ses yeux. Dans le film, tu vas à centre commercial et ressentez l'énorme charge sensorielle qu'il ressent quand il marche dans cet endroit bondé. Le bruit, une abondance d'objets variés, de couleurs, le scintillement des personnes, leurs voix - tout cela fait paniquer le garçon, ce qui lui est très difficile à gérer.
Une autre communauté d'Alzheimer a également publié un film en réalité virtuelle qui vous met dans la peau d'une personne atteinte de démence. Le film "A Walk Through Dementia" vous permettra de comprendre comment certaines activités quotidiennes simples, comme se préparer une tasse de thé, peuvent devenir un réel problème pour une personne atteinte de cette maladie.
Le principal problème avec de telles applications est que ce créneau est sous-développé. Dans ma recherche, j'ai examiné plus de 30 applications, et presque toutes ont été conçues pour un public anglophone ou des personnes vivant en Europe ou aux États-Unis. Cependant, les six applications présentées ci-dessous sont devenues une exception et, je l'espère, seront utiles à quelqu'un.
Modus miracle
Miracle Modus est une application créée par un développeur autiste. À en juger par ses paroles et ses critiques dans Play Market, l'application fonctionne réellement. Le principe de fonctionnement est simple et complexe à la fois: Miracle Modus dessine diverses lignes et motifs et produit des sons relaxants qui ont un effet apaisant sur les personnes autistes.
Journal du diabète
Une application qui aide les personnes atteintes de diabète du premier et du deuxième degré. Ici, vous pouvez entrer toutes les informations sur la nourriture que vous avez mangée pendant la journée. Le rapport complet peut ensuite être exporté vers Excel pour être présenté à votre professionnel de la santé.
Copain migraine
Permet aux personnes souffrant de migraines d'analyser leur mode de vie et de comprendre quels facteurs mènent aux maux de tête. L'application suit également votre sommeil afin que vous puissiez voir la corrélation entre les migraines et la qualité du sommeil.
Bosses
Bumps aide les aveugles à apprendre le braille. L'application prend uniquement en charge langue Anglaise, par conséquent, convient uniquement à ceux qui veulent apprendre à lire non seulement en russe. En plus d'apprendre l'alphabet, Bumps vous permet de saisir différents mots et de les regarder écrire en braille.
Il existe une application similaire pour Android - Guide Braile.
Répandre les signes
Spread Signs dispose d'une énorme bibliothèque de gestes pour aider les personnes sourdes et muettes à communiquer. La base d'application comprend plus d'une douzaine de langues, dont le russe, l'ukrainien et l'anglais. Vous pouvez apprendre les deux gestes pour des lettres individuelles et des mots entiers.
