Zestaw HoloLens zmodyfikowany dla osób niewidomych
Całość systemu opracowanego przez badaczy Microsoftu, m.in. Martina Graysona i Tima Regana, bazuje na wykorzystaniu zmodyfikowanego zestawu HoloLens. Zestaw rzeczywistości mieszanej wyświetla hologramy, którymi użytkownik może manipulować. Kilka zmodyfikowanych soczewek Microsoft HoloLens, z których korzystają badacze projektu, jest nieustannie doskonalonych, aby osoby niewidome i niedowidzące mogły dowiedzieć się, gdzie kto jest w ich otoczeniu.
Urządzenie ma kilka kamer w skali szarości, które zapewniają niemal 180-stopniowy widok otoczenia oraz kolorową kamerę o wysokiej rozdzielczości do precyzyjnego rozpoznawania twarzy. Głośniki nad uszami użytkownika pozwalają na przestrzenny efekt dźwiękowy: w słuchawkach pojawiają się zestawy dźwięków, które wydają się dochodzić z określonych miejsc wokół użytkownika.
Osoba niewidoma, która założy zestaw, dostaje sygnały dźwiękowe informujące ją, kto i w jakiej odległości się znajduje. Eksperci od uczenia maszynowego w zespole Project Tokyo opracowali algorytmy widzenia komputerowego, które zapewniają różne poziomy informacji o tym, kto i gdzie przebywa w środowisku użytkownika.Testy prowadzono z 12-letnim niewidomym Theo. Chłopiec po założeniu zestawu „rozglądał" się za jego pośrednictwem po pokoju. Kiedy czujniki trafiały na jakąś osobę, sygnalizowały to chłopcu, podając imię „celu". – To takie ekscytujące móc dowiedzieć się, gdzie w moim otoczeniu znajdują się ludzie – powiedział Theo. – Wiem, kto jest obok mnie niezależnie od tego, czy ta osoba decyduje się na rozmowę czy milczy.
Działanie systemu polega na tym, że jeśli urządzenie wykryje osobę oddaloną o metr od lewej strony użytkownika, program odtworzy kliknięcie, które brzmi, jakby dochodziło z odległości jednego metra od lewej. Jeśli system rozpozna twarz osoby, odtworzy konkretny dźwięk, a jeśli będzie wiedział, do kogo ona należy, program wypowie jej imię. Gdy użytkownik słyszy tylko kliknięcie, ale chce wiedzieć, kim jest osoba, druga warstwa dźwięku, która przypomina elastyczne rozciąganie, kieruje spojrzenie użytkownika w stronę twarzy osoby. Kiedy centralna kamera obiektywu łączy się z nosem takiego człowieka, użytkownik słyszy wysoki dźwięk kliknięcia i, jeśli system rozpozna tę osobę – jej imię i nazwisko.
To jednak nie koniec rozwijania projektu Tokyo. Badacze mają zamiar rozszerzyć możliwości systemu z maszynowym uczeniem i poprawić interakcje społeczne między osobami niewidomymi i widzącymi. Przedstawiciele zespołu badawczego Microsoft mówią, że chcą podejść do problemu w sposób bardziej matematyczny i dopasować każdy element zestawu tak, aby zaoferować osobom niewidomym jak największą wygodę i funkcjonalność.
fot. Microsoft
