Systemy wizyjne wspierają użytkowników urządzeń z Androidem.

Przygotowana przez koncern Google aplikacja Lookout wykorzystuje komputerowe systemy wizyjne, żeby pomóc osobom niedowidzącym.

Jak to działa

Kiedy użytkownik smartfona z systemem Android i zainstalowaną aplikacją Lookout skieruje telefon na towar umieszczony na sklepowej półce, program identyfikuje go, wypowiada nazwę marki i podaje rozmiar produktu. Aby to osiągnąć, koncern Google opracował system wykrywania i rozpoznawania towarów w supermarkecie poprzez indeks produktów umieszczony w urządzeniu. Wykorzystano do tego platformę MediaPipe i model optycznego rozpoznawania znaków.  Architektura umożliwia działanie aplikacji w czasie rzeczywistym. Co ważne, proces odbywa się w urządzeniu, nie wymaga więc połączenia z siecią.

Rozpoznany problem

Dla osób niedowidzących wybór konkretnego produktu spośród masy podobnych towarów na półce sklepowej jest prawdziwym wyzwaniem. Wiele produktów ma takie samo opakowanie, czyli pudełko, puszkę, butelkę czy słoik, a różnią się tyko tekstem i ilustracją na etykiecie. Dlatego Google postanowił sięgnąć po nowoczesną technologię i do pomocy zaprzęgnąć smartfony.

Uczenie maszynowe

Przy pisaniu aplikacji Lookout zastosowano uczenie maszynowe. Coraz dokładniejsze sieci neuronowe w połączeniu ze zwiększoną mocą obliczeniową smartfonów umożliwiają dziś wykonywanie wielu zadań na urządzeniu mobilnym w czasie rzeczywistym.

Jak podkreśla Google, zaletą systemu osadzonego w urządzeniu jest jego niezależność od łączności sieciowej. Ma on też niewielkie opóźnienia. Jego użyteczność jednak wymaga odpowiednio rozbudowanej bazy danych na urządzeniu, odpowiedniej do oferowanych produktów. Wymagania te uwzględniono przy projektowaniu aplikacji Lookout. Jej zbiory danych zawierają 2 mln popularnych produktów, dobieranych w zależności od położenia geograficznego użytkownika.

Więcej szczegółów na temat działania aplikacji Lookout oraz różnic w stosunku do wcześniej tworzonych programów tego typu przedstawiono na blogu Google'a.

fot. Squirrel_photos – Pixabay