Алгоритъмът за проследяване на ръце в реално време на Google използва смартфон за подобряване на разпознаването на езика на жестовете

Проследяване на ръце в реално време

Жестовият език се използва от милиони хора по целия свят. Изследователите работят по изграждането на технологии, които могат да разбират жестовете и автоматично да ги преобразуват в разбираем за човека език. Такива проекти обаче не са постигнали огромен успех по отношение на точността.

Google наскоро разработи алгоритъм, който може да се използва за проследяване на ръце в реално време. Интелигентната система използва машинно обучение, за да създаде карта на ръката. Картата се създава с помощта на камера или смартфон. Не можем да отречем факта, че повечето системи не успяват точно да уловят бързите движения на ръката. Google специално се е заел с този проблем в това изследване. Интересното е, че те са ограничили количеството данни, които преди това са били обработвани от алгоритмите.

Как работи проследяването на ръце в реално време?

Повечето от съществуващите проекти превеждат езика на жестовете, като откриват размера и позицията на цялата ръка. С това изследване. изследователите са елиминирали необходимостта от боравене с правоъгълни форми с различни размери. Системата на Google просто разпознава дланта с квадратна форма. На второ място, се прави отделен процес на анализ на пръстите.

Жестове с ръце

Изследователите са използвали около 30 000 ръчни изображения, за да обучат алгоритъма за машинно обучение. Тези изображения са заснети при различни условия на осветление и поза. След това системата открива жеста, като прави сравнение между позата на ръката и списък с известни обекти като топка или щастие. Google описва разпознаването на жестове в блог пост .

След това картографираме набора от състояния на пръстите към набор от предварително дефинирани жестове. Тази ясна, но ефективна техника ни позволява да оценим основните статични жестове с разумно качество. Съществуващият конвейер поддържа преброяване на жестове от множество култури, напр. Американски, европейски и китайски, както и различни ръчни знаци, включително „Палец нагоре“, затворен юмрук, „ОК“, „Рок“ и „Спайдърмен“.

Windows 10 остана в режим таблет

Окончателният алгоритъм за проследяване на ръцете дава най-съвременните резултати по отношение на своята скорост и точност. Алгоритъмът използва рамката MediaPipe за изпълнение. Тази техника изглежда като голям напредък в областта на езика на жестовете. Въпреки че все още има много място за подобрение. за да се създаде по-добро разбиране на езика на жестовете. Всеки може да удължи тази работа, за да използва изражения на лицето и двете ръце, за да постигне по-добри резултати.

Въпреки че няма вест от Google, има възможност Google да подобри тази технология за проследяване на ръце в реално време, за да я използва в своите продукти. Междувременно, ако искате да си поиграете с кода, той е публично достъпен в GitHub .