Японские разработчики научили смартфоны подстраивать интерфейс под расположение пальца, даже если он не касается экрана. Оказалось, что разрешения камер в современных смартфонах достаточно, чтобы распознать палец, экран и их взаимное расположение по отражению в глазах. Статья была представлена на конференции CHI 2022.
Почти все современные смартфоны имеют такой большой экран, что дотянуться до всех его краев пальцем сложно. В мобильных операционных системах и некоторых приложениях есть режим управления одной рукой, который перемещает основные элементы интерфейса ближе к большому пальцу, чтобы до них было проще дотянуться. Но если поворот экрана смартфоны умеют определять самостоятельно, подстраивая интерфейс под горизонтальную или вертикальную ориентацию, то режим использования одной рукой приходится включать самостоятельно, потому что определять расположение рук достаточно сложно.
В 2016 году исследователи из Microsoft показали, что расположение кисти и пальца над экраном можно определить без прикосновения к нему по изменению параметров сенсорного экрана в разных его областях. Группа инженеров под руководством Юты Сигиура (Yuta Sugiura) из Университета Кэйо предложила необычный способ определения расположения пальцев над экраном и показала на практике, как это можно использовать, чтобы сделать интерфейс удобнее для человека.
Идея инженеров заключается в том, что когда пользователь держит смартфон, как правило, его палец висит над экраном и заслоняет свет от него. И поскольку в практически каждом смартфоне есть фронтальная камера, эту картину в виде яркого экрана и тени от пальца можно увидеть в отражении от глаза. Потенциально для этого можно использовать почти любой смартфон без каких-либо аппаратных модификаций.
Разработанный авторами алгоритм делает снимок на фронтальную камеру, затем вырезает область с глазом, а после этого еще раз вырезает уже область зрачка, в которой находится отражение. После этого изображение подается на сверточную нейросеть, которая распознает в ней один из шести вариантов расположения пальцев:
Поделиться
В качестве практического применения разработчики показали три примера. В одном смартфон подстраивает кнопки в приложении под расположение пальцев. В другом от этого зависит то, как располагается клавиатура — по центру или ближе к одному из краев. А в третьем примере смартфон предупреждает человека, что он слишком долго держит смартфон в одной руке.
Поделиться
Григорий Копиев
Свежие комментарии