Исследователи Санкт-Петербургского Федерального исследовательского центра РАН (СПб ФИЦ РАН) и СПбГУ обучили нейросеть автоматически выявлять функциональные состояния (бодрость/утомление) по стратегии движений глаз человека. Созданное решение найдет применение в системах контроля действий операторов транспорта, тяжелой техники, а также объектов промышленной и критической инфраструктуры. Исследование опубликовано в журнале Sensors.
.Сегодня большое количество объектов транспортной, промышленной и оборонной инфраструктуры контролируется и функционирует при помощи операторов, водителей или единых информационных центров с целой командой специалистов. Поэтому для обеспечения безопасности на объектах требуется отслеживать их психофизиологическое состояние.
“Для решения этой задачи мы обучили нейросеть по движению глаз человека определять состояние оператора транспорта и любой другой техники – бодр он или утомлен. Данные для обучения нейростети были собраны при помощи айтрекера – устройства, которое определяет направление взгляда человека. В перспективе наше решение может быть интегрировано в системы, которые контролируют действия операторов различной техники и критической инфраструктуры”, – рассказывает старший научный сотрудник Лаборатории интегрированных систем автоматизации СПб ФИЦ РАН Алексей Кашевник.
Нейросети обучались по показателям стратегий глазных движений, характерных для состояний отсутствия и наличия утомления. Выбор показателей был основан на результатах собственных исследований научной команды восприятия и анализа информации при различных функциональных состояниях.
В рамках работы над проектом исследовательская группа создала обширную базу данных, включающую стратегии глазных движений операторов компьютера, которые выполняли различные задачи (читали, писали, работали за компьютером) в течение рабочего дня. Положения глаз фиксировались при помощи закрепленного на голове айтрекера.
“Важно отметить, что для обучения нейронной сети использованы наборы данных, полученных при выполнении широкого круга задач: чтение, зрительный поиск, обнаружение, слежение за объектом”, – отмечает профессор Санкт-Петербургского государственного университета Ирина Шошина.
Разработанная библиотека с открытым исходным кодом системы доступна для всех пользователей и разработчиков программного обеспечения по ссылке. Исследование поддержано грантом Фонда содействия инновациям.
Текст: пресс-служба СПб ФИЦ РАН
Kashevnik, A.; Kovalenko, S.; Mamonov, A.; Hamoud, B.; Bulygin, A.; Kuznetsov, V.; Shoshina, I.; Brak, I.; Kiselev, G. Intelligent Human Operator Mental Fatigue Assessment Method Based on Gaze Movement Monitoring. Sensors 2024, 24, 6805. https://doi.org/10.3390/s24216805
Свежие комментарии