Для чего нам нужна система управления взглядом/What it is for.

Женя Филиппов

7 ноября 2010 г. 18-летний спортсмен-дельтапланерист Евгений Филиппов разбился на тренировке в Дракино. Женя проходил лечение в у нас в Москве,  Израиле и Германии, тем не менее, до сих пор его состояние сложное, руки, ноги двигаются очень ограниченно, всё общение возможно посредством взгляда. Вот для этого мы пытаемся сделать адекватную, удобную для этого конкретного случая компьютерную систему управления взглядом.

7 November 2010 18 -year-old athlete Yevgeny Filippov paraglider crashed in training on Drakino . He was treated to here in Moscow , Israel and Germany , however, so far it is difficult to state. His arms and legs are moving very limited , all communication is possible through the sight. That's what it for we're trying to make the gaze tracking management system suitable for the occasion.

Сообщество ВК,  github

Подготовка к первой попытке.

В воскресенье пойдем к Жене пробовать что получается. Задачи две.

Первая: добиться управления взглядом Жени положением мыши на экране. Для этого нужно выполнить калибровку. Будет ли он следить за калибровочными мишенями на экране - вот вопрос. Если да - то с калибровкой проблем вряд ли возникнет. Та конструкция, которую сделал Дима с креплением следящей камеры на голове, в сочетании с неподвижным положением головы Жени, думаю, дадут хороший результат.

Вторая задача имеет смысл только в случае выполнения первой. Она заключается в том, чтобы научить его работать с простейшим приложением, которое представляет собой несколько больших кнопок. Когда курсора находится над кнопкой некоторое время(задается в настройках) возникает событие нажатия кнопки, по которому происходят самые различные вещи: запуск внешнего приложения, срабатывание сигнала и т.д.

Прототип системы распознавания.

Полезные ссылки

Разные полезные ссылки

• Работа с C# 

MS Developer guide: Grid - класс

• Программы для работы под управлением взглядом

Gazespeaker
click2speak

Marker recognition: ArUco.

Для учета движения головы можно использовать элементы "дополнительной реальности". Одним из наиболее простых вариантов является ArUco

ArUco: a minimal library for Augmented Reality applications

site ArUco 

Заметки по C# ITU Gaze Tracker

I. Включение слайдера в интерфейсе и привязка его к переменной.

ITU Gaze Tracker

ITU Gaze Tracker 

последняя версия 2.0 После этого разработка остановлена т.к. автор (Martin Tall) создал свою коммерческую фирму The Eye Tribe.

Используется opencv версии 2.1, достаточно старая, но есть ли смысл переводить на новую?
Как прослойка между opencv и C# используется библиотека Emgu. Собственно, там где есть в исходниках фраза "using Emgu.CV;" там и выполняется реальная работа с изображением.


Удалось собрать проект под MS VisualStudio13.
 - забираешь исходник например отсюда (проще всего Download snapshot)
 - разархивируешь
  - запускаешь VS
  - открываешь решение (файл - GazeTracker.sln)
  - перестраиваешь решение, после чего можно запускать приложение: /Debug/GazeTrackerUI.exe

  при открытии проекта выдает ошибку, но на работу не влияет.

GTSetupMergeModule\GTSetupMergeModule.vdproj: The application which this project type is based on  was not found. Please try this link for further information:

Ogama

Сайт

OGAMA (OpenGazeAndMouseAnalyzer): An open source software designed to analyze eye and mouse movements in slideshow study designs

OpenSource, С#

На самом деле, это надстройка над трекером, позволяет анализировать движение взгляда по картинке, путем обработки множества слайдов.

Такое ощущение, что выполнен на  основе GazeTracker и вся работа по распознаванию взгляда базируется на этом же приложении. По крайней мере ITU GazeTracker входит в исходники.

Документайия в pdf