Mastering OpenCV with Practical Computer Vision Projects / Опановуюємо OpenCV через практичні проекти комп'ютерного зору: Розділ 7. Оцінка 3D пози голови за допомогою AAM та POSIT

Коли потрібні дані будуть збережені у змінних, активуємо головний цикл while. У ньому спершу запитаємо наступний захоплений кадр, викличемо процедуру вміщення моделі активного вигляду, щоб знайти орієнтири на наступному зображенні. Оскільки поточна позиція дуже важлива на цьому етапі, передамо її в якості параметра функції performAAMSearch(pose, aam). Знайшовши поточну позу шляхом мінімізації похибки зображень, отримаємо позиції орієнтирів, які можна передати на етап POSIT. Це відбувається у наступній стрічці, applyPOSIT (new2DPose, headModel, mapping). Нова двовимірна поза передається в якості параметра, як і попередньо завантажена модель голови та відображення. Після цього етапу ми зможемо візуалізувати будь-яку тривимірну модель в отриманій позі як зображення на системі координат чи модель у доповненій реальності. Вирахувавши орієнтири, можна досягнути більш цікавих ефектів за допомогою регулювання параметрів моделі, наприклад відкривання рота чи зміни позиції брови.

Atronax 22.03.21 в 13:55

Оскільки ця процедура покладається на попередню позу для наступної оцінки, можна було б накопичувати похибки та зміщення від позиції голови. Іншим способом є повторне налаштування процедуру для кожного запуску з перевіркою порогу похибки зображення. Варто звернути увагу й на використані фільтри у ході відслідковування, бо можуть з'являтися певні артефакти. Простий фільтр середнього значення для координат перенесення та повороту дасть пристойні результати.

Atronax 22.03.21 в 13:55

Висновки

Atronax 22.03.21 в 13:55

У цьому розділі ми обговорювали, як можна скомбінувати моделі активного вигляду з алгоритмом POSIT, щоб отримати тривимірну позу голови. Ми розглянули спосіб створення, тренування та маніпуляції моделлю активного вигляду, який можна застосувати у будь-якій іншій сфері, наприклад медицині, обробці зображень чи індустрії. Крім знайомства з AAM, ми дізналися про сітку Делоне та триангульований меш. Ми також показали, як виконати відображення текстури на трикутники за допомогою функцій OpenCV. Ще однією цікавою темою виявилось вміщення моделі активного вигляду. Хоча був описаний лише зворотній композитний алгоритм проєктування, ми змогли легко скористатися результатом років досліджень цієї проблеми.

Atronax 22.03.21 в 13:55

Ознайомившись з теорією та практикою AAM, ми поринули в деталі POSIT, щоб поєднати 2D та 3D виміри, за допомогою порівнянь вмістивши 3D форму між точками моделі. Ми завершили розділ, показавши, як застосувати всі інструменти для відслідковування обличчя в реальному часі шляхом розпізнавання, що формує 6 градусів свободи для пози голови - 3 для повороту і 3 для перенесення. Повний код розділу можна завантажити з ресурсу http://www.packtpub.com/.

Atronax 22.03.21 в 13:55

Посилання

Atronax 22.03.21 в 13:55

Active Appearance Models, T.F. Cootes, G. J. Edwards, and C. J. Taylor, ECCV, 2:484–498,
1998 (http://www.cs.cmu.edu/~efros/courses/AP06/Papers/cootes-eccv-98.pdf)
Active Shape Models – Their Training and Application, T.F. Cootes, C.J. Taylor, D.H. Cooper,
and J. Graham, Computer Vision and Image Understanding, (61): 38–59, 1995
(http://www.wiau.man.ac.uk/~bim/Papers/cviu95.pdf)
The MUCT Landmarked Face Database, S. Milborrow, J. Morkel, and F. Nicolls, Pattern
Recognition Association of South Africa, 2010 (http://www.milbo.org/muct/)
The IMM Face Database – An Annotated Dataset of 240 Face Images, Michael M. Nordstrom,
Mads Larsen, Janusz Sierakowski, and Mikkel B. Stegmann, Informatics and Mathematical
Modeling, Technical University of Denmark, 2004,
(http://www2.imm.dtu.dk/~aam/datasets/datasets.html)

Atronax 22.03.21 в 13:55

Sur la sphère vide, B. Delaunay, Izvestia Akademii Nauk SSSR, Otdelenie Matematicheskikh
i Estestvennykh Nauk, 7:793–800, 1934
Active Appearance Models for Facial Expression Recognition and Monocular Head Pose
Estimation Master Thesis, P. Martins, 2008
Active Appearance Models Revisited, International Journal of Computer Vision, Vol. 60, No.
2, pp. 135 - 164, I. Mathews and S. Baker, November, 2004
(http://www.ri.cmu.edu/pub_files/pub4/matthews_iain_2004_2/matthews_iain_2004_2.pdf)
POSIT Tutorial, Javier Barandiaran (http://opencv.willowgarage.com/wiki/Posit)
Model-Based Object Pose in 25 Lines of Code, International Journal of Computer Vision, 15,
pp. 123-141, Dementhon and L.S Davis, 1995
(http://www.cfar.umd.edu/~daniel/daniel_papersfordownload/Pose25Lines.pdf)

Atronax 22.03.21 в 13:55