Mastering OpenCV with Practical Computer Vision Projects / Опановуюємо OpenCV через практичні проекти комп'ютерного зору: Розділ 7. Оцінка 3D пози голови за допомогою AAM та POSIT

Оглавление

Сбросить всё

←

→

Английский оригинал	Перевод на украинский
Сожалеем, но текст оригинала доступен только зарегистрированным пользователям.	Відтепер маємо можливість ітерувати по трикутникам сітки, тому можна знайти перетворення між трикутником з анотованого та викривленого зображень. Це корисно для відображення текстури оригінальної форми на змінену. Наступний фрагмент коду присвячений цьому процесу: Atronax 22.03.21 в 13:30 0
	void warpTextureFromTriangle(Point2f srcTri[3], Mat originalImage, Point2f dstTri[3], Mat warp_final){ Mat warp_mat(2, 3, CV_32FC1); Mat warp_dst, warp_mask; CvPoint trianglePoints[3]; trianglePoints[0] = dstTri[0]; trianglePoints[1] = dstTri[1]; trianglePoints[2] = dstTri[2]; warp_dst = Mat::zeros(originalImage.rows, originalImage.cols, originalImage.type()); warp_mask = Mat::zeros(originalImage.rows, originalImage.cols, originalImage.type()); /// отримуємо афінні перетворення warp_mat = getAffineTransform(srcTri, dstTri); /// застосовуємо афінні перетворення до вихідного зображення warpAffine(originalImage, warp_dst, warp_mat, warp_dst.size()); cvFillConvexPoly(new IplImage(warp_mask), trianglePoints, 3, CV_RGB(255,255,255), CV_AA, 0); warp_dst.copyTo(warp_final, warp_mask); } Atronax 22.03.21 в 13:30 0
	У попередньому коді ми припускаємо, що вершини трикутника запаковані в масиві srcTri, а результат - у dstTri. Матриця warp_mat розмірності 2x3 використовується для отримання афінних перетворень з вихідних трикутників в отримані. Більше інформації задокументовано в описі функції cvGetAffineTransform бібліотеки OpenCV: Atronax 22.03.21 в 13:30 0
	Функція cvGetAffineTransform обраховує матрицю афінних перетворень таким чином: У цьому рівнянні destination(i) дорівнює (xi',yi'), source(i) рівний (xi, yi), а саме значення i - 0,1,2. Atronax 22.03.21 в 13:30 0
	Обчисливши матрицю афінних перетворень, застосуємо їх до оригінального зображення. Це можна зробити за допомогою функції warpAffine. Оскільки ми не потребуємо змін усього кадру (лише нашого трикутника), можна скористатися маскою. Таким чином, остання стрічка копіює лише трикутники з оригінального зображення, що відповідають масці, створеній за допомогою функції cvFillConvexPoly. Atronax 22.03.21 в 13:31 0
	Наступний малюнок ілюструє результат застосування процедури до кожного трикутника анотованого зображення. Врахуйте, трикутники повторно відображені на вирівнений кадр, розвернутий до спостерігача. Ця процедура використовується для створення статистичної текстури AAM. Atronax 22.03.21 в 13:31 0
	Попередній малюнок показує результат викривлення усіх відображених трикутників з лівого зображення на усереднений кадр примірника. Atronax 22.03.21 в 13:31 0
	Інстанціювання моделі - граємо з моделями активного вигляду Atronax 22.03.21 в 13:31 0
	Цікава особливість AAM - це їхня можливість легко інтерполювати натреновану модель. Якщо відрегулювати декілька параметрів, можна пристосуватися до її потужних можливостей представлення об'єктів. Регулювання значень форми дає змогу отримати інші результати викривлення залежно від натренованих даних. З іншого боку, зі зміною параметрів вигляду змінюється й текстура базової форми. Викривлення перетворять кожен трикутник початкової форми у відповідний трикутник модифікованої, аби ми мали змогу синтезувати закритий рот над відкритим, як показано на наступному зображенні: Atronax 22.03.21 в 13:31 0
	Попередній скріншот зображає синтезований закритий рот, отриманий за допомогою моделі активного вигляду, розміщений на поверхні іншого зображення. Таким чином можемо скомбінувати посмішку із задоволеним виразом обличчя, екстраполюючи натреновані зображення. Atronax 22.03.21 в 13:31 0
	Знімок отримано шляхом регулювання трьох параметрів форми та трьох текстури. Саме це і є метою моделей активного вигляду. Приклад програми розроблений та доступний на ресурсі http://www.packtpub.com/ , читач може власноруч випробувати AAM. Створити нову модель дуже просто, достатньо лише змінити деякі параметри рівняння, визначені у цій частині. Atronax 22.03.21 в 13:31 0
	Знайомство з алгоритмом PCA Atronax 22.03.21 в 13:31 0
	Ви мали помітити, що дія AAM та вміщення точок покладаються на гнучкість пошуку найкращих співпадінь для заданого кадру моделі в позиція, відмінних він натренованої. Розглянемо це питання у наступній частині. Atronax 22.03.21 в 13:31 0
	Пошук AAM та вміщення точок Atronax 22.03.21 в 13:32 0
	Нова комбінована форми та модель текстури дозволяє описати зміну не тільки форми, а й вигляду обличчя. Тепер ми бажаємо знайти такі набір форм p та параметри вигляду λ, які розмістять модель якомога ближче до вхідного зображення I(x). Можемо обчислити похибку між інстанційованою моделлю та координатами заданого зображення на кадрі I(x) чи повторно відобразити точки на початковий вигляд та вирахувати відповідну різницю. Застосуємо другий підхід. У цьому разі потрібно мінімізувати таку функцію: Тут S0 позначає набір пікселів x, рівних (x,y)T, що лежать всередині початкової форми AAM, A 0 (x) - текстура, A i (x) - отримані за допомогою PCA кадру вигляду, а W(x;p) - перетворення, що переводить пікселі вхідного зображення на кадр з базовою формою. Atronax 22.03.21 в 13:33 0
	За роки вивчення проблеми для процедури мінімізації запропоновано декілька підходів. Першим з них є адитивний, за якого ∆p та ∆λ вирахувані як лінійні функції похибок зображення, а параметр форми p та вигляд λ оновлені як p i ← p i + ∆p i та λ i ← λ i + ∆λ i в i-тій ітерації. Хоча іноді можуть траплятися співпадіння, дельта не завжди залежить від поточних параметрів, а це, у свою чергу, може призводити до розбіжності. Atronax 22.03.21 в 13:37 0
	Ще один підхід, заснований на алгоритмах градієнтного спуску, виявився занадто повільним, тому ми розглянули інший підхід пошуку збіжності. У такому разі оновлюємо не параметри, а цілі матриці викривлення. Цей спосіб, що називають підходом композиції, запропонований Аєном Метьюсом та Симоном Бейкером у відомій праці "Active Appearance Models Revisited". Деталі можна знайти на її сторінках, але найважливішим вкладом, який вона дала для вміщення, - перенесення найбільш складних обчислень на крок попередньої обробки, як показано на такому малюнку: Atronax 22.03.21 в 13:38 0
	Оновлення відбувається у вигляді композиції кроків, як показано на етапі 9 попереднього малюнку. Рівняння (40) та (41) праці зображені далі: Atronax 22.03.21 в 13:38 0
	Хоча вказаний алгоритм у загальних випадках зводиться досить якісно з позиції, близької до кінцевої, це може виявитися не так для значної різниці повороту, перенесення чи масштабування. Більше даних про збіжність можна надати за рахунок параметризації глобальних двовимірних перетворень подібності. Це рівняння 42, яке має такий вигляд: Atronax 22.03.21 в 13:38 0
	У цьому рівнянні чотири параметри q = (a, b, t x, t y)T мають такі інтерпретації. Перша пара значень (a,b) пов'язана з масштабом k та поворотом θ: a дорівнює k cos θ - 1, а b = k sin θ. Друга пара (t x, t y) - це перенесення координат x та y, як запропоновано в праці "Active Appearance Models Revisited". Atronax 22.03.21 в 13:43 0
	Використавши ще декілька математичних перетворень, можна застосувати описаний алгоритм для пошуку найкращого вміщеного зображення за допомогою глобальних 2D перетворень. Atronax 22.03.21 в 13:43 0
	Композитні алгоритми викривлення мають декілька переваг, що підвищують їх продуктивність. У нашому випадку скористаємось тим, що описаний у праці "AAM Revisited",- алгоритмом зворотнього композитного проєктування. У цьому разі зміну вигляду в ході вміщення можна заздалегідь обрахувати чи спроєктувати, тим самим підвищивши продуктивність процедури AAM. Atronax 22.03.21 в 13:43 0
	Наступний скріншот показує співпадіння між різними зображеннями набору даних MUCT за допомогою алгоритму зворотнього композиційного проєктування та вміщення AAM. Atronax 22.03.21 в 13:43 0
	Далі показано успішні співпадіння - серед облич за межами тренувального набору AAM - за допомогою алгоритму вміщення шляхом композиційного проєктування назовні. Atronax 22.03.21 в 13:46 0
	POSIT Оцінивши двовимірні позиції орієнтирів, можемо отримати 3D позу моделі за допомогою POSIT. Поза P 3D об'єкта визначається у вигляді матриці повороту R розмірності 3х3 та вектора перенесення T, тому P дорівнює [ R \| T ]. Atronax 22.03.21 в 13:43 0
	Примітка Atronax 22.03.21 в 13:48 0
	Більшість матеріалу цієї частини базується на навчальних матеріалах POSIT від Джейвіера Берендіерена. З назви зрозуміло, що POSIT застосовує декілька ітерацій (IT) алгоритму оцінки пози з ортографічної проєкції та масштабу (POS). Гіпотеза, яка лежить в основі її роботи, вказує на можливість розпізнавання та порівняння на співпадіння чотирьох чи більше не-плоских особливих точок об'єкта на зображенні та їх відносне розміщення. Atronax 22.03.21 в 13:48 0
	Головна ідея алгоритму полягає в тому, що ми можемо знайти непогане наближення до пози об'єкта, припустивши, що всі точки моделі лежать у тій же площині, оскільки їх значення глибини не надто змінюється між ними, якщо порівнювати з відстанню від камери до обличчя. Після обчислення початкової пози, матрицю повороту та вектор перенесення знайдемо з лінійної системи рівнянь. Потім застосуємо ітеративну процедуру апроксимації пози, щоб знайти більш точні масштабовані ортографічні проєкції ключових точок, які використаємо в ролі вхідних даних для алгоритму POSIT. Щоб отримати більше інформації, зверніться до праці ДеМентона "Model-Based Object Pose in 25 Lines of Code". Atronax 22.03.21 в 13:48 0
	Занурюємось в POSIT Atronax 22.03.21 в 13:48 0
	Для того, щоб змусити POSIT працювати як слід, потрібні щонайменше чотири точки тривимірної моделі, що не лежать на одній площині, та відповідні їм точки на зображенні. До цього додаємо критерій завершення (оскільки POSIT - це ітеративний алгоритм), тобто кількість ітерацій чи параметр відстані. Потім викликаємо функцію cvPOSIT, що формує матрицю повороту та вектор перенесення. Atronax 22.03.21 в 13:48 0
	Для прикладу слідуватимемо навчальним матеріалам Джейвіера Берендіерена, який використовує POSIT для формування пози куба. Модель створена на основі чотирьох точок. Ми ініціалізуємо її таким кодом: float cubeSize = 10.0; std::vector<CvPoint3D32f> modelPoints; modelPoints.push_back(cvPoint3D32f(0.0f, 0.0f, 0.0f)); modelPoints.push_back(cvPoint3D32f(0.0f, 0.0f, cubeSize)); modelPoints.push_back(cvPoint3D32f(cubeSize, 0.0f, 0.0f)); modelPoints.push_back(cvPoint3D32f(0.0f, cubeSize, 0.0f)); CvPOSITObject *positObject = cvCreatePOSITObject( &modelPoints[0], static_cast<int>(modelPoints.size()) ); Atronax 22.03.21 в 13:48 0
	Власне модель створена за допомогою методу cvCreatePOSITObject, який повертає об'єкт CvPOSITObject, який потім використаємо у функції cvPOSIT. Будьте обережні, позу обрахуємо відносно першої точки моделі, тому її варто розмістити у початку координат. Далі маємо зберегти точки двовимірного зображення в іншому векторі. Пам'ятайте, вони мають знаходитися у масиві тієї ж розмірності, що й точки моделі; таким чином, i-та точка 2D зображення збігається з i-тою точкою 3D моделі. Нюанс полягає в тому, що початок системи координат, у якій розміщено точки двовимірного зображення, лежить у центрі, а тому його потрібно перенести. Може додати такі точки (звісно, вони змінюватимуться залежно від вибору користувача): Atronax 22.03.21 в 13:48 0
	std::vector<CvPoint2D32f> srcImagePoints; srcImagePoints.push_back( cvPoint2D32f( -48, -224 ) ); srcImagePoints.push_back( cvPoint2D32f( -287, -174 ) ); srcImagePoints.push_back( cvPoint2D32f( 132, -153 ) ); srcImagePoints.push_back( cvPoint2D32f( -52, 149 ) ); Atronax 22.03.21 в 13:48 0
	Тепер досить лише виділити пам'ять для матриць та сформувати критерій завершення, викликати функцію cvPOSIT, як показано в наступному фрагменті коду: // оцінюємо позу CvMatr32f rotation_matrix = new float[9]; CvVect32f translation_vector = new float[3]; CvTermCriteria criteria = cvTermCriteria(CV_TERMCRIT_EPS \| CV_TERMCRIT_ITER, 100, 1.0e-4f); cvPOSIT( positObject, &srcImagePoints[0], FOCAL_LENGTH, criteria, rotation_matrix, translation_vector ); Atronax 22.03.21 в 13:50 0
	Після завершення ітеративного процесу cvPOSIT збереже результати у змінних rotation_matrix та translation_vector. Наступний малюнок зображає додані точки у вигляді білих кіл, а також система координат з результатами повороту та перенесення: Atronax 22.03.21 в 13:51 0
	Посилаючись на попередній скріншот, оглянемо вхідні точки та результати алгоритму POSIT: Atronax 22.03.21 в 13:51 0
	Білі кола вказують на вхідні точки, а осі координат - отриману позу моделі. Впевніться, що ви використовуєте фокусну відстань, обраховану на етапі калібрування камери. Детальна інформація щодо процедури калібрування доступна в розділі 2 "Заснована на маркерах доповнена реальність на iPhone та iPad". Поточна реалізація POSIT дозволить працювати лише з квадратними пікселями, у такому випадку про фокусну довжину на осях x та y не може бути й мови. Atronax 22.03.21 в 13:51 0
	Матриця повороту очікується у такому форматі: [rot[0] rot[1] rot[2]] [rot[3] rot[4] rot[5]] [rot[6] rot[7] rot[8]] Atronax 22.03.21 в 13:51 0
	Вектор перенесення повинен мати такий вигляд: [trans[0]] [trans[1]] [trans[2]] Atronax 22.03.21 в 13:51 0
	POSIT та модель голови Atronax 22.03.21 в 13:51 0
	Для використання POSIT як інструменту для пози голови знадобиться 3D модель. Можливий варіант пропонує Інститут Систем та Робототехніки Університету Коймбра за адресою http://aifi.isr.uc.pt/Downloads/OpenGL/glAnthropometric3DModel.cpp . Власне опис моделі у файлі починається стрічкою: Atronax 22.03.21 в 13:52 0
	float Model3D[58][3]= {{-7.308957,0.913869,0.000000}, ... Atronax 22.03.21 в 13:52 0
	Модель можна побачити далі: Atronax 22.03.21 в 13:52 0
	Попередній скріншот зображає підготовлену для POSIT тривимірну модель голови з 58 точок. Щоб алгоритм POSIT спрацював, маємо знайти співпадіння точок з проєкціями. Пам'ятайте, для POSIT потрібні як мінімум чотири тривимірні точки, що не лежать на одній площині, та відповідні їм двовимірні проєкції, їх маємо передати у вигляді параметрів, як вказано у частині "Занурюємось в POSIT". Алгоритм лінійний, якщо враховувати кількість співпадінь точок. Atronax 22.03.21 в 13:52 0
	Далі зображено, як саме має бути здійснена перевірка на співпадіння. Тут показані коректні точки тривимірної моделі голови та меш моделі активного вигляду. Atronax 22.03.21 в 13:52 0
	Відслідковування з використанням вебкамери чи відеофайлу Atronax 22.03.21 в 13:52 0
	Маючи інструменти з шістьма ступенями свободи для відслідковування обличчя, застосуємо їх до потоку відеокадрів чи файлу. Бібліотека OpenCV надає клас VideoCapture, яким можна скористатися таким чином (деталі знаходяться в частині "Отримуємо доступ до вебкамери" у розділі 1 "Ефект мультиплікації та зміна кольору шкіри для Android"): Atronax 22.03.21 в 13:52 0
	#include "cv.h" #include "highgui.h" using namespace cv; int main(int, char**) { VideoCapture cap(0);// отримаємо доступ до камери, можна вказати // замість цього шлях до відеофайлу if(!cap.isOpened()) // перевіряємо успішність результату return -1; AAM aam = loadPreviouslyTrainedAAM(); HeadModel headModel = load3DHeadModel(); Mapping mapping = mapAAMLandmarksToHeadModel(); Pose2D pose = detectFacePosition(); while(1) { Mat frame; cap >> frame; // отримуємо новий кадр з камери Pose2D new2DPose = performAAMSearch(pose, aam); Pose3D new3DPose = applyPOSIT(new2DPose, headModel, mapping); if(waitKey(30) >= 0) break; } // камера автоматично втратить налаштування в деструкторі // VideoCapture return 0; } Atronax 22.03.21 в 13:53 0
	Алгоритм працює таким чином. Об'єкт для захоплення відеопотоку налаштовується за допомогою оголошення VideoCapture cap(0), у такому разі використовується вебкамера за замовчуванням. Для роботи алгоритму, крім захоплення відеокадрів, потрібна натренована модель активного вигляду, яку завантажимо викликом функції loadPreviouslyTrainedAAM. Також зчитаємо модель тривимірної голови у змінну headModel та відображення орієнтирів на тривимірні точки - у mapping. Atronax 22.03.21 в 13:54 0
	Завантаживши все, що потрібно для процедури, налаштуємо алгоритм на основі відомої пози, тобто відомої тривимірної позиції, повороту та набору параметрів AAM. Це можна зробити автоматично за допомогою добре задокументованого детектора обличчя на основі класифікатора особливих точок Хаара (більше деталей знаходиться в частині "Розпізнавання обличчя" у розділі 6 "Нецілісне відслідковування обличчя" або в документації каскадного класифікатора бібліотеки OpenCV), або можна вручну налаштувати позу з раніше анотованого кадру. Можна також скористатися підходом повного перебору, який виконає вміщення AAM для кожного прямокутника, оскільки він повільний лише для першого кадру. Під налаштуванням ми маємо на увазі пошук двовимірних орієнтирів на моделі активного вигляду шляхом регулювання їхніх параметрів. Atronax 22.03.21 в 13:54 0

← Предыдущая страница

Следующая страница →