Facial Expression Recognition from Video Sequence Using Local Gabor Filters and PCA Plus LDA

Abstract

ปริญญานิพนธ์ฉบับนี้มีวัตถุประสงค์เพื่อพัฒนาระบบวิเคราะห์อารมณ์บนใบหน้าของแต่ละบุคคลภายในวิดีโอ อารมณ์ที่ถูกวิเคราะห์นั้นสามารถนําไปใช้ในด้านต่างๆเช่น 1) ด้านการตลาด สามารถนําไปวิเคราะห์การตอบสนองทาง อารมณ์ของผู้ใช้สินค้าและบริการ 2) ด้านสื่อและโฆษณา สามารถนําการวิเคราะห์ไปใช้หาฉากที่ผู้รับชมแสดงอารมณ์ที่ แตกต่างจากอารมณ์ที่คาดหวังไว้และ 3) ด้านปัญญาประดิษฐ์ สามารถนําการวิเคราะห์อารมณ์ไปใช้ในการตอบสนองกับ ผู้ใช้ให้เหมาะสมกับช่วงอารมณ์ที่เกิดขึ้นในขณะนั้น เป็นต้น โดยกระบวนการวิเคราะห์นั้นมีทั้งหมด 6 ขั้นตอนคือ 1) การ ตรวจจับใบหน้า 2) การปรับภาพใบหน้าให้เป็นมาตรฐาน 3) การใช้ตัวกรองกาบอร์ 4) การลดมิติข้อมูลด้วยวิธีการวิเคราะห์ องค์ประกอบหลัก (PCA) 5) การแจกแจงข้อมูลด้วยการวิเคราะห์จําแนกประเภทเชิงเส้น (LDA) และ 6) การวัดระยะห่าง ของข้อมูลด้วยระยะทางแบบยุคลิด (Euclidean Distance) โดยขั้นตอนจะแบ่งเป็น 2 ช่วงคือ 1) การสอนข้อมูล และ 2) การ ทดสอบข้อมูล ในขั้นตอนการสอนข้อมูลนั้นจะมี 5 ขั้นตอนคือ 1) เริ่มต้นจะใช้เซตข้อมูลรูปภาพของใบหน้าบุคคลต่างๆที่ แสดงอารมณ์ทั้งหมด 4 อารมณ์คือ โกรธ (Anger) ตกใจ (Surprise) สุข (Happiness) และหน้าปกติ (Neutral) มาค้นหา บริเวณที่เป็นใบหน้า 2) ภาพใบหน้าที่ได้จะถูกตรวจหาพิกัดของดวงตาด้านซ้ายและขวาเพื่อดูความเอียงของใบหน้าและ หมุนใบหน้าให้กลับมาเป็นภาพตรงและตัดบริเวณใบหน้าตรงส่วนนั้นใหม่เพื่อให้เป็นมาตรฐานเหมือนกันทุกภาพ 3) รูปภาพจะถูกเข้าตัวกรองกาบอร์ (Gabor Filter) เพื่อหามุมขององค์ประกอบบนใบหน้าซึ่งอารมณ์ที่ต่างกันก็จะให้ผลลัพธ์ที่ แตกต่างกันไป 4) การใช้การวิเคราะห์องค์ประกอบหลักเพื่อลดมิติของภาพที่มีความสัมพันธ์ระหว่างข้อมูลที่น้อยออกไป และ 5) นําข้อมูลที่ถูกลดมิติไปเข้าการวิเคราะห์จําแนกประเภทเชิงเส้นเพื่อแยกกลุ่มข้อมูลออกมา 4 กลุ่มอารมณ์ จากนั้นจะ เข้าสู่ช่วงการทดสอบข้อมูลกับภาพที่รับเข้ามาซึ่งมีขั้นตอนการทํางานคล้ายกับการสอนข้อมูล แต่จะข้ามขั้นตอนที่ 4 คือ การใช้การวิเคราะห์องค์ประกอบหลักและจะนําข้อมูลมาแสดงลงบนปริภูมิของการวิเคราะห์จําแนกประเภทเชิงเส้นเพื่อ เปรียบเทียบระยะห่างของข้อมูลด้วยระยะทางแบบยุคลิด โดยระยะห่างอันไหนใกล้ที่สุดก็จะทํานายเป็นอารมณ์นั้น