Tài liệu Mạng nơron trong bài toán nhận dạng khuôn mặt và ứng dụng

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CNTT&TT THÁI NGUYÊN PHẠM VĂN DŨNG MẠNG NƠRON TRONG BÀI TOÁN NHẬN DẠNG KHUÔN MẶT VÀ ỨNG DỤNG Ngành: Công nghệ thông tin Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 01 LUẬN VĂN THẠC SỸ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: TS. Dương Chính Cương Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn THÁI NGUYÊN, 2016 Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn i LỜI CAM ĐOAN Tên tôi là: Phạm Văn Dũng Sinh ngày: 13/06/1986 Học viên lớp cao học CK13A - Trường Đại học Công nghệ Thông tin và Truyền thông – Đại học Thái Nguyên. Hiện đang công tác tại: Liên đoàn Lao động tỉnh Hà Nam. Xin cam đoan: Đề tài “Mạng nơron trong bài toán nhận dạng khuôn mặt và ứng dụng” do Thầy giáo TS. Dương Chính Cương hướng dẫn là công trình nghiên cứu của riêng tôi. Tất cả tài liệu tham khảo đều có nguồn gốc, xuất xứ rõ ràng. Tác giả xin cam đoan tất cả những nội dung trong luận văn đúng như nội dung trong đề cương và yêu cầu của thầy giáo hướng dẫn. Nếu sai tôi hoàn toàn chịu trách nhiệm trước hội đồng khoa học và trước pháp luật. Thái Nguyên, ngày 15 tháng 05 năm 2016 TÁC GIẢ LUẬN VĂN Phạm Văn Dũng Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn ii Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn LỜI CẢM ƠN Sau một thời gian nghiên cứu và làm việc nghiêm túc, được sự động viên, giúp đỡ và hướng dẫn tận tình của Thầy giáo hướng dẫn TS. Dương Chính Cương, luận văn với đề tài “Mạng nơron trong bài toán nhận dạng khuôn mặt và ứng dụng” đã hoàn thành. Tôi xin bày tỏ lòng biết ơn sâu sắc đến: Thầy giáo hướng dẫn TS. Dương Chính Cương đã tận tình chỉ dẫn, giúp đỡ tôi hoàn thành luận văn này. Tôi xin chân thành cảm ơn bạn bè, đồng nghiệp và gia đình đã động viên, khích lệ, tạo điều kiện giúp đỡ tôi trong suốt quá trình học tập, thực hiện và hoàn thành luận văn này. TÁC GIẢ LUẬN VĂN Phạm Văn Dũng Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn iii MỤC LỤC LỜI CAM ĐOAN .............................................................................................................i LỜI CẢM ƠN ................................................................................................................. ii MỤC LỤC ................................................................................................................. iii DANH MỤC CÁC HÌNH ẢNH.....................................................................................vi DANH MỤC BẢNG BIỂU ......................................................................................... viii DANH MỤC CÁC TỪ VIẾT TẮT ................................................................................ix LỜI MỞ ĐẦU .................................................................................................................1 CHƯƠNG 1 TỔNG QUAN VỀ NHẬN DẠNG KHUÔN MẶT ...................................4 1.1.1 Mô tả bài toán nhận dạng khuôn mặt ............................................................. 4 1.1.2 Hệ thống nhận dạng khuôn mặt .....................................................................5 1.1.3 Một số ứng dụng của hệ thống nhận dạng khuôn mặt ...................................7 1.1.4 Ứng dụng của hệ thống nhận dạng khuôn mặt trong bài toán nhận dạng thí sinh dự thi .......................................................................................................8 1.2.1 Theo định hướng tìm ra cách trích chọn đặc trưng ........................................9 1.2.2 Theo định hướng ra quyết định ....................................................................10 1.3.1 Phương pháp PCA. .......................................................................................11 1.3.1.1 Nguyên lý chung....................................................................................11 1.3.1.2 Nội dung thuật toán PCA ......................................................................12 1.3.1.3 Áp dụng PCA vào trích chọn vector đặc tính cho bài toán nhận dạng khuôn mặt .............................................................................................. 14 1.3.1.4 Đánh giá thuật toán ................................................................................16 1.3.2 Phương pháp phân tách tuyến tính – LDA...................................................16 1.3.2.1 Nguyên lý chung....................................................................................16 1.3.2.2 Nội dung thuật toán ...............................................................................17 1.3.2.3 Áp dụng LDA vào trích chọn vector đặc tính cho bài toán nhận dạng khuôn mặt .............................................................................................. 18 1.3.2.4 Đánh giá thuật toán ................................................................................20 Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn iv 1.3.3 Phương pháp EBGM (Elastic Bunch Graph Matching) .............................. 20 1.3.3.1 Nguyên lý chung....................................................................................20 1.3.3.2 Nội dung thuật toán ...............................................................................22 1.3.3.3 Áp dụng EBGM vào trích chọn vector đặc tính cho bài toán nhận dạng khuôn mặt ............................................................................................... 26 1.3.3.4 Đánh giá thuật toán ................................................................................27 1.4.1 Thuật toán sử dụng mạng Nơron .................................................................27 1.4.2 Thuật toán SVM ........................................................................................... 28 CHƯƠNG 2 NHẬN DẠNG KHUÔN MẶT SỬ DỤNG MẠNG NƠRON MLP .......30 2.1.1 Mạng nơron sinh học ...................................................................................30 2.1.2 Mạng nơron nhân tạo ...................................................................................31 2.1.2.1 Nơron nhân tạo ......................................................................................31 2.1.2.2 Mạng nơron nhân tạo .............................................................................32 2.1.2.3 Các ứng dụng của mạng nơron .............................................................. 33 2.1.3 Mô hình toán học và kiến trúc mạng nơron .................................................34 2.1.3.1 Mô hình toán học của một nơron nhân tạo ............................................34 2.1.3.2 Cấu trúc mạng nhân tạo .........................................................................35 2.1.3.3 Hàm truyền (Hàm hoạt hoá) ..................................................................36 2.1.4 Huấn luyện mạng nơron ...............................................................................37 2.1.4.1 Học có giám sát .....................................................................................37 2.1.4.2 Học không có giám sát ..........................................................................37 2.1.4.3 Học tăng cường .....................................................................................38 2.2.1 Mạng perceptron .......................................................................................... 38 2.2.1.1 Kiến trúc mạng ......................................................................................38 2.2.1.2 Huấn luyện mạng ...................................................................................39 2.2.1.3 Khả năng ứng dụng cho nhận dạng ảnh. ...............................................42 2.2.2 Mạng perceptron đa lớp ...............................................................................43 2.2.2.1 Kiến trúc mạng ......................................................................................43 Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn v 2.2.2.2 Huấn luyện mạng ...................................................................................44 2.2.2.3 Khả năng ứng dụng cho nhận dạng ảnh ................................................48 2.4.1 Sơ đồ hệ thống nhận dạng thí sinh ............................................................... 52 2.4.2 Xây dựng vector đặc trưng ...........................................................................53 2.4.3 Phân lớp bằng mạng nơron truyền thẳng nhiều lớp MLP ............................ 55 CHƯƠNG 3 XÂY DỰNG PHẦN MỀM MÔ PHỎNG NHẬN DẠNG THÍ SINH DỰ THI .................................................................................................................56 3.2.1 Cơ sở dữ liệu ảnh .........................................................................................57 3.2.2 Lưu đồ kiểm tra thí sinh ...............................................................................59 3.2.3 Môi trường cài đặt ........................................................................................59 3.2.4 Cài đặt ..........................................................................................................60 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI .............................................66 TÀI LIỆU THAM KHẢO ............................................................................................. 68 Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn vi DANH MỤC CÁC HÌNH ẢNH Hin ̀ h 1.1. Mô hình bài toán nhận dạng mặt người ...........................................................5 Hin ̀ h 1.2. Cấu trúc tổng quát của hệ thống nhận dạng khuôn mặt [2]............................. 5 Hình 1.3. Các hướng tiếp cận trích chọn đặc trưng trong nhận dạng khuôn mặt [3] ......9 Hin ̀ h 1.4. Không gian mới (p1,p2) theo hướng phân bố mạnh nhất của các vector trong không gian (x1,x2) tìm theo PCA [6]. ............................................................................11 Hin ̀ h 1.5. Dạng của vector tạo từ bức ảnh về khuôn mặt [6]. .......................................14 Hin ̀ h 1.6. Ảnh gốc trong cơ sở dữ liệu ORL .................................................................15 Hình 1.7. Ảnh sau khi biến đổi theo PCA .....................................................................16 Hin ̀ h 1.8. Ví dụ minh họa LDA [8] ...............................................................................17 Hình 1.9. Ảnh sau khi biến đổi theo LDA .....................................................................19 Hình 1.10. Mô hình lưới của các khuôn mặt khác nhau [14] ........................................21 Hin ̀ h 1.11. Cosine Gabor wavelet và Sin Cosine Gabor wavelet đại diện cho phần thực và phần ảo của biến đổi Wavelet [5] .............................................................................22 Hin ̀ h 1.12. Tạo Gabor Jet từ biến đổi Gabor wavelet [14] ............................................24 Hin ̀ h 1.13. Đồ thị các Gabor Jet [14].............................................................................24 Hình 2.1. Cấu trúc cơ bản của nơron sinh học .............................................................. 30 Hin ̀ h 2.2. Nơron nhân tạo .............................................................................................. 32 Hình 2.3. Mô hình toán học mạng nơron nhân tạo ........................................................34 Hin ̀ h 2.4. Nơron 1 đầu vào với hàm hoạt hoá là hàm hardlimit ....................................36 Hin ̀ h 2.5. Học có giám sát ............................................................................................. 37 Hình 2.6. Học không có giám sát ..................................................................................37 Hin ̀ h 2.7. Học tăng cường.............................................................................................. 38 Hình 2.8. Kiến trúc mạng Perceptron ............................................................................38 Hin ̀ h 2.9. Biên quyết định trong không gian mẫu .........................................................40 Hin ̀ h 2.10. Không gian mẫu khả tách tuyến tính ........................................................... 41 Hình 2.11. Không gian mẫu không khả tách tuyến tính ................................................42 Hin ̀ h 2.12. Phân tách không gian mẫu với mạng Perceptron 2 nơron lớp ra ................43 Hình 2.13. Mạng Perceptron đa lớp (MLP) ..................................................................43 Hin ̀ h 2.14. Mạng MLP giải quyết bài toán XOR .......................................................... 44 Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn vii Hin ̀ h 2.15. Không gian mẫu .......................................................................................... 48 Hình 2.16. Phân lớp mẫu với mạng MLP 3 lớp ............................................................ 49 Hin ̀ h 2.17. Sơ đồ hệ thống nhận dạng thí sinh sử dụng Gabor wavelet và MLP ..........52 Hin ̀ h 2.18. Lưu đồ trích chọn đặc trưng hình ảnh trên khuôn mặt ................................ 53 Hình 2.19. Mạng nơron lan truyền ngược cho nhận dạng khuôn mặt ........................... 55 Hin ̀ h 3.1. Mạng nơron lan truyền ngược cho nhận dạng khuôn mặt .. Error! Bookmark not defined. Hin ̀ h 3.1. Ảnh gốc trong cơ sở dữ liệu ..........................................................................58 Hin ̀ h 3.2. Giao diện chính của chương trình ứng dụng .................................................61 Hình 3.3. Giao diện của chương trình Tạo cơ sở dữ liệu từ webcam............................ 62 Hin ̀ h 3.4. Giao diện của chương trình Tạo cơ sở dữ liệu từ nguồn ảnh tĩnh .................62 Hình 3.5. Giao diện của chương trình Tạo vector đặc trưng .........................................63 Hin ̀ h 3.6. Phần thực, ảo, biên độ của bộ lọc Gabor và ảnh đặc trưng khi qua bộ lọc ...63 Hin ̀ h 3.7. Kết quả luyện mạng nơron và kiểm tra .........................................................64 Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn viii DANH MỤC BẢNG BIỂU Bảng 2.2. Một số công trình công bố sử dụng mạng nơron cho nhận dạng khuôn mặt 50 Bảng 3.1. Các module chính của chương trình ............................................................. 60 Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn ix DANH MỤC CÁC TỪ VIẾT TẮT Từ hoặc cụm từ Từ tiếng Anh Từ tiếng Việt Cơ sở dữ liệu CSDL EBGM Elastic Bunch Graph Matching Phương pháp đồ thị đàn hồi FR Face Recognition Nhận dạng khuôn mặt FRS Face Recognition System Hệ thống nhận dạng khuôn mặt LDA Linear Discriminant Analysis Phương pháp phân tích sự khác biệt tuyến tính NN Neural Network Mạng Nơron PCA Principal Component Analysis Phương pháp phân tích thành phần chính SVM Support Vector Machine Học máy véc tơ hỗ trợ Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 1 LỜI MỞ ĐẦU 1. Tính khoa học và cấp thiết của đề tài Hiện nay, rất nhiều quốc gia trên thế giới phải đối mặt với tình hình bất ổn về chính trị, an ninh. Hậu quả của vụ khủng bố 11/9 cũng như một loạt các vụ khủng bố xả súng, đánh bom liều chết gần đây làm cho vấn đề an ninh bảo mật trở thành yêu cầu khắt khe. Hệ quả là, các hệ thống xác định, nhận dạng con người được ra đời và cải tiến liên tục sao cho đạt được độ tin cậy cao nhất. Một trong những bài toàn nhận dạng con người được quan tâm nhất hiện nay đó là nhận dạng qua khuôn mặt [8] . Thực tế, ngay từ xa xưa, nhận dạng khuôn mặt đã là cách thức truyền thống để con người nhận ra nhau. Với sự phát triển vượt bậc của ngành công nghệ thông tin, vào những năm 60 của thế kỷ trước, các nhà khoa học đã nghiên cứu sử dụng máy tính vào việc nhận dạng khuôn mặt. Tuy nhận dạng khuôn mặt không chính xác được như nhận dạng vân tay, nhận dạng võng mạc nhưng nó vẫn nhận được sự quan tâm của rất nhiều các nhà nghiên cứu trong lĩnh vực thị giác máy tính. Cho đến nay, đã có rất nhiều công trình công bố, đưa ra các hướng tiếp cận khác nhau cho việc giải quyết bài toán nhận dạng khuôn mặt như nhận dạng dựa trên đặc trưng của các phần tử trên khuôn mặt bao gồm biển đổi sóng Wavelet (Gabor Wavelet), phương pháp đồ thị đàn hồi (Elastic Bunch Graph Matching - EBGM), mạng Nơron (Neural Network - NN), học máy vector hỗ trợ (Support Vector Machine –SVM… nhận dạng dựa trên xét tổng thể toàn khuôn mặt bao gồm phương pháp phân tích thành phần chính (Principal Component Analysis– PCA) phương pháp phân tích sự khác biệt tuyến tính (Linear Discriminant Analysis – LDA). Trong đó, nhận dạng khuôn mặt dùng mạng Nơron mang lại hiệu quả nhận dạng cao bởi nó hoạt động ổn định và có tính thích nghi cao khi dữ liệu đầu vào thay đổi nhiều. Đối với việc giải bài toán nhận dạng khuôn mặt sử dụng mạng nơron, tùy từng yêu cầu cụ thể của bài toán thực tế mà người thiết kế phải trả lời rất nhiều câu hỏi như: Lựa chọn cấu trúc mạng nơron nào? Số lượng các lớp cũng như các nơron trong mỗi lớp? Sử dụng thuật toán học nào để điều chỉnh các trọng số của mạng? Chính vì vậy, đây vẫn còn là một hướng mở đòi hỏi các nhà khoa học quan tâm phải đầu tư nghiên cứu làm rõ. 2 Vì những lý do trên, đề tài: “Mạng nơron trong bài toán nhận dạng khuôn mặt và ứng dụng” được lựa chọn làm đề tài nghiên cứu luận văn tốt nghiệp thạc sĩ chuyên ngành Khoa học máy tính. 2. Mục tiêu, đối tượng và phạm vi nghiên cứu của đề tài Đề tài nhằm thực hiện các mục tiêu sau: - Nghiên cứu tổng quan và đánh giá một số phương pháp thông dụng trong nhận dạng khuôn mặt như: PCA, LDA, EBGM, SVM, NN… - Tập trung làm rõ cơ sở lý thuyết cũng như các ứng dụng của phương pháp nhận dạng khuôn mặt sử dụng mạng nơron. - Phân tích bài toán, lựa chọn thuật toán, thiết kế và cài đặt thử nghiệm phần mềm mô phỏng nhận dạng thí sinh dự thi ứng dụng mạng nơron. Chính vì vậy, đối tượng của luận văn là: Các phương pháp nhận dạng khuôn mặt sử dụng mạng nơron. Về phạm vi nghiên cứu: luận văn sẽ khảo sát và đánh giá một số phương pháp thường dùng trong nhận dạng khuôn mặt sử dụng mạng nơron; Lựa chọn phương pháp phù hợp nhất đối với bài toán nhận dạng thí sinh dự thi; Tập trung sâu vào cài đặt thử nghiệm phần mềm nhằm chứng minh tính đúng đắn và khả năng ứng dụng trong thực tế của phương pháp lựa chọn. 3. Phương pháp luận nghiên cứu - Phương pháp nghiên cứu lý thuyết: Tổng hợp, nghiên cứu các tài liệu về nhận dạng khuôn mặt; Nghiên cứu các phương pháp, thuật toán nhận dạng khuôn mặt sử dụng mạng nơron; Tìm hiểu các kiến thức liên quan như lý thuyết xử lý ảnh, kỹ thuật lập trình. - Phương pháp nghiên cứu thực nghiệm: Sau khi nghiên cứu lý thuyết, phát biểu bài toán, đưa ra giải pháp xử lý; cài đặt thử nghiệm chương trình phần mềm dùng công cụ Matlab; Đánh giá các kết quả đạt được. 3 4. Nội dung và bố cục của luận văn  Chương 1: Tổng quan về nhận dạng khuôn mặt - Giới thiệu bài toán nhận dạng khuôn mặt; Bài toán nhận diện thí sinh; Tổng kết và đánh giá một số phương pháp nhận dạng khuôn mặt ứng dụng trong thực tế.  Chương 2: Nhận dạng khuôn mặt sử dụng mạng nơron MLP - Nghiên cứu về lý thuyết mạng nơron MLP; Cập nhật một số phương pháp sử dụng mạng nơron trong bài toán nhận dạng khuôn mặt; Đánh giá ưu nhược điểm của mỗi phương pháp; Ứng dụng thuật toán kết hợp biến đổi Gabor wavelet và mạng nơron MLP cho bài toán nhận diện thí sinh.  Chương 3: Xây dựng phần mềm mô phỏng nhận dạng thí sinh dự thi - Chỉ ra tính cấp thiết cũng như các yêu cầu cơ bản của bài toán nhận dạng thí sinh dự thi tại Trường Đại học Công nghệ Thông tin và Truyền thông; Cài đặt phần mềm thử nghiệm chương trình mô phỏng; Đánh giá các kết quả thu được.  Cuối cùng là kết luận và hướng phát triển của luận văn 4 CHƯƠNG 1 TỔNG QUAN VỀ NHẬN DẠNG KHUÔN MẶT Tổng quan về hệ thống nhận dạng khuôn mặt 1.1.1 Mô tả bài toán nhận dạng khuôn mặt Như chúng ta đã biết, con người khi sinh ra đã có những đặc điểm sinh học tự nhiên riêng biệt phân biệt giữa người này với người kia, rất khó có thể trùng lặp. Các đặc điểm đó có thể bị thay đổi trong cuộc sống trừ những tác động khách quan hoặc chủ quan như: tai nạn, tổn thương, phẫu thuật chỉnh hình... Chính bởi yếu tố riêng biệt đó, các nhà khoa học tập trung nghiên cứu, tìm hiểu đặc trưng sinh trắc của con người và áp dụng vào các biện pháp giúp nhận dạng, xác định danh tính của mỗi người. Dựa vào những đặc điểm sinh trắc học của con người, các hệ thống nhận dạng sinh trắc học ra đời nhằm giải quyết nhiều vấn đề có liên quan tới bảo mật, an ninh, khoa học hay các nhu cầu khác trong cuộc sống. Các đặc trưng sinh trắc khuôn mặt là những đặc điểm riêng trên khuôn mặt mỗi người gần như không thay đổi theo thời gian, các đặc điểm này phân biệt giữa người này và người kia, rất khó có thể xảy ra trùng lặp. Dựa trên nhận xét thực tế, con người dễ dàng nhận biết các khuôn mặt và các đối tượng trong các tư thế khác nhau và điều kiện ánh sáng khác nhau, thì phải tồn tại các thuộc tính hay đặc trưng không thay đổi. Chính vì thế, việc xác định danh tính, nhận dạng khuôn mặt người thông qua các đặc trưng sinh trắc học đó sẽ đảm bảo được độ chính xác, tin cậy cao. Bản thân con người có thể nhận dạng ảnh khuôn mặt của mọi người một cách dễ dàng. Thậm chí, ảnh đó có thể nằm trong một ảnh nền phức tạp. Tuy nhiên, đối với hệ máy thì việc nhận dạng này là một công việc rất phức tạp và khó khăn. Chính vì vậy, trong những năm gần đây, lĩnh vực nhận dạng khuôn mặt đã nhận được sự quan tâm nghiên cứu lớn từ các nhà khoa học nhằm tạo ra các hệ hỗ trợ quyết định phục vụ trong rất nhiều lĩnh vực của cuộc sống. Giả sử ta có một cơ sở dữ liệu ảnh đã được lưu trong máy về một số người (Hin ̀ h 1.1), bài toán nhận dạng là làm sao để khi đưa ảnh khuôn mặt của một người bất kỳ vào thì máy sẽ tự động nhận dạng ra người này trong cơ sở dữ liệu. 5 Cơ sở dữ liệu Ảnh truy vấn Kết quả tìm được Hình 1.1. Mô hình bài toán nhận dạng mặt người 1.1.2 Hệ thống nhận dạng khuôn mặt Nhiệm vụ của hệ thống nhận dạng khuôn mặt là xử lý tự động thông tin từ các ảnh khuôn mặt để tìm ra độ tương tự giữa các khuôn mặt và đưa ra quyết định về tính đồng nhất giữa chúng. Cấu trúc của hệ thống nhận dạng khuôn mặt được thể hiện như Hình 1.2 và gồm các khâu chức năng sau [2] : - Hình 1.2. Cấu trúc tổng quát của hệ thống nhận dạng khuôn mặt [2] Phát hiện khuôn mặt (face detection) : Phát hiện khuôn mặt sẽ lấy ra tất cả các khuôn mặt trong một hình ảnh. Chức năng này làm nhiệm vụ xác định vị trí, kích cỡ của một hoặc nhiều khuôn mặt trên ảnh chụp từ đó tách ra phần mặt. Phần ảnh 6 mặt được tách ra thường nhỏ hơn nhiều so với ảnh chụp ban đầu, nó sẽ là các khuôn mặt cần tìm và chức năng trích chọn đặc trưng sẽ sử dụng các ảnh được tách ra này. - Tiền xử lý (Pre-Processing): Bước này nhằm mục đích lọc nhiễu, nâng cao chất lượng ảnh để chuẩn hóa ảnh cần tìm giúp cho việc tìm kiếm được hiệu quả hơn [13] . Các công việc trong bước tiền xử lý có thể là: Chuẩn hóa kích cỡ giữa ảnh trong CSDL và ảnh cần tìm, hiệu chỉnh độ sáng, tối của ảnh; lọc nhiễu, chuẩn hóa về vị trí, tư thế ảnh mặt. - Trích chọn đặc trưng (FE): Tìm ra các đặc trưng chính của ảnh mặt, từ các đặc trưng này hình thành các vector đặc trưng, các vector này sẽ được sử dụng để đối sánh sự giống nhau giữa ảnh mặt cần tìm và ảnh mặt trong CSDL. - Nhận dạng/Phân lớp: Bước nhận dạng (recognition) hay phân lớp (classification), tức là xác định danh tính (identity) hay nhãn (label) của ảnh đó là ảnh của ai. - Dữ liệu hệ thống nhận dạng: Dữ liệu hệ thống nhận dạng được chia làm 3 tập gồm tập huấn luyện (training set), tập tham chiếu (reference set) và tập để nhận dạng (probe set). Tập training gồm các ảnh được dùng để huấn luyện, thông thường tập này được dùng để sinh ra một không gian con là một ma trận. Tập reference gồm các ảnh đã biết danh tính được chiếu vào không gian con ở bước training... Sau khi thực hiện chiếu tập reference vào không gian con, hệ thống lưu lại kết quả là một ma trận với mỗi cột của ma trận là một vector tương ứng với ảnh (định danh đã biết) để thực hiện nhận dạng (hay phân lớp). Hệ thống nhận dạng khuôn mặt cần đảm bảo các yêu cầu: - Độ chính xác nhận dạng có thể chấp nhận được đối với yêu cầu của bài toán nhận dạng; - Tốc độ vận hành cao đối với các CSDL lớn và số lượng các yêu cầu có thể giải quyết được; - Đơn giản trong việc cài đặt, lựa chọn thiết bị và vận hành. An toàn với người sử dụng. 7 1.1.3 Một số ứng dụng của hệ thống nhận dạng khuôn mặt Hệ thống nhận dạng khuôn mặt đã và đang được áp dụng trong rất nhiều lĩnh vực của đời sống xã hội. Chúng ta có thể liệt kê một số ứng dụng tiêu biểu như sau: - Hệ thống tương tác giữa người và máy: sẽ giúp những người tàn tật hoặc khiếm khuyết có thể trao đổi. Những người câm sẽ nói chuyện với người bình thường bằng ngôn ngữ tay, người bại liệt có thể thông qua các ký hiệu như nháy mắt, những cử chỉ trên khuôn mặt để ra hiệu cho người bình thường,… - Nhận dạng người có phải là tội phạm bị truy nã hay không? Giúp cơ quan an ninh quản lý tốt con người. Hoặc có thể truy tìm nhanh chóng các hồ sơ tội phạm trong cơ sở dữ liệu của máy tính. - Hệ thống quan sát theo dõi và bảo vệ. Các hệ thống camera sẽ xác định đâu là con người và theo dõi con người đó xem họ có vi phạm gì không, ví dụ như xâm phạm khu vực không được vào, xâm phạm vào nhà riêng,… - Lưu trữ hình ảnh khuôn mặt những người rút tiền từ máy ATM, hiện nay có tình trạng những người bị người khác lấy mất mã số PIN và những người ăn cắp này đi rút tiền. Hoặc những người chủ thẻ đi rút tiền nhưng lại báo mất thẻ và mất tiền. Các ngân hàng có nhu cầu khi giao dịch tiền sẽ kiểm tra hay lưu trữ khuôn mặt người rút tiền để sau đó đối chứng và xử lý. - Các hệ thống mở cửa, chấm ngày công lao động của các nhân viên vào ra trong công ty. Hệ thống nhận dạng mặt người sẽ cho phép các nhân viên vào ra những khu vực cho phép, hay đăng nhập máy tính hoặc đăng nhập máy tính cá nhân của mình mà không cần mật khẩu,… - Phân tích các cảm xúc của con người trên khuôn mặt. - Tương lai sẽ phát triển các loại thẻ thông minh có tích hợp sẵn đặc trưng của người dùng trên đó, khi bất cứ người dùng nào khác dùng để truy cập hay xử lý tại các hệ thống sẽ được yêu cầu kiểm tra các đặc trưng của khuôn mặt so với thẻ để biết có phải là chủ thẻ hay không. 8 1.1.4 Ứng dụng của hệ thống nhận dạng khuôn mặt trong bài toán nhận dạng thí sinh dự thi Hiện tượng gian lận trong Giáo dục nói chung và hiện tượng gian lận trong học hộ, thi hộ nói riêng là vấn đề nan giải và được bàn cãi nhiều đặc biệt là trước, trong và sau mỗi kỳ thi. Trong các trường Đại học, Cao đẳng, Trung học chuyên nghiệp mục đích của việc học hộ là tránh để mất 30% điểm học phần theo quy chế 43 của Bộ Giáo dục. Việc học hộ thường xảy ra ở các lớp Liên thông, Tại chức học vào ca tối, các lớp có tình trạng lớp đông, giáo viên mới... Đối với hiện tượng thi hộ, việc kiểm tra và đối chiếu học sinh, sinh viên vào dự thi mất rất nhiều thời gian, đôi khi vẫn bỏ qua được đối tượng thi hộ như trường hợp anh em thi hộ, hiện tượng tráo ảnh trong thẻ dự thi, hiện tượng quên thẻ sinh viên…. Quy trình thực hiện chống gian lận trong thi cử được thực hiện theo quy định của Trường Đại học Công nghệ Thông tin và Truyền thông, để kiểm soát việc thi hộ thì trong các kỳ thi Phòng Khảo thí và Đảm bảo chất lượng giáo dục thường yêu cầu các môn thi tự luận bố trí mỗi phòng thi có 2 cán bộ coi thi, các môn thi vấn đáp bố trí mỗi phòng thi có 3 cán bộ (2 giảng viên hỏi/chấm thi và 1 cán bộ gọi sinh viên vào phòng thi và giám sát), các môn thi trắc nghiệm trên máy tính bố trí mỗi phòng thi có 3 người (1 giảng viên, 1 cán bộ phòng thực hành, và 1 chuyên viên phòng Khảo thí và Đảm bảo chất lượng giáo dục). Để giảm bớt thời gian xử lý công việc cho cán bộ coi thi, tăng độ chính xác khi xử lý thông tin như: thí sinh quên thẻ sinh viên, ảnh nhòe, ảnh cũ hoặc ảnh bị thay thế không đóng dấu giáp lai rất khó nhận dạng và tránh bỏ lọt các đối tượng thi hộ là anh em giống nhau, sinh viên trong trường, sinh viên ngoài trường. Chính vì vậy, ý tưởng xây dựng phần mềm ứng dụng nhận dạng khuôn mặt nhằm tháo gỡ tình trạng học hộ, đặc biệt là thi hộ như một mong muốn giảm bớt được quy trình coi thi, với tính chính xác cao mang lại hiệu quả công việc có ý nghĩa cả về khoa học lẫn thực tiễn. Đây cũng là mục tiêu chính mà luận văn cần đạt được. 9 Các hướng tiếp cận trong nhận dạng khuôn mặt Như trong phần 1.1.2 đã trình bày, hệ thống nhận dạng khuôn mặt gồm bốn khâu chính (tiền xử lý, tách vùng mặt, trích chọn đặc trưng, đối sánh). Mỗi một khâu đều có tác động đến độ chính xác của hệ thống. Tuy nhiên, hai khâu quan trọng nhất vẫn là trích chọn đặc trưng và đối sánh (ra quyết định). Chính vì vậy, qua khảo sát các công trình nghiên cứu liên quan đến nhận dạng khuôn mặt [3], [10] [12] , ta có thể thấy các công trình công bố đều chủ yếu tập trung vào cải tiến hai bước chính là trích chọn đặc trưng và ra quyết định. 1.2.1 Theo định hướng tìm ra cách trích chọn đặc trưng Các phương pháp trích chọn đặc trưng khuôn mặt Dựa trên mô hình các chi tiết Dựa trên tổng thể khuôn mặt Linear PCA LDA ICA Ohters Non-linear KPCA ISOMAP LLE 2D EBGM AAM 3D 3 D Morphable Model Hình 1.3. Các hướng tiếp cận trích chọn đặc trưng trong nhận dạng khuôn mặt [3] Theo định hướng tìm ra cách trích chọn đặc trưng hiệu quả có thể phân làm hai nhóm chính như sau: - Nhận dạng dựa trên xét tổng thể khuôn mặt (Appearance based face recognition): Nội dung chính của hướng tiếp cận này là xem mỗi ảnh có kích thước RxC là một vector trong không gian RxC chiều. Ta sẽ xây dựng một không gian mới có chiều nhỏ hơn sao cho khi biểu diễn trong không gian đó các đặc điểm chính của một khuôn mặt không bị mất đi. Trong không gian đó, các ảnh của cùng một người sẽ được tập trung lại thành một nhóm gần nhau và cách xa các nhóm khác. Một số phương pháp được dùng cho loại này như: