Tài liệu Luận văn phát hiện và nhận dạng khuôn mặt từ camera, ứng dụng trong điểm danh

®¹i häc th¸i nguyªn Tr­êng ®¹i häc c«ng nghÖ th«ng tin vµ truyÒn th«ng NGUYỄN THẾ THỤY PHÁT HIỆN VÀ NHẬN DẠNG KHUÔN MẶT TỪ CAMERA, ỨNG DỤNG TRONG ĐIỂM DANH LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN - 2015 1 Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn LỜI CAM ĐOAN Tôi - Nguyễn Thế Thụy xin cam đoan những nội dung trình bày luận văn này là kết quả tìm hiểu, nghiên cứu của bản thân dƣới sự hƣớng dẫn của TS. Nguyễn Văn Tảo và tham khảo từ các nhà nghiên cứu đi trƣớc. Nội dung tham khảo, kế thừa, phát triển từ các công trình đã đƣợc công bố đƣợc trích dẫn, ghi rõ nguồn gốc. Nếu có gì sai phạm tôi xin hoàn toàn chịu trách nhiệm. Ngƣời cam đoan Nguyễn Thế Thụy 2 Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn LỜI CẢM ƠN Trong quá trình thực hiện luận văn mặc dù gặp rất nhiều khó khăn nhƣng em luôn nhận đƣợc sự quan tâm, giúp đỡ từ thầy cô, đồng nghiệp, bạn bè và ngƣời thân. Đây là nguồn động lực giúp em hoàn thành luận văn này. Em xin gửi lời cảm ơn chân thành tới TS. Nguyễn Văn Tảo đã tận tình giúp đỡ, hƣớng dẫn và chỉ bảo trong quá trình thực hiện luận văn. Em xin chân thành cảm ơn tới quý Thầy, Cô giáo đang công tác tại Viện Công nghệ thông tin Việt Nam, Trƣờng Đại học Công nghệ thông tin và Truyền thông Thái Nguyên đã tận tình chỉ bảo, truyền đạt những kiến thức qúy báu giúp em hoàn thành nhiệm vụ học tập trong suốt thời gian theo học tại trƣờng. Quý Thầy Cô đã giúp em có đƣợc những kiến thức quan trọng trong lĩnh vực Công nghệ thông tin, là nền tảng vững chắc cho những nghiên cứu của bản thân trong thời gian tới. Em xin cảm ơn các đồng nghiệp đã giúp đỡ, ủng hộ tinh thần trong thời gian em tham gia học tập và nghiên cứu. Cuối cùng, em xin cảm ơn tất cả những ngƣời đã luôn luôn quan tâm, sẻ chia và động viên em. Thái Nguyên, ngày 17 tháng 07 năm 2015 Nguyễn Thế Thụy 3 Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn MỤC LỤC LỜI CAM ĐOAN ............................................................................................................ 1 LỜI CẢM ƠN .................................................................................................................. 3 DANH MỤC CÁC HÌNH VẼ ......................................................................................... 6 LỜI MỞ ĐẦU ................................................................................................................. 7 CHƢƠNG 1: SINH TRẮC HỌC VÀ BÀI TOÁN NHẬN DẠNG KHUÔN MẶT ỨNG DỤNG TRONG ĐIỂM DANH ............................................................................. 8 1.1. Tổng quan về sinh trắc học ..................................................................................8 1.1.1. Hệ thống sinh trắc học ................................................................................ 10 1.1.1.1. Hệ thẩm định (Verification) ...............................................................10 1.1.1.2. Nhận dạng (Identification, Recognition) ............................................11 1.1.1.3. Các thành phần chức năng chủ yếu ....................................................11 1.1.1.4. Hoạt động của hệ thống ......................................................................11 1.1.2. Đánh giá hiệu năng và chất lƣợng hoạt động của hệ sinh trắc học ............ 11 1.1.3. Hệ thống an ninh bảo mật dựa trên sinh trắc học ....................................... 13 1.2. Phát hiện và nhận dạng khuôn mặt ....................................................................13 1.3. Những khó khăn và thách thức trong bài toán nhận dạng khuôn mặt ............... 16 1.4. Các ứng dụng của bài toán nhận dạng khuôn mặt ............................................. 16 1.5. Bài toán điểm danh dựa trên khuôn mặt ............................................................ 18 1.5.1. Bài toán điểm danh và quản lý nhân sự ..................................................... 18 1.5.2. Đầu vào của bài toán .................................................................................. 19 1.5.3. Đầu ra và ý nghĩa thực tiễn ........................................................................ 20 CHƢƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN VÀ NHẬN DẠNG KHUÔN MẶT21 2.1. Một số kỹ thuật phát hiện mặt ngƣời trong ảnh .................................................21 2.1.1. Hƣớng tiếp cận dựa trên đặc trƣng của ảnh ............................................... 22 2.1.1.1. Phân tích mức thấp (Low level analysis)............................................23 2.1.1.2. Phân tích đặc trƣng (Feature Analysis) ..............................................27 2.1.1.3. Mô hình hình dạng động (Active shape models) ................................33 2.1.2. Hƣớng tiếp cận dựa trên ảnh (Image based detection) ............................... 37 2.1.2.1. Phƣơng pháp không gian con tuyến tính (Linear subspace methods) 38 2.1.2.2. Mạng neural ........................................................................................41 2.1.2.3. Phƣơng pháp thống kê (Statistical approachs) ...................................44 4 Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 2.2. Một số kỹ thuật nhận dạng khuôn mặt ...............................................................47 2.2.1. Phƣơng pháp phân tích thành phần chính (PCA) ....................................... 48 2.2.2. Phƣơng pháp phân tách tuyến tính (LDA) ................................................. 49 2.2.3. Phƣơng pháp mạng neural .......................................................................... 52 CHƢƠNG 3: CÀI ĐẶT THỬ NGHIỆM .................................................................. 54 3.1. Yêu cầu thực nghiệm, ứng dụng ........................................................................54 3.2. Phân tích lựa chọn giải pháp, công cụ ...............................................................55 3.3. Một số kết quả cài đặt thực nghiệm ..................................................................56 3.3.1. Giao diện của chƣơng trình ........................................................................ 56 3.3.2. Một số kết quả điểm danh dựa trên khuôn mặt .......................................... 60 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN ................................................................ 64 TÀI LIỆU THAM KHẢO ......................................................................................... 65 5 Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn DANH MỤC CÁC HÌNH VẼ Hình 1.1. Các đặc trƣng sinh trắc phổ biến .....................................................................8 Hình 1.2. Mô hình hệ thống sinh trắc học .......................................................................9 Hình 1.3. Các giá trị ngƣỡng của FAR và FRR ............................................................11 Hình 1.4. Mô hình hệ thống nhận dạng mặt ngƣời ....... Error! Bookmark not defined. Hình 2.1. Sơ đồ các hƣớng tiếp cận và phƣơng pháp phát hiện mặt ngƣời .......... Error! Bookmark not defined. Hình 2.2. Hệ thống tìm kiếm mặt của Maio và Maltoni Error! Bookmark not defined. Hình 2.3. Một số không gian riêng của CSDL ảnh ORL ..............................................38 Hình 2.4. Mô hình mạng neural của Rowley và cộng sựError! Bookmark not defined. Hình 2.5. Hệ thống nhận dạng khuôn mặt ..................... Error! Bookmark not defined. Hình 2.6. Ví dụ minh họa LDA .....................................................................................47 Hình 2.7. Ảnh sau khi biến đổi theo LDA .....................................................................49 Hình 2.8. Mạng neural 2 lớp truyền thẳng .................... Error! Bookmark not defined. Hình 3.1. Quy trình hoạt động của hệ thống điểm danh dựa trên khuôn mặt …Error! Bookmark n Hình 3.2. Giao diện chính của chƣơng trình ................. Error! Bookmark not defined. Hình 3.3. Hình ảnh từ camera và xử lý tƣơng ứng ........ Error! Bookmark not defined. Hình 3.4. Giao diện quản lý danh sách điểm danh và điểm danhError! Bookmark not defined. Hình 3.5. Giao diện quản lý danh sách ảnh ...................................................................60 Hình 3.6. Cơ sở dữ liệu ảnh ...........................................................................................60 Hình 3.7. Giao diện các lựa chọn trên thanh thực đơn ..................................................61 6 Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn LỜI MỞ ĐẦU Công nghệ Sinh trắc học (Biometric) là một công nghệ sử dụng những thuộc tính vật lý hoặc các mẫu hành vi, các đặc điểm sinh học đặc trƣng nhƣ dấu vân tay, mẫu mống mắt, giọng nói, khuôn mặt, dáng đi... để nhận diện con ngƣời. Công nghệ sinh trắc học đƣợc áp dụng phổ biến và lâu đời, trong đó phƣơng pháp sử dụng nhận dạng khuôn mặt là tự nhiên nhất. Phƣơng pháp này đƣợc chính bản thân con ngƣời sử dụng từ khi đƣợc sinh ra để phân biệt giữa ngƣời này và ngƣời khác. Ứng dụng khả năng phân biệt dựa trên các đặc điểm khác nhau của khuôn mặt, bài toán “Phát hiện và nhận dạng khuôn mặt từ camera, ứng dụng trong điểm danh” là bài toán có khả năng ứng dụng cao với chi phí thấp đƣợc áp dụng trong các cơ quan, doanh nghiệp. Với sự hỗ trợ của camera, máy tính và phần mềm điểm danh, nhà quản lý thu đƣợc thông tin về sự có mặt và thời gian làm việc của ngƣời lao động một cách chính xác và khách quan với chi phí thấp. Việc áp dụng nhận dạng khuôn mặt có thể đƣợc sử dụng một cách độc lập với ƣu điểm hơn các phƣơng pháp sinh trắc học khác ở tính tự nhiên của nó, đồng thời đây cũng có thể là một phƣơng pháp đƣợc sử dụng kết hợp với các phƣơng pháp sinh trắc khác để nâng cao tính chính xác của hệ thống khi vận hành. Chính vì tầm quan trọng của phát hiện, nhận dạng khuôn mặt nói riêng và công nghệ sinh trắc nói chung, tôi thực hiện đề tài “Phát hiện và nhận dạng khuôn mặt từ camera, ứng dụng trong điểm danh” với mục tiêu tìm hiểu các thuật toán phát hiện và nhận dạng khuôn mặt ngƣời từ đó xây dựng chƣơng trình điểm danh dựa trên khuôn mặt. Tôi hy vọng đề tài này sẽ đem lại một số kiến thức hữu ích cho những ai quan tâm đến vấn đề về phát hiện và nhận dạng khôn mặt cũng nhƣ lĩnh vực sinh trắc học. Nội dung luận văn đƣợc chia làm 3 phần chính: Chƣơng 1 trình bày khái quát về quản lý học viên và bài toán điểm danh, trong đó nêu rõ đầu vào và đầu ra của bài toán cũng nhƣ ứng dụng thực tiễn của bài toán. Chƣơng 2 là những nghiên cứu, tìm hiểu về các thuật toán phát hiện và nhận dạng khuôn mặt. Chƣơng 3 trình bày thực nghiệm và ứng dụng của chƣơng trình điểm danh dựa trên nhận dạng khuôn mặt. Phần cuối cùng là kết luận và hƣớng phát triển tiếp theo của luận văn. 7 Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn CHƢƠNG 1: SINH TRẮC HỌC VÀ BÀI TOÁN NHẬN DẠNG KHUÔN MẶT ỨNG DỤNG TRONG ĐIỂM DANH 1.1. Tổng quan về sinh trắc học Sinh trắc học hay công nghệ sinh trắc học (thuật ngữ khoa học là Biometric) là công nghệ sử dụng những thuộc tính vật lý, đặc điểm sinh học riêng của mỗi cá nhân nhƣ vân tay, mống mắt, khuôn mặt... để nhận diện. Thuật ngữ sinh trắc học (Biometric) đƣợc dùng ghép theo tiếng Hy Lạp từ 2 từ: Bio (thuộc về thực thể sinh vật sống) và metriko (kỹ thuật độ đo, đo lƣờng), thuật ngữ này đã đƣợc hình thành trong quá trình phát triển loài ngƣời và đƣợc biết đến từ lâu để thể hiện các đặc trƣng về thể chất hay về hành vi của từng cá thể con ngƣời. Có nhiều loại đặc trƣng sinh trắc học: vân tay (Fingerprint), lòng bàn tay (Palm print), dạng hình học bàn tay (Hand geometry), chữ ký viết tay (Hand written Signature), khuôn mặt (Face), tiếng nói (Voice), con ngƣơi mắt (Iris), võng mạc (Retina)... Những đặc trƣng này đã đƣợc phát hiện từ rất sớm để nhận dạng, xác thực chủ thể con ngƣời và hiện nay đang đƣợc quan tâm nghiên cứu triển khai ứng dụng trong các lĩnh vực an ninh, quốc phòng, thƣơng mại, công nghiệp, dịch vụ... Các đặc trƣng sinh trắc học của cơ thể ngƣời đƣợc sử dụng phải đảm bảo các tiêu chuẩn sau đây: [1] - Tính rộng rãi: là tính chất cho biết thông thƣờng mọi ngƣời đều có đặc trƣng này, có thể tạo ra khả năng sử dụng hệ thống an ninh sinh trắc học cho một số lƣợng ngƣời lớn. - Tính phân biệt: là tính chất phân biệt đặc trƣng sinh trắc học giữa hai ngƣời bất kỳ phải khác nhau, đảm bảo sự duy nhất của chủ thể sinh trắc. - Tính ổn định: là tính chất mà đặc trƣng sinh trắc phải có tính ổn định trong một thời gian tƣơng đối dài. - Tính dễ thu thập: là tính chất đặc trƣng sinh trắc học phải dễ dàng thu nhận mẫu khi đăng ký, kiểm tra xác thực, nâng cao tính khả thi trong sử dụng. - Tính hiệu quả: là tính chất mà việc xác thực sinh trắc phải chính xác, nhanh chóng và tài nguyên cần sử dụng đƣợc chấp nhận. - Tính chấp nhận đƣợc: là tính chất mà quá trình thu thập mẫu sinh trắc phải đƣợc sự đồng ý của ngƣời dùng. 8 Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn - Chống giả mạo: là tính chất ƣu việt của việc sử dụng đặc trƣng sinh trắc, khả năng mẫu sinh trắc khó bị giả mạo cao... Hình 1.1. Các đặc trưng sinh trắc phổ biến Đã có rất nhiều đặc trƣng sinh học khác nhau đã và đang đƣợc sử dụng. Mỗi loại đặc trƣng sinh trắc có điểm mạnh và điểm yếu riêng. Tuy nhiên không một đặc trƣng nào thỏa mãn tốt và đầy đủ tất cả các yêu cầu tính chất của một đặc trƣng sinh trắc học nêu trên, nghĩa là không có một đặc trƣng sinh trắc học hoàn toàn tối ƣu. Trong một công trình nghiên cứu, các chuyên gia đã đƣa ra một bảng so sánh khái quát các tiêu chuẩn đánh giá các tính chất tƣơng ứng các đặc trƣng sinh trắc học sau đây: [1] Bảng 1.1: So sánh các công nghệ nhận dạng sinh trắc học Tính Tính rộng phân ổn rãi biệt định M M M M M M L M M M H M M M Vân tay M H H M H M M Dáng đi M L L H L H M Khuôn mặt H L M H L H H Võng mạc H H M L H L L Mống mắt H H H M H L L Chỉ tay M H H M H M M Giọng nói M L L M L H H Đặc trƣng sinh trắc học Vân bàn tay Dạng hình học bàn tay Tính dễ thu thập Tính Tính Tính hiệu quả chấp Chống nhận giả mạo đƣợc Trong đó: Các ký hiệu có ý nghĩa nhƣ sau: H (cao), M (trung bình) và L (thấp). 9 Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 1.1.1. Hệ thống sinh trắc học Hình 1.2. Mô hình hệ thống sinh trắc học [2] Một hệ thống sinh trắc học (Biometric System) thực chất là một hệ nhận dạng dựa trên các đặc điểm về hành vi hay thuộc tính vật lý của ngƣời cần nhận dạng. Hệ thống sinh trắc học đƣợc phân ra thành hai loại chính: hệ thẩm định (Verification) và hệ nhận dạng (Identification, Recognition) [1] 1.1.1.1. Hệ thẩm định (Verification) Hệ thẩm định (Verification) là hệ thống thực hiện nhiệm vụ đối sánh 1-1 giữa mẫu sinh trắc học thu nhận đƣợc (biometric sample) với mẫu dạng sinh trắc học (biometric template) đã có trong hệ thống từ trƣớc. Kết quả trả lời câu hỏi mẫu sinh trắc thu nhận có liên quan tới mẫu dạng sinh trắc hay không? Thông thƣờng trong hệ thẩm định có kết hợp với thông tin định danh chủ thể để thực hiện chức năng xác thực 10 Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn thẩm định sinh trắc (Authentication). Trong hệ xác thực thẩm định đòi hỏi cao về độ chính xác để kết quả trả lời câu hỏi “Sinh trắc học sống thu nhận đƣợc (biometric sample) có phải là sinh trắc của chủ thể đã lƣu trong hệ thống không?” [1] 1.1.1.2. Nhận dạng (Identification, Recognition) Hệ nhận dạng (Identification, Recognition) là hệ thống thực hiện chức năng tìm kiếm (1-n) từ một cơ sở dữ liệu lƣu trữ một tập các mẫu sinh trắc học để tìm ra một mẫu sinh trắc cụ thể trong các mẫu khuôn dạng sinh trắc thu thập từ trƣớc và sau đó thực hiện đối sánh xấp xỉ để nhận dạng phân lớp (Classification) hoặc nhận dạng đồng nhất (Identification), ví dụ nhƣ việc tìm mẫu vân tay tội phạm trong hồ sơ các vân tay, từ đó xác định danh tính của chủ sở hữu vân tay. [1] 1.1.1.3. Các thành phần chức năng chủ yếu - Thu nhận (Sensor, Capture): là thành phần có chức năng thu nhận mẫu sinh trắc học và biểu diễn chúng dƣới dạng số hóa. - Xử lý và trích chọn đặc trƣng (Feature Extraction): là thành phần chức năng thực hiện các phép xử lý phân tích và trích chọn các đặc trƣng từ mẫu sinh trắc học. - Đối sánh (Matching): là thành phần chức năng thực hiện so sánh các đặc trƣng vừa trích chọn với khuôn mẫu sinh trắc đã có trƣớc. - Ra quyết định (Decision): là thành phần chức năng khẳng định danh tính ngƣời dùng (với hệ nhận dạng) dựa trên kết quả đối sánh của chức năng đối sánh có thể là một câu trả lời đúng hoặc một câu trả lời sai về mẫu sinh trắc học so với khuôn mẫu sinh trắc có từ trƣớc (với hệ thẩm định). [1] 1.1.1.4. Hoạt động của hệ thống Hoạt động của một hệ thống sinh trắc bao gồm 2 giai đoạn cơ bản sau đây: - Đăng ký (Enrollment): là giai đoạn đăng ký mẫu sinh trắc vào hệ thống. - Thẩm định hoặc nhận dạng (Verification/Identification): là giai đoạn thẩm định, nhận dạng mẫu sinh trắc vừa trích chọn với khuôn mẫu sinh trắc đã có trƣớc. 1.1.2. Đánh giá hiệu năng và chất lƣợng hoạt động của hệ sinh trắc học Một hệ sinh trắc học khi hoạt động thƣờng gặp hai vấn đề về lỗi sau đây: 11 Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn - Lỗi phát sinh khi đối sánh mẫu sinh trắc của hai ngƣời khác nhau nhƣng cho kết quả là của cùng một ngƣời. Lỗi này đƣợc gọi là loại bỏ sai (false reject hay false match). - Lỗi phát sinh khi đối sánh hai mẫu sinh trắc của cùng một ngƣời nhƣng cho kết quả sai, vì cho rằng là của hai ngƣời khác nhau. Lỗi này đƣợc gọi là chấp nhận sai (false accept hay false nonmatch). Để đo lƣờng mức độ lỗi của hệ thống sinh trắc, các độ đo lƣờng thƣờng dùng đƣợc định nghĩa nhƣ sau: - FMR (False Match Rate): còn gọi là FAR (False Accept Ratio) - Tỷ số chấp nhận sai: cho biết tỉ lệ trả lời là đúng đối với dữ liệu vào là sai. - FNMR (False Nonmatch Rate): còn gọi là FRR (False Rejection Ratio). - Tỷ số từ chối sai: cho biết tỉ lệ trả lời là sai đối với dữ liệu vào là đúng. Một vấn đề là hai độ đo lƣờng này có sự ràng buộc với nhau nhƣ sau: nếu FAR cao thì FRR sẽ giảm tƣơng đối và ngƣợc lại. Mức độ chấp nhận đƣợc của FAR và FRR tùy thuộc vào từng hệ xác thực sinh trắc cụ thể. Với hệ yêu cầu tính bảo mật cao, và đặt nặng vấn đề an toàn của xác thực hơn sự tiện dụng của ngƣời dùng, thì FAR sẽ nhỏ và FRR sẽ cao. Ngoài hai độ đo trên, ngƣời ta còn sử dụng độ đo FTC (Failure To Capture - thu nhận mẫu thất bại) và FTE (Failure to Enroll - chấp nhận mẫu thất bại) để đánh giá hiệu năng của hệ xác thực sinh trắc học. [1] Hình 1.3. Các giá trị ngưỡng của FAR và FRR [3] 12 Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 1.1.3. Hệ thống an ninh bảo mật dựa trên sinh trắc học Hệ thống sinh trắc học có những ƣu điểm mà hệ bảo mật thông thƣờng không có, trong những cuộc nghiên cứu hệ thống an ninh, bảo mật dựa trên hệ sinh trắc học (Biometric Security System) đã đƣợc quan tâm nghiên cứu và đƣa vào ứng dụng thực tiễn. Hƣớng nghiên xây dựng hệ thống trên cơ sở kết hợp hệ thống sinh trắc học với hệ mật mã (Biometric Cryptosystem) đang là vấn đề thời sự đƣợc quan tâm nghiên cứu phát triển. Sự kết hợp này nhằm mục tiêu nâng cao tính an toàn của hệ mật mã dựa trên các ƣu điểm của hệ thống sinh trắc học. Hệ thống an ninh, bảo mật sinh trắc học (Biometric based Security System) dựa trên sự nhận biết hoặc thẩm định các đặc trƣng về thể chất hay về hành vi con ngƣời để nhận dạng, xác thực từng chủ thể. Cùng với sự phát triển nhanh chóng của CNTT và truyền thông, hệ thống an ninh dựa trên nhận dạng, thẩm định xác thực sinh trắc học đã và đang đƣợc quan tâm nghiên cứu và có nhiều triển khai ứng dụng trong những năm gần đây trên thế giới. Đối với các giao dịch điện tử và truyền thông, đây là một trong các hƣớng tiếp cận mới về an ninh thông tin và mạng, an toàn dữ liệu. Phƣơng pháp này mở ra triển vọng lớn về an toàn trong các giao dịch điện tử, chính phủ điện tử, thƣơng mại điện tử... [1] Các lĩnh vực nghiên cứu về hệ thống an ninh sinh trắc học (Biometric Security Systems). - Các các nghiên cứu cơ bản về các loại sinh trắc học, về phƣơng pháp trích chọn đặc trƣng sinh trắc và về nhận dạng, thẩm định xác thực chủ thể con ngƣời. - Các hệ nhận dạng, thẩm định xác thực sinh trắc học chủ thể trong hệ thống. - Mật mã sinh trắc học (Biometric Cryptography). Trong hệ mật mã thông thƣờng, điểm yếu thƣờng ở quá trình bảo vệ, quản lý và phân phối khóa. Nguy cơ này đe dọa các mục tiêu về xác thực và chống phủ nhận. Hệ sinh trắc học đƣợc ứng dụng giải quyết vấn đề đó. Hiện nay có hai hƣớng tiếp cận để kết hợp sinh trắc học và mật mã học nhƣ sau: [1] - Dùng sinh trắc học quản lý khóa (biometric-based key release). - Dùng sinh trắc học để tạo khóa (biometric-based key generation). 1.2. Phát hiện và nhận dạng khuôn mặt Vấn đề nhận dạng mặt ngƣời có thể trình bày một cách tổng quan nhƣ sau: Cho một ảnh tĩnh hay một đoạn video, hãy phát hiện và nhận ra những ngƣời trong ảnh hay 13 Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn trong đoạn video đó dựa trên một tập cho trƣớc các dữ liệu về các mặt ngƣời đã biết. Giải pháp cho vấn đề này bao gồm bốn vấn đề: phát hiện các mặt ngƣời từ ảnh (video), trích chọn đặc trƣng từ vùng ảnh, nhận dạng ảnh và xác minh. Với quá trình nhận dạng, đầu vào là một ảnh chƣa biết, sau quá trình nhận dạng, hệ thống đƣa ra định danh về ngƣời trong ảnh và trong quá trình xác minh, hệ thống phải đƣợc xác định rằng việc nhận dạng đấy là chính xác hay không. Về mặt tổng quát, mỗi phƣơng pháp nhận dạng mặt ngƣời đều có thể đƣợc chia thành 2 module: Module phát hiện mặt ngƣời trong ảnh và module nhận dạng mặt ngƣời. Đƣợc khởi đầu vào những năm 70, nhận dạng mặt ngƣời là một trong những ứng dụng của phân tích và xử lý ảnh đạt đƣợc nhiều thành tựu nhất. Trong thời gian gần đây, do sự phát triển nhƣ vũ bão của khoa học máy tính và yêu cầu thực tiễn trong các lĩnh vực kinh tế, luật pháp…, vấn đề nhận dạng mặt ngƣời đang đƣợc đặc biệt chú ý. Một loạt các hội thảo đƣợc tổ chức bàn về vấn đề này nhƣ AFGR, AVBPA và những đánh giá mang tính hệ thống về các kỹ thuật nhận dạng mặt ngƣời (Face Recognition Techniques - FRT), bao gồm phƣơng pháp FERET và XM2VTS. Nhu cầu cấp thiết về các hệ thống thân thiện với ngƣời sử dụng đã đảm bảo cho các nghiên cứu về sau không bị lãng phí trong hàng loạt những nghiên cứu đã đƣợc thực thi trƣớc đó. Hiện nay, để rút tiền từ ATM ta phải nhập PIN, hay để truy cập một máy tính ta phải nhập mật khẩu hay hàng loạt phƣơng pháp khác để truy cập vào Internet. Hiện đã có hàng loạt các phƣơng pháp nhận dạng có độ tin cậy cao dựa vào các kỹ thuật nhân trắc học; chẳng hạn nhƣ, kỹ thuật phát hiện vân tay hay kỹ thuật quét nhận dạng võng mạc. Tuy nhiên, những hệ thống này có chung nhƣợc điểm là phức tạp và yêu cầu cần có sự phối hợp của nhiều ngƣời cùng xử lý. Bên cạnh đó, một hệ thống nhận dạng dựa trên kỹ thuật phân tích ảnh mặt nhìn thẳng của một ngƣời sẽ đơn giản hơn nhiều, không đòi hỏi có nhiều ngƣời cùng xử lý và cũng không đòi hỏi các kiến thức chuyên môn sâu. Chính vì thế, hệ thống nhận dạng ngƣời dựa trên kỹ thuật phân tích ảnh mặt đang ngày càng đƣợc ứng dụng rộng rãi. Bảng 1.2. Các ứng dụng tiêu biểu của nhận dạng mặt người. Lĩnh vực Các ứng dụng đặc trƣng Driver’s licences, Entitlement Programs Nhân trắc học Immigration, National ID, Passports, Voter Registration 14 Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn Welfare Desktop Logon (Windows 95, Windows NT) Application Security, Database Security, File Encryption An toàn thông tin Intranet Security, Internet Access, Medical Records Secure Trading Terminals Advanced Video Surveillance, CCTV Control Law Enforcement and Surveillance Portal Control, Post-Event Analysis Shoftlifting and Suspect Tracking and Investigation SmartCards Access Control Stored Value Security, User Authentification Facility Access, Vehicular Access Một hệ thống nhận dạng mặt ngƣời điển hình bao gồm các thành phần chính nhƣ Hình 1.4. Ảnh mặt ngƣời Trích chọn đặc trƣng Nhận dạng mặt ngƣời Thông tin ngƣời đƣợc nhận dạng Hình 1.4. Mô hình hệ thống nhận dạng mặt người. Nhận dạng mặt ngƣời (Face recognition) đƣợc nghiên cứu từ những năm 1980, là một lĩnh vực nghiên cứu của ngành thị giác máy tính (Computer Vision) và cũng đƣợc xem là một lĩnh vực nghiên cứu của ngành sinh trắc học (Biometrics) tƣơng tự nhƣ nhận dạng vân tay (Fingerprint recognition), hay nhận dạng mống mắt (Iris recognition)… Trong khi nhận dạng vân tay và mống mắt có thể áp dụng trên thực tế một cách rộng rãi thì nhận dạng mặt ngƣời vẫn còn nhiều thách thức. So với nhận dạng vân tay và mống mắt, nhận dạng mặt có nguồn dữ liệu phong phú hơn và ít đòi hỏi sự tƣơng tác có kiểm soát hơn. Bài toán nhận dạng mặt ngƣời còn nhiều thách thức nên hàng năm trong và ngoài nƣớc vẫn có nhiều nghiên cứu về các phƣơng pháp nhận dạng mặt ngƣời. 15 Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn Nhận dạng khuôn mặt là một nhiệm vụ dễ dàng đối với con ngƣời. Thí nghiệm trong [9] đã chỉ ra, ngay cả trẻ sơ sinh 1-3 ngày tuổi có thể phân biệt khuôn mặt. Nhƣng làm thế nào với một máy tính? Cho đến nay chúng ta biết rất ít về nhận dạng con ngƣời. Có phải đặc điểm bên trong (mắt, mũi, miệng) hoặc các đặc điểm bên ngoài (hình dạng đầu, chân tóc) đƣợc sử dụng cho một nhận dạng khuôn mặt. Bộ não con ngƣời phân tích một hình ảnh và mã hóa nhƣ thế nào? Theo nghiên cứu đƣợc bởi David Hubel và Torsten Wiesel, rằng não của chúng ta có tế bào thần kinh chuyên biệt phản ứng với từng hoàn cảnh cụ thể, chẳng hạn nhƣ đƣờng, cạnh, góc độ hoặc chuyển động. Vì chúng ta không nhìn thấy thế giới nhƣ những mảnh phân tán, vỏ não của chúng ta bằng cách nào đó phải kết hợp các nguồn thông tin khác nhau vào các mẫu hữu ích. Nhận diện khuôn mặt tách ra những đặc điểm có ý nghĩa từ một hình ảnh, đƣa chúng vào một sự biểu diễn hữu ích và thực hiện một số phân loại. 1.3. Những khó khăn và thách thức trong bài toán nhận dạng khuôn mặt Việc xác định khuôn mặt ngƣời có những khó khăn nhất định nhƣ: - Hƣớng (pose) của khuôn mặt đối với máy ảnh, nhƣ: nhìn thẳng, nhìn nghiêng hay nhìn từ trên xuống. Cùng trong một ảnh có thể có nhiều khuôn mặt ở những tƣ thế khác nhau. - Sự có mặt của các chi tiết không phải là đặc trƣng riêng của khuôn mặt ngƣời, nhƣ: râu quai nón, mắt kính... - Các nét mặt (facial expression) khác nhau trên khuôn mặt, nhƣ: vui, buồn, ngạc nhiên... - Mặt ngƣời bị che khuất bởi các đối tƣợng khác có trong ảnh. - Sự biểu cảm của khuôn mặt (The expression of the face): sự biểu cảm có thể làm thay đổi đáng kể các đặc trƣng và thông số của khuôn mặt, ví dụ nhƣ khuôn mặt của cùng một ngƣời sẽ rất khác khi ngƣời đó cƣời, tức giận hay sợ hãi… 1.4. Các ứng dụng của bài toán nhận dạng khuôn mặt Xác định mặt ngƣời thƣờng là một phần của một hệ thống (facial recognition system) [4]. Nó thƣờng đƣợc dùng trong giám sát video, giao tiếp ngƣời - máy và quản lý cơ sở dữ liệu ảnh…  Các ứng dụng cơ bản của xác định mặt ngƣời có thể kể đến là: 16 Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn - Xác minh tội phạm: Dựa vào ảnh của một ngƣời, nhận dạng xem ngƣời đấy có phải là tội phạm hay không bằng cách so sách với các ảnh tội phạm đang đƣợc lƣu trữ. Hoặc có thể sử dụng camera để phát hiện tội phạm trong đám đông. Ứng dụng này giúp cơ quan an ninh quản lý con ngƣời tốt hơn. - Camera chống trộm: Các hệ thống camera sẽ xác định đâu là con ngƣời và theo dõi xem con ngƣời đó có làm gì phạm pháp không, ví dụ nhƣ lấy trộm đồ, xâm nhập bất hợp pháp vào một khu vực nào đó. - Bảo mật: Các ứng dụng về bảo mật rất đa dạng, một trong số đó là công nghệ nhận dạng mặt ngƣời của laptop, công nghệ này cho phép chủ nhân của máy tính chỉ cần ngồi trƣớc máy là có thể đăng nhập đƣợc. Để sử dụng công nghệ này, ngƣời dùng phải sử dụng một webcam để chụp ảnh khuôn mặt của mình và cho máy “học” thuộc các đặc điểm của khuôn mặt giúp cho quá trình đăng nhập sau này. - Lƣu trữ khuôn mặt: Xác định mặt ngƣời có thể đƣợc ứng dụng trong các trạm rút tiền tự động (ATM) để lƣu trữ khuôn mặt của ngƣời rút tiền. Hiện nay có những ngƣời bị ngƣời khác lấy trộm thẻ ATM, mã PIN và bị rút tiền trộm hoặc có những chủ tài khoản đi rút tiền nhƣng lại báo với ngân hàng là bị mất thẻ và bị rút tiền trộm. Nếu lƣu trữ đƣợc khuôn mặt của ngƣời rút tiền, ngân hàng có thể đối chứng và xử lý dễ dàng hơn.  Một số ứng dụng khác: - Điều khiển vào ra: Văn phòng, công ty, trụ sở, máy tính, Palm,… kết hợp thêm vân tay và mống mắt, cho phép nhân viên đƣợc ra vào nơi cần thiết. - An ninh sân bay, xuất nhập cảnh (hiện nay cơ quan xuất nhập cảnh Mỹ đang sử dụng). Dùng camera quan sát để xác thực ngƣời nhập cảnh và kiểm tra xem ngƣời đó có phải là tội phạm hay phần tử khủng bố không. - Tìm kiếm và tổ chức dữ liệu liên quan đến con ngƣời thông qua khuôn mặt ngƣời trên nhiều hệ cơ sở dữ liệu lƣu trữ thật lớn, nhƣ internet, các hãng truyền hình… Ví dụ: tìm các đoạn video có tổng thống Obama phát biểu, tìm các phim có diễn viên Thành Long đóng… 17 Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn - Kiểm tra trạng thái ngƣời lái xe có ngủ gật, mất tập trung hay không và hỗ trợ thông báo khi cần thiết. - Tƣơng lai sẽ phát triển các loại thẻ thông minh có tích hợp sẵn đặc trƣng của ngƣời dùng trên đó, khi bất cứ ngƣời dùng khác dùng để truy cập hay xử lý tại các hệ thống sẽ đƣợc yêu cầu kiểm tra các đặc trƣng khuôn mặt so với thẻ để biết ngƣời này có phải là chủ thẻ hay không. - Hãng máy chụp hình Canon đã ứng dụng bài toán xác định khuôn mặt ngƣời vào máy chụp hình thế hệ mới để cho kết quả hình ảnh đẹp hơn, nhất là khuôn mặt ngƣời. 1.5. Bài toán điểm danh dựa trên khuôn mặt 1.5.1. Bài toán điểm danh và quản lý nhân sự Trong thời đại ngày nay, cùng với sự phát triển của khoa học kỹ thuật và xu hƣớng công nghiệp hóa, hiện đại hóa: máy móc đang và sẽ tiếp tục thay thế con ngƣời trong những công việc nặng nhọc và mang tính lặp đi lặp lại. Máy móc có những ƣu điểm không thể phủ nhận nhƣ không biết mệt mỏi, sẵn sàng phục vụ liên tục, không mang tính chủ quan, khả năng xử lý nhanh, lƣu trữ lớn... Đối với bài toán điểm danh, chấm công với mục tiêu chủ yếu là kiểm soát nguồn nhân lực về thời gian. Các nhà quản lý quan tâm tới hai vấn đề chính là một lao động tên là “A” có mặt hay không, có đúng giờ hay không, “A” có làm đủ số giờ quy định hay không?. Để giải quyết bài toán này thông thƣờng các công ty, doanh nghiệp, các nhà quản lý sẽ sử dụng một nhóm ngƣời có chức năng chấm công và quản lý hoặc sử dụng một hệ thống sinh trắc học. Đối với việc sử dụng con ngƣời có rất nhiều nhƣợc điểm nhƣ: chi phí lớn, tính khách quan không cao, không hoạt động tốt liên tục trong nhiều giờ liền, không thể sử dụng với phạm vi lớn (một cán bộ chấm công không thể nhớ đƣợc quá nhiều ngƣời, đặc biệt với những ngƣời mới gặp vài lần)... Vì thế các hệ thống sinh trắc học tỏ ra khá hiệu quả và là lựa chọn hàng đầu trong bài toán này. Với sự hỗ trợ của camera, máy tính và phần mềm điểm danh, nhà quản lý thu đƣợc thông tin về sự có mặt và thời gian làm việc của ngƣời lao động một cách chính xác và khách quan với chi phí thấp. Việc áp dụng nhận dạng khuôn mặt có thể đƣợc sử dụng một cách độc lập với ƣu điểm hơn các phƣơng pháp sinh trắc học khác ở tính tự nhiên 18 Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn của nó, đồng thời đây cũng có thể là một phƣơng pháp đƣợc sử dụng kết hợp với các phƣơng pháp sinh trắc khác để nâng cao tính chính xác của hệ thống khi vận hành. 1.5.2. Đầu vào của bài toán Với bài toán điểm danh, trong nội dung luận văn tôi lựa chọn phƣơng pháp nhận dạng khuôn mặt làm cơ sở để xây dựng hệ thống. Với đầu vào là ảnh của ngƣời cần đƣợc điểm danh hệ thống sẽ nhận diện hình ảnh và đoán nhận chính xác tên của ngƣời có trong ảnh, từ đó là cơ sở để điểm danh. Nhƣ vậy, đầu vào của bài toán là ảnh thu đƣợc từ camera đặt ở vị trí quan sát. Vị trí này thƣờng là trƣớc cửa của cơ quan, doanh nghiệp, đây thƣờng là lối vào duy nhất của đơn vị cần đƣợc điểm danh. Trong trƣờng hợp có nhiều cửa vào cho một đơn vị cần đƣợc điểm danh, hệ thống sẽ thiết đặt các camera tại các cổng vào. Kết quả điểm danh sẽ là kết quả tổng hợp của các camera tại các vị trí khác nhau. Trong trƣờng hợp ngƣời quản lý cần xác định rõ thời gian làm việc của lao động (cần xác định rõ thời gian vào và thời gian ra của một ngƣời) thì hệ thống cần thiết đặt hai camera trên một cổng, một camera hƣớng ra để điểm danh ngƣời lao động khi vào và một camera hƣớng vào trong để điểm danh ngƣời lao động khi ra khỏi khu vực làm việc. Hiệu thời gian của lần ra và lần vào sẽ là thời gian ngƣời cần đƣợc điểm danh có mặt tại khu vực làm việc. Để đảm bảo hệ thống làm việc hiệu quả, chính xác cần xây dựng các tiêu chuẩn cơ bản để hệ thống làm việc. Đây là thiết lập cần thiết để nâng cao tính chính xác và khả năng làm việc của hệ thống. Các thiết đặt này xuất phát từ chính các khó khăn tồn tại trong các thuật toán xác định và nhận diện khuôn mặt hiện này: - Các khuôn mặt đƣợc chụp thẳng hoặc góc nghiêng không đáng kể (nhỏ hơn hoặc bằng 10o). - Phông nền của ảnh không quá phức tạp. - Ảnh đƣợc chụp trong điều kiện ánh sáng bình thƣờng. - Ngƣời đƣợc điểm danh không có các vật dụng với độ che phủ cao trên khuôn mặt (kính đen, khẩu trang, râu giả...). - Không mang vác ảnh có mặt ngƣời qua khu vực điểm danh (sử dụng ảnh 2D chụp ngƣời để điểm danh hộ, hoặc gây nhầm lẫn trong hệ thống) 19 Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 1.5.3. Đầu ra và ý nghĩa thực tiễn Bài toán điểm danh với đầu vào là ảnh thu đƣợc từ camera, dựa trên công nghệ sinh trắc học nhận diện qua khuôn mặt sẽ trả lại kết quả là một danh sách tên ngƣời lao động, trong đó mỗi một đối tƣợng ngƣời lao động tồn tại hai trạng thái là đƣợc điểm danh và không đƣợc điểm danh. Để xác định một đối tƣợng cần đƣợc điểm danh ở trạng thái nào, hệ thống dựa trên một tập các ảnh đƣợc lƣu trong cơ sở dữ liệu, trong quá trình nhận dạng đối tƣợng đi qua và nhìn về phía camera. Hệ thống nhận diện khuôn mặt thu đƣợc từ camera và xác định xem đối tƣợng có nằm trong danh sách điểm danh hay không, nếu có đối tƣợng tƣơng ứng đƣợc xác định trạng thái là “có mặt”. Ngƣợc lại nếu đối tƣợng cần điểm danh không xuất hiện trong thời gian điểm danh thì trạng thái của đối tƣợng tại phiên làm việc đó đƣợc xác định trạng thái là “vắng”. Nhƣ vậy, đầu ra tổng quát của bài toán là xác định hình ảnh ngƣời trong ảnh vào có tƣơng ứng với một định danh ảnh đã có trong cơ sở dữ liệu hay không. Nếu có định dang tƣơng ứng là gì. Dựa trên một định danh đƣợc cung cấp bởi hệ thống nhận dạng ta xây dựng chƣơng trình điểm danh với hai trạng thái cơ bản là “vắng” và “có mặt”. Nếu trong phiên làm việc định danh đƣợc hệ thống xác nhận thì trạng thái đƣợc xác định là có mặt và ngƣợc lại. Trong trƣờng hợp cần xác định thời gian làm việc của đối tƣợng đang theo dõi ta cần xác định thêm tham số thời gian khi đối tƣợng đƣợc hệ thống định danh theo chiều vào và thời gian khi đối tƣợng đƣợc hệ thống định danh theo chiều ra. 20 Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn