ĐẠI HỌC QUỐC GIA
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
Nguyễn Thị Lan Hương
PHÁT HIỆN - PHÂN LOẠI - THEO DÕI
ĐỐI TƯỢNG CHUYỂN ĐỘNG TRONG HỆ THỐNG
GIÁM SÁT THÔNG MINH
KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY
Ngành: Công Nghệ Thông Tin
HÀ NỘI – 2006
ĐẠI HỌC QUỐC GIA
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
Nguyễn Thị Lan Hương
PHÁT HIỆN - PHÂN LOẠI - THEO DÕI
ĐỐI TƯỢNG CHUYỂN ĐỘNG TRONG HỆ THỐNG
GIÁM SÁT THÔNG MINH
KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY
Ngành: Công Nghệ Thông Tin
Cán Bộ Hướng Dẫn: PGS-TS. Nguyễn Văn Vỵ
HÀ NỘI – 2006
LỜI CẢM ƠN
Trước tiên, chúng em muốn gửi lời cảm ơn sâu sắc nhất đến thầy giáo PGSTS. Nguyễn Văn Vỵ, người đã tận tình hướng dẫn em trong suốt quá trình học tập và
làm khóa luận tốt nghiệp.
Chúng em xin bày tỏ lời cảm ơn sâu sắc đến những thầy cô giáo đã giảng dạy
chúng em trong suốt bốn năm qua, những kiến thức mà chúng em nhận được trên
giảng đường đại học sẽ là hành trang giúp chúng em vững bước trong tương lai.
Chúng tôi muốn gửi lời cảm ơn sâu sắc đến tất cả bạn bè, và đặc biệt là tập thể
lớp K47CA , những người luôn bên chúng tôi trong suốt những tháng năm học tập và
rèn luyện.
Cuối cùng chúng con xin gửi tới bố mẹ, anh, chị, em và toàn thể gia đình lòng
biết ơn và tình cảm yêu thương nhất. Những người luôn kịp thời động viên giúp chúng
con vượt qua những khó khăn trong cuộc sống.
Hà nội, ngày 20/5/2006
Nhóm Sinh viên:
TrầnNguyên Khải
La Tuấn Dũng
Nguyễn Thị Lan Hương
-i-
LỜI CAM ĐOAN
Chúng tôi xin cam đoan khoá luận tốt nghiệp là do chúng tôi tự làm, không sao
chép ở các tài liệu đã có. Những phần có sử dụng tài liệu trong khoá luận sẽ ghi rõ tên
tài liệu trong phần tài liệu tham khảo. Mã nguồn thực hiện đều ghi rõ phần tham khảo
và phần thực hiện.
Hà nội, ngày 20 tháng 5 năm 2006
Nhóm sinh viên:
Trần Nguyên Khải
La Tuấn Dũng
Nguyễn Thị Lan Hương
- ii -
TÓM TẮT
Hệ thống giám sát thông minh đang là bài toán thu hút nhiều sự quan tâm và
nghiên cứu trong những năm gần đây. Phát hiện, phân loại và theo dõi đối tượng
chuyển động là các quá trình cơ bản trong quá trình xử lý hình ảnh – cốt lõi của hệ
thống giám sát thông minh bằng hình ảnh. Các quá trình này có quan hệ mật thiết với
nhau, quyết định hiệu quả, tính chính xác của hệ thống giám sát thông minh.
Trong khóa luận tốt nghiệp này chúng tôi tập trung trình bày quá trình xử lý
hình ảnh qua việc thực hiện giải quyết ba bài toán: phát hiện, phân loại và theo dõi đối
tượng chuyển động. Chúng tôi đề xuất hướng giải quyết các bài toán bằng các phương
pháp, thuật toán khác nhau từ đó đưa ra đánh giá cho từng bài toán cụ thể. Đồng thời,
chúng tôi thiết kế và xây dựng thành công module giải quyết được hai bài toán phát
hiện và theo dõi đối tương chuyển động. Từ đó, chúng tôi tiến hành thực nghiệm để
đưa ra đánh giá khách quan nhất cho các khối xử lý hình ảnh trong một hệ thống giám
sát thông minh.
Từ khóa: Object Detection, Object Tracking, Object Classification, Video
Tracking, Video Surveillance
- iii -
MỤC LỤC
LỜI CẢM ƠN....................................................................................................................i
TÓM TẮT........................................................................................................................iii
MỤC LỤC........................................................................................................................iv
DANH MỤC HÌNH VẼ VÀ BẢNG BIỂU..................................................................viii
LỜI NÓI ĐẦU..................................................................................................................1
CHƯƠNG 1......................................................................................................................4
TỔNG QUAN VỀ BÀI TOÁN GIÁM SÁT THÔNG MINH.........................................4
1.1. Giới thiệu...............................................................................................................4
1.1.1. Giới thiệu hệ thống theo dõi giám sát thông minh.........................................4
1.1.2. Các bài toán cần giải quyết.............................................................................4
1.2. Khái quát các bài toán cần giải quyết....................................................................5
CHƯƠNG 2......................................................................................................................8
MỘT SỐ KỸ THUẬT CHO BÀI TOÁN PHÁT HIỆN, PHÂN LOẠI VÀ THEO DÕI
ĐỐI TƯỢNG CHUYỂN ĐỘNG......................................................................................8
2.1. Tổng quan bài toán phát hiện, phân loại, theo dõi đối tượng chuyển động..........8
2.1.1. Bài toán phát hiện đối tượng chuyển động....................................................8
2.1.1.1. Các khái niệm cơ bản về video...............................................................8
2.1.1.1.1 Color..................................................................................................9
2.1.1.1.2. Texture............................................................................................10
2.1.1.1.3. Shape...............................................................................................10
2.1.1.1.4. Motion.............................................................................................10
2.1.1.2. Phát hiện đối tương chuyển động là gì?................................................11
2.1.1.2.1. Phát hiện các vùng ảnh nổi.............................................................11
2.1.1.2.2. Xử lý các vùng ảnh nổi...................................................................12
2.1.1.3. Các vấn đề phải giải quyết....................................................................13
2.1.1.3.1. Phát hiện các vùng ảnh nổi............................................................13
2.1.1.3.1.1. Các phương pháp trừ ảnh nền (Background subtraction)..................13
2.1.1.3.1.2. Các phương pháp thông kê (Statistical Methods)..............................14
2.1.1.3.1.3. Phương pháp chênh lệch tạm thời (Temporal Differencing)............15
2.1.1.3.2. Xử lý các vùng ảnh nổi...................................................................16
2.1.2. Bài toán phân loại đối tượng........................................................................18
2.1.2.1 Phân loại đối tượng là gì?.......................................................................18
2.1.2.1.1. Phân loại dựa trên hình dạng( Shape- based Classification).........18
- iv -
2.1.2.1.2. Phân loại dựa trên chuyển động( Motion- based Classification). .19
2.1.2.2. Một số phương pháp phân loại phổ biến...............................................20
2.1.2.2.1. Phương pháp dựa trên hình dạng( Shape- based)..........................20
2.1.2.2.1.1. Cấu trúc tổng quát của phương pháp.................................................21
2.1.2.2.1.2. Phân loại đối tượng............................................................................22
2.1.2.2.1.3. Nhất quán thời gian( Temporal Consistency)....................................23
2.1.2.2.1.4. Độ đo phân loại.................................................................................23
2.1.2.2.1.5. Phân loại mục tiêu.............................................................................25
2.1.2.2.2. Phương pháp phân loại dựa trên chuyển động...............................26
2.1.2.2.3. Phương pháp phân loại kết hợp các đặc trưng dựa trên bề ngoài và
chuyển động....................................................................................................28
2.1.3. Bài toán theo vết đối tượng..........................................................................29
2.1.3.1. Theo vết đối tượng là gì?.......................................................................29
2.1.3.1.1. Chính xác hoá đối tượng tương ứng( Object matching)...............30
2.1.3.1.2. Xử lý nhập nhằng – Occlusion.......................................................31
2.1.3.1.3. Dự đoán chuyển động.....................................................................32
2.1.3.2. Các vấn đề phải giải quyết....................................................................34
2.1.3.2.1. Chính xác hoá đối tượng tương ứng – Object matching...............34
2.1.3.2.2. Dự đoán chuyển động của đối tượng.............................................35
2.1.3.2.2.1. Kalman Filtering................................................................................35
2.1.3.2.2.2. Mean – shift tracking.........................................................................36
2.2. Đề xuất phương pháp giải quyết..........................................................................38
CHƯƠNG 3....................................................................................................................40
CÁC GIẢI PHÁP LỰA CHỌN CHO VẤN ĐỀ ĐẶT RA............................................40
3.1. Bài toán phát hiện đối tượng chuyển động..........................................................40
3.1.1. Thiết kế các khối xử lý.................................................................................41
3.1.1.1. Khối phát hiện các vùng ảnh nổi...........................................................42
3.1.1.1.1. Mô hình trừ ảnh nền thích hợp.......................................................43
3.1.1.1.2. Mô hình của Stauffer và Grimson.................................................44
3.1.1.1.3. Mô hình chênh lệch tạm thời..........................................................47
3.1.1.2. Khối xử lý các vùng ảnh nổi.................................................................48
3.1.1.2.1. Tiền xử lý mức điểm ảnh................................................................49
3.1.1.2.2. Phát hiện các sự liên kết giữa các khối..........................................53
3.1.1.2.3. Tiền xử lý ở mức khối ảnh nổi.......................................................54
3.1.1.2.4. Đưa ra tính chất của các đối tượng được phát hiện.......................55
3.1.2. Kết luận.........................................................................................................56
-v-
3.2. Bài toán phân loại đối tượng...............................................................................56
3.2.1. Phân loại dựa trên các mẫu hình chiếu.........................................................57
3.2.1.1. Trích rút hình chiếu của đối tượng........................................................58
3.2.1.2. Cơ sở dữ liệu mẫu các hình chiếu.........................................................58
3.2.1.3. Độ đo phân loại......................................................................................61
3.2.1.4. Sự nhất quán thời gian...........................................................................63
3.3. Bài toán theo vết đối tượng chuyển động............................................................65
3.3.1. Khối chính xác hoá đối tượng tương ứng....................................................66
3.3.2. Khối xử lý nhập nhằng giữa các đối tượng..................................................70
3.3.2.1. Phát hiện đối tượng kết hợp..................................................................70
3.3.2.2. Phát hiện các đối tượng tách nhau ra....................................................71
3.3.2.3. Xác định nhập nhằng dựa vào biểu đồ màu..........................................71
3.3.3. Khối dự đoán chuyển động của đối tượng...................................................73
3.3.3.1. Áp dụng thuật toán Kalman Filter, Mean – shift, SSD vào bài toán dự
đoán chuyển động của đối tượng........................................................................73
3.3.3.1.1. Dự đoán các tham số chuyển động của đối tượng trong mô hình
SSD – MS.......................................................................................................75
3.3.3.1.2. Độ lớn tỉ lệ.....................................................................................77
3.3.3.1.3. Cập nhật mô hình mục tiêu............................................................78
3.3.3.1.4. Tổng kết thuật toán SSD - MS.......................................................78
3.4. Kết chương...........................................................................................................79
CHƯƠNG 4....................................................................................................................80
THỰC NGHIỆM............................................................................................................80
4.1. Môi trường thực nghiệm......................................................................................80
4.2. Dữ liệu thực nghiệm............................................................................................80
4.2.1. Dữ liệu thực nghiệm cho module phát hiện đối tượng chuyển động..........81
4.2.1.1 Các dữ liệu trong điều kiện quan sát ít nhiễu.........................................81
4.2.1.2. Các dữ liệu trong điều kiện quan sát nhiều nhiễu.................................83
4.2.2. Dữ liệu thực nghiệm cho module theo dõi đối tượng chuyển động............83
4.2.2.1. Dữ liệu thực nghiệm chính xác hóa đối tượng chuyển động................83
4.2.2.2. Dữ liệu thực nghiệm về sự nhập nhằng trong chuyển động của nhiều
đối tượng.............................................................................................................84
4.2.2.3. Dữ liệu thực nghiệm vẽ đường chuyển động của đối tượng................84
4.3. Cài đặt và thực nghiệm........................................................................................85
4.3.1. Cài đặt chương trình.....................................................................................85
- vi -
4.3.2. Giao diện chương trình.................................................................................86
4.3.3. Kết quả thực nghiệm.....................................................................................88
4.3.2.1. Thực nghiệm 1: Phát hiện đối tượng chuyển động...............................88
4.3.2.1.1. Với dữ liệu trong điều kiện quan sát ít nhiễu.................................88
4.3.2.1.2. Với dữ liệu trong điều kiện quan sát nhiều nhiễu..........................90
4.3.2.2. Thực nghiệm 2: Theo dõi đối tượng chuyển động................................90
4.3.2.2.1. Chính xác hóa đối tượng................................................................90
4.3.2.2.2. Các vấn đề về chuyển động chồng chéo, nhập nhằng...................92
4.3.2.2.3. Vẽ đường chuyển động của đối tượng...........................................93
4.4. Đánh giá kết quả thực nghiệm.............................................................................93
4.4.1. Thực nghiệm phát hiện đối tượng chuyển động..........................................93
4.4.1.1. Các dữ liệu ít nhiễu................................................................................93
4.4.1.2. Các dữ liệu nhiều nhiễu.........................................................................94
4.4.2. Thực nghiệm theo dõi đối tượng chuyển động............................................95
KẾT LUẬN.....................................................................................................................96
Các kết quả đã đạt được..............................................................................................96
Hạn chế........................................................................................................................96
Hướng phát triển trong tương lai................................................................................97
TÀI LIỆU THAM KHẢO..............................................................................................98
- vii -
DANH MỤC HÌNH VẼ VÀ BẢNG BIỂU
Hình 1-1: Mô hình các bài toán cần giải quyết trong hệ thống giám sát..................6
Hình 2-1: Cấu trúc phân đoạn video............................................................................8
Hình 2-2: Chuyển đổi Lia giữa khung hình thứ 3 và thứ 4........................................9
Hình 2-3: Bốn khung hình khác nhau song có cùng một biểu đồ màu...................10
Hình 2-4: Tổng quan các khối xử lý trong bài toán phát hiện đối tượng...............11
Hình 2-5: Phát hiện các vùng ảnh nổi.........................................................................12
Hình 2-6: Xử lý các vùng ảnh nổi (Foreground Processing)....................................12
Hình 2-7: Mô tả nhược điểm của phương pháp chênh lệch tạm thời.....................15
Hình 2-8: Xử lý các vùng ảnh nổi................................................................................17
Hình 2-9: Tổng quan của một hệ thống xác định và theo dõi..................................22
Hình2-10: Các giá trị thông thường của độ phân tán cho người và xe cộ..............24
Hình 2-11: Dữ liệu phân loại bi- viriate mẫu training qua 400 ảnh........................25
Hình 2-12: Quá trình phân loại, phải sau một vài khung hình đối tượng mới được
xác định đúng........................................................................................................26
Hình 2-13: Các đường viền của mục tiêu được sự dụng cho việc trích rút các đặc
trưng chuyển động................................................................................................26
Hình 2-14: (a) Elip vừa khớp( fitted elipse) (b) Khung hình sao (c) Biều đồ luồng
phân loại.................................................................................................................28
Hình 2-15: Tổng quan các khối xử lý trong bài toán theo vết đối tượng................30
Hình 2-16: Minh hoạ sự chính xác hoá đối tượng.....................................................31
Hình 2-17. Một ví dụ theo vết có sự nhập nhằng.......................................................32
Hình 2-18: Theo vết đối tượng ứng dụng trong hệ thống giám sát giao thông......33
Hình 2-19: Dự đoán trạng thái hiện tại dựa vào Kalman Filter..............................36
Hình 2-20: Biểu đồ xác định giá trị lớn nhất của hàm mật độ ...............................37
Hình 2-21: Biểu đồ xác định giá trị lớn nhất của hàm mật độ trong khoảng nào đó
2...............................................................................................................................38
Hình 3-1: Phương pháp tích hợp giải quyết bài toán...............................................40
Hình 3-2: Mô hình chi tiết các khối xử lý...................................................................41
Hình 3-3: Khối phát hiện vùng ảnh nổi......................................................................42
Hình 3-4: Minh họa thuật toán trừ ảnh.....................................................................44
Hình 3-5: Minh họa quá trình xử lý các vùng ảnh nổi.............................................48
Hình 3-6: Chi tiết khối xử lý vùng ảnh nổi.................................................................49
Hình 3-7: Vector RGB cho điểm ảnh ở vị trí x..........................................................51
Hình 3-8: Xử lý loại bỏ bóng........................................................................................52
Hình 3-9: Hai khung cảnh liên tiếp khi ánh sáng thay đổi......................................53
Hình 3-10: Liên kết các khối ảnh nổi..........................................................................54
Hình 3-11: Sơ đồ khối của phương pháp phân loại dựa trên hình chiếu...............57
Hình 3-12: Các vùng đối tượng cận cảnh phát hiện được mẫu và các hình chiếu
được trích rút........................................................................................................58
Hình 3-13: Hình chiếu mẫu trong cơ sở dữ liệu mẫu với các nhãn.........................59
- viii -
Hình 3-14: Hình chiếu đối tượng mẫu và các dấu hiệu khoảng cách gốc và co
giãn.........................................................................................................................61
Hình 3-15: Ví dụ phân loại đối tượng.........................................................................63
Hình 3-16: Lưu đồ kiểu đối tượng cho một đối tượng phát hiện được mẫu..........64
Hình 3-17: Mô hình Module chính xác hoá đối tượng và xử lý nhập nhằng.........65
Hình 3-18: Mô hình module xử lý dự đoán chuyển động của đối tượng................66
Hình 3-19: Mô hình hoá thuật toán chính xác hoá đối tượng tương ứng..............67
Hình 3-20:Biểu đồ xác định chính xác đối tượng tương ứng...................................68
Hình 3-21: Mô hình các đối tượng kết hợp với nhau................................................71
Hình 3-22 :Giải quyết nhập nhằng với biểu đồ màu.................................................72
Hình 3-23: Hệ thống dự đoán chuyển động của đối tượng dựa vào mô hình SSD MS...........................................................................................................................75
Hình 4-1: Hai đoạn phim trong điều kiện ít nhiễu....................................................82
Hình 4-2: Đối tượng trong hình bao màu đỏ là đối tượng chuyển động được quan
sát............................................................................................................................82
Hình 4-3: Hai đoạn phim trong điều kiện nhiều nhiễu.............................................83
Hình 4-4: Đoạn phim hai đối tượng chuyển động chồng chéo.................................84
Hình 4-5: Vẽ đường đi đối tượng chuyển động.........................................................85
Hình 4-6: Giao diện chương trình thực nghiệm........................................................87
Hình 4-7 : Bao đối tượng chuyển động bằng hình bao viền.....................................88
Hình 4-8: Bao đối tượng chuyển động bằng hình bao chữ nhật..............................89
Hình 4-9: Hình bao hộp chữ nhật với hai đối tượng chuyển động..........................89
Hình 4-10: Lấy vết đối tượng chuyển động................................................................90
Hình 4-11: Kết quả thu được trong điều kiện quan sát nhiều nhiễu......................90
Hình 4-12: Tương ứng chính xác các đối tượng........................................................91
Hình 4-13: Xử lý chồng chéo........................................................................................92
Hình 4-14: Đường đi và tọa độ chuyển động của đối tượng..........................................93
- ix -
-x-
LỜI NÓI ĐẦU
Ngày nay, thuật ngữ hệ thống giám sát bằng video đã ngày càng trở nên phổ
biến và dần trở thành quen thuộc với chúng ta, những người đang sống trong thời đại
mới, thời đại của nền kinh tế tri thức, trong đó những thành tựu rực rỡ của công nghệ
thông tin đóng vai trò chủ đạo.
Ra đời từ những năm 1960 qua quá trình hoàn thiện và phát triển, ngày nay
một hệ thống giám sát thông minh tự động [6] là một trong những hệ thống trợ giúp
đắc lực nhất cho con người thực hiện theo dõi, giám sát. Với một bài toán giám sát
giao thông một hệ thống giám sát thông minh có thể cho chúng ta biết được số lượng
phương tiện lưu thông qua đoạn đường, đưa ra thông tin về tốc độ chuyển động, đường
đi của đối tượng được theo dõi. Với một bài toán phát hiện, dự đoán, hệ thống giám sát
thông minh có thể phát hiện một đám cháy, tự động cảnh báo cháy ở nơi được quan sát
và theo dõi.
Trong thời đại phát triển cao của công nghệ tự động, nhu cầu về các hệ thống
giám sát theo dõi thông minh ngày càng trở nên cấp thiết đặc biệt trong các lĩnh vực an
ninh, quân sự. Chính bởi vậy việc nghiên cứu và xây dựng một hệ thống giám sát
thông minh bằng hình ảnh với hiệu quả và tính tin cậy cao đang là mục tiêu của nhiều
nhà khoa học.
Ý thức được những lợi ích mà hệ thống giám sát thông minh mang lại, chúng
tôi chọn đề tài khóa luận là: ”phát hiện, phân loại và theo dõi đối tượng chuyển động
trong hệ thống giám sát thông minh” để từ đó có thể áp dụng giải quyết bài toán theo
dõi giám sát giao thông – một vấn đề bức bách hiện nay.
Một hệ thống theo dõi giám sát thông minh bằng hình ảnh hoàn chỉnh là một
tập các công nghệ thu, truyền, xử lý hình ảnh với kỹ thuật cao. Trong đó quá trình xử
lý hình ảnh và đưa ra thông tin là khâu cốt lõi của hệ thống. Quá trình này được thực
hiện tuần tự qua việc giải quyết các bài toán: Phát hiện đối tượng, phân loại đối tượng
và theo dõi đối tượng chuyển động.
Trong phạm vi khóa luận tốt nghiệp này, chúng tôi tập trung trình bày và giải
quyết cốt lõi của hệ thống – quá trình xử lý hình ảnh và đưa ra thông tin. Thực chất
của quá trình này là việc giải quyết bài toán khai phá dữ liệu đa phương tiện - dữ liệu
hình ảnh.
-1-
Khóa luận tốt nghiệp của chúng tôi được trình bày theo cấu trúc như sau:
Chương 1: Tổng quan về bài toán giám sát thông minh
Trình bày các vấn đề đặt ra cần giải quyết trong hệ thống theo dõi thông minh,
giới thiệu bài toán phát hiện, phân loại, theo dõi đối tượng chuyển động trong hệ thống
giám sát thông minh.
Chương 2: Một số kỹ thuật cho bài toán phát hiện, phân loại và theo dõi đối
tượng chuyển động.
Trình bày một số kỹ thuật giải quyết vấn đề phát hiện, phân loại, theo dõi đối
tượng chuyển động. Từ đó đề xuất các phương pháp giải quyết cho từng bài toán.
Chương 3: Các giải pháp lựa chọn cho vấn đề đặt ra
Trình bày cụ thể phương pháp giải quyết cho từng bài toán theo hướng thiết kế
các khối xử lý cụ thể.
Chương 4: Thực nghiệm và đánh giá
Trình bày về việc cài đặt chương trình, xây dựng dữ liệu thực nghiệm, các quá
trình thực nghiệm, kết quả thực nghiệm và các kết quả đánh giá, nhận xét các xử lý từ
thực nghiệm.
Kết luận:
Tổng kết bài toán, những kết quả đã đạt được và chưa đạt được. Từ đó, đề xuất
mục tiêu hướng tới, hướng nghiên cứu, phát triển tiếp theo.
Thực hiện đề tài khóa luận tốt nghiệp này, nhóm chúng tôi gồm:
Trần Nguyên Khải
La Tuấn Dũng
Nguyễn Thị Lan Hương
Sinh viên lớp K47CA – Chuyên ngành Công Nghệ Phần Mềm
Như đã trình bày ở trên, quá trình xử lý hình ảnh là việc giải quyết tuần tự ba
bài toán độc lập. Vì vậy, để giải quyết hoàn thiện bài toán chúng tôi thực hiện phân
công nghiên cứu và tìm hiểu từng lớp bài toán con. Trên cơ sở đó, liên kết và tổng hợp
giải quyết bài toán chung. Cụ thể:
Bài toán 1: Phát hiện đối tượng trong hệ thống giám sát thông minh - Trần
Nguyên Khải thực hiện.
-2-
Bài toán 2: Phân loại đối tượng trong hệ thống giám sát thông minh - La Tuấn
Dũng thực hiện.
Bài toán 3: Theo vết đối tượng trong hệ thống giám sát thông minh - Nguyễn
Thị Lan Hương thực hiên.
Cài đặt và thực nghiệm: Trên cơ sở lý thuyết chúng tôi phối hợp cài đặt và
thực nghiệm giải quyết hai bài toán phát hiện đối tượng, theo dõi đối tượng chuyển
đông.
-3-
Chương1 – Tổng quan về bài toán giám sát thông minh
CHƯƠNG 1
TỔNG QUAN VỀ BÀI TOÁN GIÁM SÁT THÔNG MINH
1.1. Giới thiệu
1.1.1. Giới thiệu hệ thống theo dõi giám sát thông minh
Ra đời từ những năm 1960 qua quá trình hoàn thiện và phát triển, ngày nay
một hệ thống giám sát thông minh tự động [6] là một trong những hệ thống trợ giúp
đắc lực nhất cho con người thực hiện theo dõi, giám sát. Từ các hình ảnh thu được từ
những nơi được quan sát, ta có thể phát hiện được chuyển dộng của các đối tượng
trong các khung hình, có thể xác định được đối tượng đó là người, phương tiện hay vật
thể gì. Minh họa rõ hơn, với một bài toán giám sát giao thông một hệ thống giám sát
thông minh có thể cho chúng ta biết được số lượng phương tiện lưu thông qua đoạn
đường được theo dõi, đưa ra thông tin về tốc độ chuyển động, đường đi của đối tượng
được theo dõi. Với một bài toán phát hiện, dự đoán, hệ thống giám sát thông minh có
thể phát hiện một đám cháy, tự động cảnh báo cháy ở nơi được quan sát và theo dõi.
Hiện nay, trên thế giới các hệ thống giám sát thông minh bằng hình ảnh đã
được phát triển và đã chứng minh được hiệu quả nhất định trên một số lĩnh vực như
giám sát hoạt động con người [6], giám sát giao thông, ... Song các hệ thống vẫn gặp
phải một số tồn tại như hiệu quả của việc quan sát luôn phụ thuộc vào điệu kiện môi
trường quan sát, kiểu chuyển động của đối tượng hay các lý do khách quan khác.
Chính vì thế mà việc nghiên cứu và phát triển các giải pháp, công nghệ mới vẫn đang
được tiến hành nhằm đáp ứng được yêu cầu về một hệ thống giám sát thông minh hoàn
thiện nhất.
Nghiên cứu và xây dựng một hệ thống giám sát thông minh bằng hình ảnh
được thực hiện trong nhiều năm trở lại đây và đó cũng là nội dung và mục đích của
khóa luận tốt nghiệp này.
1.1.2. Các bài toán cần giải quyết
Một hệ thống giám sát thông minh bằng hình ảnh là một tập hợp các bài toán
nhỏ. Nhìn một cách tổng quan:
-
Đầu vào của hệ thống sẽ là hình ảnh thu được tại các điểm quan sát
-4-
Chương1 – Tổng quan về bài toán giám sát thông minh
-
Đầu ra của hệ thống sẽ là các thông tin về chuyển động, hành vi, lớp…
của các đối tượng được giám sát.
Việc xử lý của hệ thống giám sát thông minh bằng hình ảnh tóm lại có thể hiểu
là việc phân tích và xử lý hình ảnh video qua việc giải quyết các bài toán sau:
Bài toán 1: Phát hiện các đối tượng chuyển động là bước cơ bản đầu tiên
trong bài toán phân tích hình ảnh video, công việc này khái quát lại đó là việc tách các
các đối tượng chuyển động trong từ các hình ảnh nền của các đối tượng đó. Phương
pháp thường được sử dụng trong bài toán này đó là: phương pháp trừ ảnh nền, các
phương pháp dựa trên thống kê, phương pháp chênh lệch tạm thời, và các phương
pháp dựa trên luồng thị giác[4].
Bài toán 2: Phân lớp đối tượng là công việc phân loại ra các lớp đối tượng đã
được tìm ra theo các lớp đã được định nghĩa trước như: Lớp người, lớp phương tiện,
lớp động vật,… Đây là bước cần thiết để có thể tiếp tục phân tích các hoạt động của
chúng. Hiện tại có hai hướng chính tiếp cận để giải quyết bài toán này đó là: Hướng
tiếp cận dựa trên hình dáng của các vết và hướng tiếp cận dựa trên chuyển động của
các đối tượng. Hướng tiếp cận dựa trên hình dáng của đối tượng hoàn toàn dựa vào các
tính chất 2D của các vết tìm được, trong khi đó hương tiếp cận dựa trên chuyển động
của đối tượng dựa trên các tính chất chuyển động của đối tượng theo thời gian.
Bài toán 3: Theo dõi đối tượng đó là công việc đưa ra một chuỗi các hành vi
của đối tượng chuyểng động trong một thời gian từ các khung hình thu được. Thủ tục
này đưa ra các thông tin về đối tượng được theo dõi như đường đi của đối tượng, tốc
độ hay hướng chuyển động của đối tượng. Từ đó có thể dự đoán được hành động của
các đối tượng và mô tả được hành động của chúng. Đầu vào của quá trình này đó là
các đầu ra các quá trình tìm và phân lớp đối tượng chuyển động.
Các bài toán này không những được nghiên cứu và áp dụng trong các hệ thống
giám sát mà còn được áp dụng trong các lĩnh vực khác như: thực tại ảo, nén hình ảnh,
giao diện người máy, biên tập video và cơ sở dữ liệu đa phương tiện, là các hướng tiếp
cận phát triển công nghệ đa phương tiện trong tương lai.
1.2. Khái quát các bài toán cần giải quyết
Mô hình khái quát chung cho hệ thống giám sát thông minh:
-5-
Chương1 – Tổng quan về bài toán giám sát thông minh
PHÁT HIỆN ĐỐI TƯỢNG
PHÂN LỚP ĐỐI TƯỢNG
THEO DÕI ĐỐI TƯỢNG
THÔNG TIN ĐỐI TƯỢNG
CHUYỂN ĐỘNG
Hình 1-1: Mô hình các bài toán cần giải quyết trong hệ thống giám sát
Trên đây là mô hình tuần tự các bước giải quyết trong một bài toán giám sát
bằng hình ảnh. Chúng tôi sẽ tập trung trình bày ba phần xử lý của hệ thống giám sát
khi thu nhận được các hình ảnh video thu được từ các địa điểm được giám sát.
Đầu vào của bài toán là các khung hình video thu được. Qua quá trình xử lý
phát hiện đối tượng chuyển động (Object Detection ) sẽ đưa ra các đối tượng chuyển
động trong các khung hình video. Các đối tượng được phát hiện (cụ thể là các vết
chuyển động) sẽ qua quá trình phân lớp đối tượng (Object Classification ) để phân lớp
các đối tượng đó thuộc lớp nào, sự vật nào. Và cuối cùng là quá trình xử lý để theo dõi
đối tượng (Object Tracking) đó là việc tìm ra đường chuyển động của đối tượng, dự
-6-
Chương1 – Tổng quan về bài toán giám sát thông minh
đoán chuyển động, và việc xử lý các nhập nhằng trong chuyển động của nhiều đối
tượng khác nhau trong một đoạn video.
Từ các khung hình thu được ở các nơi quan sát, qua khối xử lý phát hiện đối
tượng chuyển động sẽ xác định được đâu là đối tượng chuyển động. Cụ thể hơn, có thể
chỉ ra được các đối tượng chuyển động trong đoạn video thu được một cách trực quan.
Đầu ra của quá trình này sẽ là các vết, hình dạng của đối tượng chuyển động để làm
đầu vào của khối phân loại đối tượng chuyển động.
Khối xử lý phát hiện đối tượng chuyển động có thể coi là khối xử lý đâu tiên
trong hệ thống giám sát thông minh bằng hình ảnh. Vì hiệu quả, tính chính xác của
khối xử lý này sẽ ảnh hưởng đến đầu vào và đầu ra của các khối xử lý tiếp theo. Chính
vì thế nó ảnh hưởng lớn đến hiệu quả và tính tin cậy của toàn hệ thống giám sát thông
minh.
Phân loại đối tượng là khâu trung gian và đóng vai trò quan trọng trong toàn
hệ thống, vì đây là đầu vào của khối theo vết đối tượng và cũng là đầu ra của toàn bộ
hệ thống. Bởi vậy đây cũng là một phần không thể thiếu trong toàn bộ hệ thống.
Khối xử lý theo vết đối tượng là khối xử lý không thể thiếu trong hệ thống
giám sát thông minh vì hiệu quả của khối xử lý này ảnh hưởng trực tiếp đến đầu ra của
toàn bộ hệ thống. Do đó giải quyết tốt vấn đề theo vết đối tượng sẽ đưa lại tính chính
xác và độ tin cậy cho hệ thống giám sát.
Vấn đề này đã được nghiên cứu và phát triển trong nhiều năm, song hướng
phát triển hoàn thiện các khối xử lý phát hiện, phân loại và theo dõi đối tượng chuyển
động vẫn đang được quan tâm. Các hướng tiếp cận mới nhằm phát hiện, phân loại và
theo dõi các đối tượng một cách hiệu quả, tính chính xác cao nhất với điều kiện môi
trường, hoàn cảnh giám sát khác nhau. Chính vì vậy khóa luận tốt nghiệp này sẽ trình
bày các nghiên cứu và thực nghiệm về bài toán phát hiện, phân loại, theo dõi đối tượng
chuyển động trong hệ thống theo dõi, giám sát thông minh bằng hình ảnh nhằm mô
hình hóa và giải quyết trọn vẹn bài toán phát hiện, phân loại, theo dõi đối tượng
chuyển động tiến tới hoàn thiện môt hệ thống giám sát thông minh bằng hình ảnh với
hiệu quả tính chính xác cao nhất.
-7-
Chương 2 –Một số kỹ thuật cho bài toán phát hiện, phân loại và theo dõi đối tượng
CHƯƠNG 2
MỘT SỐ KỸ THUẬT CHO BÀI TOÁN PHÁT HIỆN, PHÂN LOẠI
VÀ THEO DÕI ĐỐI TƯỢNG CHUYỂN ĐỘNG
2.1. Tổng quan bài toán phát hiện, phân loại, theo dõi đối tượng
chuyển động
Bài toán xử lý video là việc xử lý tuần tự các bài toán độc lập. Các bài toán đó là:
2.1.1. Bài toán phát hiện đối tượng chuyển động
Đầu vào của bài toán phát hiện đối tượng chuyển động như đã trình bày ở trên
đó là các khung hình video [1] thu được từ các điểm quan sát, theo dõi. Như vậy để có
thể giải quyết bài toán phát hiện đối tượng chuyển động ta cần nghiên cứu một số đặc
điểm của video (đầu vào của bài toán).
2.1.1.1. Các khái niệm cơ bản về video
Video là tập hợp các khung hình, mỗi khung hình là một ảnh. Shot (lia) là đơn
vị cơ sở của video. Một lia là một đơn vị vật lý của dòng video, gồm các chuỗi các
khung hình liên tiếp, không thể chia nhỏ hơn, ứng với một thao tác camera đơn.
Scene (cảnh) là các đơn vị logic của dòng video, một cảnh gồm các lia liên
quan về không gian và liền kề về thời gian, cùng mô tả một nội dung ngữ nghĩa hoặc
một tình tiết.
Hình 2-1: Cấu trúc phân đoạn video
-8-
- Xem thêm -