BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
Đặng Khánh Hòa
NGHIÊN CỨU VÀ PHÁT TRIỂN CÁC THUẬT TOÁN
ƯỚC LƯỢNG MẶT PHẲNG VÀ DẪN ĐƯỜNG CHO HỆ THỐNG
THỊ GIÁC RÔ-BỐT TRONG NHÀ
LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ
Hà Nội – 2019
i
BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
Đặng Khánh Hòa
NGHIÊN CỨU VÀ PHÁT TRIỂN CÁC THUẬT TOÁN
ƯỚC LƯỢNG MẶT PHẲNG VÀ DẪN ĐƯỜNG CHO HỆ THỐNG
THỊ GIÁC RÔ-BỐT TRONG NHÀ
Ngành: Kỹ thuật điện tử
Mã số: 9520203
LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ
NGƯỜI HƯỚNG DẪN KHOA HỌC:
1. PGS.TS. Nguyễn Tiến Dũng
2. TS. Lê Dũng
Hà Nội – 2019
ii
LỜI CAM ĐOAN
Tôi xin cam đoan rằng các kết quả khoa học được trình bày trong luận án này là thành
quả nghiên cứu của bản thân tôi trong suốt thời gian làm nghiên cứu sinh và chưa từng xuất
hiện trong công bố của các tác giả khác. Các kết quả đạt được là chính xác và trung thực.
Hà Nội, ngày
Tập thể giáo viên hướng dẫn khoa học
tháng 7 năm 2019
Tác giả luận án
TS. Lê D
PGS. TS. Nguyến Tiến Dũng
TS. Lê Dũng
Đặng Khánh Hòa
i
LỜI CẢM ƠN
Trước hết, tôi xin bày tỏ lời cảm ơn chân thành và sâu sắc đến tập thể hướng dẫn PGS.
TS. Nguyễn Tiến Dũng và TS. Lê Dũng đã trực tiếp định hướng khoa học trong quá trình nghiên
cứu. Các Thầy đã dành nhiều thời gian và tâm huyết, động viên về mọi mặt để tác giả hoàn
thành luận án.
Tác giả xin trân trọng cảm ơn Lãnh đạo trường Đại học Bách Khoa Hà Nội (HUST),
Phòng Đào tạo, Viện Điện tử Viễn thông (SET), Bộ môn Điện tử và Kỹ thuật máy tính và TT
Đào tạo thực hành đã tạo điều kiện thuận lợi cho nghiên cứu sinh trong suốt quá trình học tập
và nghiên cứu. Chân thành cảm ơn các cán bộ, giảng viên, các cộng sự cũng như các anh chị
NCS của Viện Điện tử Viễn thông đã động viên, hỗ trợ và tận tình giúp đỡ tác giả trong quá
trình thực hiện luận án.
Tác giả cảm ơn chương trình 911, Bộ Giáo dục và Đào tạo đã tài trợ cho nghiên cứu sinh.
Cảm ơn SET, HUST đã tài trợ thông qua đề tài nghiên cứu khoa học cấp cơ sở với mã T2016PC-108.
Cuối cùng, tôi xin bày tỏ lòng biết ơn đến song thân phụ mẫu, vợ và hai con vì những sự
thúc đẩy, khích lệ và hy sinh nhiều trong thời gian vừa qua. Đây chính là động lực to lớn giúp
tác giả vượt qua mọi trở ngại để hoàn thành luận án này.
Tác giả luận án
ĐẶNG KHÁNH HÒA
ii
MỤC LỤC
LỜI CAM ĐOAN ...................................................................................................i
LỜI CẢM ƠN....................................................................................................... ii
MỤC LỤC ........................................................................................................... iii
DANH MỤC CÁC KÝ HIỆU .............................................................................vi
DANH MỤC CÁC CHỮ VIẾT TẮT .............................................................. viii
DANH MỤC CÁC BẢNG ...................................................................................xi
DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ ....................................................... xii
MỞ ĐẦU .............................................................................................................. xv
1. Tính cấp thiết của luận án.............................................................................. xv
1.1. Trích trọn mặt phẳng .............................................................................. xvii
1.2. Trích trọn mặt phẳng đất ..........................................................................xix
1.3. Dẫn đường cho rô-bốt trong nhà ............................................................... xx
2. Mục tiêu, đối tượng, phương pháp và phạm vi nghiên cứu .......................xxi
2.1. Mục tiêu nghiên cứu .................................................................................xxi
2.2. Đối tượng nghiên cứu ............................................................................. xxii
2.3. Phương pháp nghiên cứu ........................................................................ xxii
2.4. Phạm vi nghiên cứu ............................................................................... xxiii
3. Ý nghĩa khoa học và những đóng góp của luận án .................................. xxiii
3.1. Ý nghĩa khoa học ................................................................................... xxiii
3.2. Các đóng góp khoa học của luận án gồm: ............................................. xxiii
4. Cấu trúc nội dung của luận án ...................................................................xxiv
CHƯƠNG 1. TỔNG QUAN HỆ THỐNG DẪN ĐƯỜNG CHO RÔ-BỐT
DỰA TRÊN HÌNH ẢNH THỊ GIÁC MÁY TÍNH ..................................................... 1
Giới thiệu chương .......................................................................................... 1
Hệ thống dẫn đường cho rô-bốt trong nhà .................................................. 1
1.2.1. Các hệ thống dẫn đường cho rô-bốt trong nhà ..................................... 3
1.2.2.
Kiến trúc hệ thống dẫn đường rô-bốt sử dụng thị giác máy tính ......... 4
Một số vấn đề của hệ thống rô-bốt dẫn đường dựa trên thị giác nổi ........ 5
1.3.1. Phương pháp tính toán bản đồ chênh lệch/độ sâu ................................ 5
1.3.2. Phương pháp trích xuất đối tượng mặt phẳng dựa trên ảnh thị giác máy
tính.
.............................................................................................................. 8
1.3.3. Phát hiện mặt phẳng đất dựa trên sự biến đổi ảnh thị giác ................. 15
iii
1.3.4.
Phương pháp dẫn đường cho rô-bốt trong nhà trong môi trường chưa
biết
............................................................................................................ 25
Tổng kết chương .......................................................................................... 29
CHƯƠNG 2. PHƯƠNG PHÁP TĂNG TỐC TÍNH TOÁN BẢN ĐỒ
CHÊNH LỆCH VÀ PHÁT TRIỂN THUẬT TOÁN TRÍCH XUẤT MẶT PHẲNG
.................................................................................................... 31
Giới thiệu chương ........................................................................................ 31
Hệ thống máy ảnh nổi.................................................................................. 31
2.2.1. Cảm biến hình ảnh .............................................................................. 31
2.2.2.
Cấu trúc hệ thống máy ảnh nổi ........................................................... 32
2.2.3.
Nguyên lý thị giác nổi ........................................................................ 33
2.2.4.
Bản đồ độ sâu ..................................................................................... 35
Phương pháp tăng tốc tính toán bản đồ chênh lệch/độ sâu ..................... 36
2.3.1. Triển khai tính toán SAD thông thường ............................................. 36
2.3.2. Triển khai tính toán SAD đề xuất ....................................................... 37
2.3.3.
Kết quả thực hiện và thảo luận ........................................................... 39
Nguyên lý trích xuất đối tượng mặt phẳng ............................................... 43
2.4.1. Độ sâu của điểm ................................................................................. 43
2.4.2. Khái niệm mặt phẳng trong thị giác máy tính .................................... 44
2.4.3.
Khái niệm điểm lân cận và hàng xóm ................................................ 45
Triển khai phương pháp trích xuất đối tượng mặt phẳng....................... 46
2.5.1. Kiến trúc hệ thống xử lý dữ liệu ......................................................... 46
2.5.2. Thuật toán đề xuất Tạo nhóm hàng xóm kết hợp lọc ......................... 46
2.5.3. Kết quả thực nghiệm và thảo luận ...................................................... 49
2.5.4. Kết luận .............................................................................................. 55
Tổng kết chương .......................................................................................... 55
CHƯƠNG 3. PHÁT TRIỂN THUẬT TOÁN NHẬN DẠNG MẶT ĐẤT... 57
Giới thiệu chương ........................................................................................ 57
Nguyên lý nhận dạng đối tượng mặt đất ................................................... 57
Phương pháp nhận đối tượng mặt đất từ ảnh độ sâu chuẩn ................... 59
3.3.1. Kiến trúc hệ thống xử lý dữ liệu ......................................................... 59
3.3.2. Thuật toán đề xuất .............................................................................. 60
3.3.3. Kết quả thực nghiệm và thảo luận ...................................................... 64
3.3.4. Kết luận .............................................................................................. 72
iv
Phương pháp nhận dạng đối tượng mặt phẳng đất từ dữ liệu độ sâu thực
tế .................................................................................................................................... 72
3.4.1. Giới thiệu ............................................................................................ 72
3.4.2. Kiến trúc hệ thống trích mặt đất từ dữ liệu độ sâu thực tế ................. 73
3.4.3.
Kết quả thực nghiệm và thảo luận ...................................................... 74
3.4.4.
Kết luận .............................................................................................. 81
Tổng kết chương .......................................................................................... 81
CHƯƠNG 4. PHÁT TRIỂN PHƯƠNG PHÁP DẪN ĐƯỜNG CHO RÔBỐT DỰA TRÊN THUẬT TOÁN NHẬN DẠNG MẶT ĐẤT ............................... 83
Giới thiệu chương ........................................................................................ 83
Phương pháp dẫn đường sử dụng nhận dạng mặt đất............................. 83
4.2.1. Mô hình hoạt động của rô-bốt trong nhà ............................................ 83
4.2.2.
4.2.3.
sâu
Xác định kích thước 2D của điểm sâu................................................ 84
Phương pháp dẫn đường AMSD đề xuất dựa trên khai thác dữ liệu độ
............................................................................................................ 85
Kết quả thực nghiệm phương pháp dẫn đường AMSD dựa trên nhận
dạng mặt đất và thảo luận .......................................................................................... 89
4.3.1. Kết quả thực nghiệm của phương pháp tránh vật cản cơ bản ............ 90
4.3.2. Kết quả thực nghiệm của phương pháp tránh vật cản cải thiện ......... 92
4.3.3. Kết luận .............................................................................................. 97
Tổng kết chương .......................................................................................... 98
KẾT LUẬN VÀ KIẾN NGHỊ ............................................................................ 99
1. Kết luận ............................................................................................................ 99
2. Kiến nghị nghiên cứu tiếp theo ...................................................................... 99
DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN ..........100
TÀI LIỆU THAM KHẢO ................................................................................102
v
DANH MỤC CÁC KÝ HIỆU
Ký hiệu
Ý nghĩa
A
Cửa sổ tham chiếu
A’
Cửa sổ tìm kiếm
B
Cửa sổ làm mịn
Bottom
Điểm liền kề dưới
C
Phép biến đổi ảnh
d
Độ chênh lệch
dmax
Độ chênh lệch tối đa
dmin
Độ chênh lệch tối thiểu
f
Tiêu cự máy ảnh
FN
Bộ đếm các điểm đất đúng không được phát hiện
FP
Bộ đếm các điểm phi đất bị phát hiện sai.
H
Ma trận biến đổi phẳng
IL
Ảnh bên trái
IR
Ảnh bên phải
j
Ngưỡng chênh lệch độ sâu của hai điểm liền kề
K
Ma trân hiệu chuẩn máy ảnh
Left
Điểm liền kề bên trái
masbias
Giới hạn độ lệch
n
Véc tơ pháp tuyến mặt đất
OL
Vị trí máy ảnh trái
OR
Vị trí máy ảnh phải
p
Điểm ảnh
P
Tập điểm ảnh
PL
Điểm phản chiếu của điểm p trên ảnh trái
PR
Điểm phản chiếu của điểm p trên ảnh phải
q
Ngưỡng phân biệt khối đất và phi đất
R
Phép xoay ảnh
R1
Tỷ lệ phần trăm của các điểm đất được phát hiện
R2
Tỷ lệ phần trăm của các điểm mặt đất được phát
hiện không chính xác
Right
Điểm liền kề bên phải
vi
T
Khoảng cách giữa hai máy ảnh hoặc máy ảnh với
projector
TN
Bộ đếm các điểm phi đất đúng được phát hiện
Top
Điểm liền kề trên
TP
Bộ đếm các điểm đất đúng được phát hiện
w
Kích thước cửa sổ
XG
Tập hợp điểm có sẵn trên mặt đất
xL
Hoành độ trên ảnh trái
xR
Hoành độ trên ảnh phải
z
Độ sâu
vii
DANH MỤC CÁC CHỮ VIẾT TẮT
Viết tắt
Tên tiếng Anh
Tên tiếng Việt
2D
Two Dimensions
Hai chiều
3D
Three Dimensions
Ba chiều
AMDS
ANN
Always Move Straight to the Thuật toán Luôn di chuyển thẳng
Destination
tới đích
Artificial Neural Network
Mạng nơron nhân tạo
APIs
Application Programming Interface
Giao diện lập trình ứng dụng
ARA*
Anytime Repairing A*
BFS
Best First Seaching
BP
Belief Propagation
Thuật toán sửa chữa bất cứ lúc
nào*
Thuận toán tìm kiếm tốt nhất đầu
tiên
Thuật toán Lan truyền tin cậy
CCD
Charge Coupled Device
Linh kiện tích điện kép
CMOS
DSM
Complementary
Metal
Semiconductor
Digital Surface Models
DWA
Dynamic Window Approach
EKF
Extended Kalman Filter
Oxide Bán dẫn bổ sung ô xít kim loại
Mô hình bề mặt số
Thuật toán tiếp cận cửa sổ động
GDM
Bộ lọc phi tuyến tính Kalman mở
rộng
Fast Plane Detection In Disparity Thuật toán Phát hiện mặt phẳng
Maps
nhanh trong bản đồ chênh lệch
Fast Sampling Plane Filtering
Thuật toán Lọc mặt phẳng lấy mẫu
nhanh
Gradient Depth Map
Thuật toán Gradien bản đồ độ sâu
GPS
Global Positioning System
Hệ thống định vị toàn cầu
HSAD
Hybrid SAD
SAD lai
HSBSR
HT
Hierarchical Shape-Based Surface Thuật toán tái tạo bề mặt dự trên
Reconstruction
hình dạng phân cấp
Hough Transform
Thuật toán Biến đổi Hough
ICP
Iterative Closest Point
Thuật toán điểm gần nhất lặp lại
LRF
Laser Range Finder
Xác định phạm vi bằng tia laser
LSD
Line Segment Detector
Bộ phát hiện đoạn thẳng
MDL
Minimum Description Length
Thuật toán Độ dài mô tả tối thiểu
MS
Mean Shift
Thuật toán Dịch trung bình
FPDIDM
FSPF
viii
NCC
Normalized Cross Correlation
NGaF
Neighbor Grouping and Filter
NMOS
N Metal Oxide Semiconductor
Thuật toán Độ tương quan chéo
chuẩn
Thuật toán Tạo nhóm hàng xóm và
lọc
Bán dẫn ôxit kim loại loại N
PPDFDM Planar Patch Detection for Disparity Thuật toán Phát hiện mảnh phẳng
Maps
dùng bản đồ chênh lệch
PROSAC Progressive Sample Consensus
Đồng thuận mẫu lũy tiến
PSO
Thuật toán tối ưu đám hạt
Particle Swarm Optimization
Thuật toán Đồng thuận lấy mẫu
ngẫu nhiên
Thuật toán phát triển vùng
RANSAC RANdom SAmple Consensus
RG
Region Growing
RGB-D
Red Green Blue-Depth
RHT
Random Hough Transform
SAD
Sum of Absolute Differences
SCS
Stereo Camera System
Cảm biến màu Đỏ Lục Dương-Độ
sâu
Thuật toán Biến đổi Hough ngẫu
nhiên
Thuật toán Tổng tuyệt đối độ sai
lệch
Hệ thống máy ảnh stereo
SIFT
Scale-invariant Feature Transform
Biến đổi đặc trưng tỷ lệ bất biến
SLAM
SP1
Simultaneous Localization
Mapping
Service Pack 1
SSD
Sum of Squared Differences
SUFT
VDEMs
VGA
vLRF
RHT
SAD
SCS
And Đồng thời định vị trí và lập bản đồ
Gói dịch vụ 1
Thuật toán Tổng bình phương độ
sai lệch
Speeded-Up Robust Features
Tăng tốc đặc trưng mạnh mẽ
Vectorized Digital Elevation Model Mô hình nâng cao kỹ thuật số véctơ hóa
Video Graphics Array
Chuẩn mảng đồ họa video độ phân
giải 640x480
Virtual LRF
Máy LRF ảo
Random Hough Transform
Thuật toán Biến đổi Hough ngẫu
nhiên
Sum of Absolute Differences
Thuật toán Tổng tuyệt đối độ sai
lệch
Stereo Camera System
Hệ thống máy ảnh stereo
And Đồng thời định vị trí và lập bản đồ
SP1
Simultaneous Localization
Mapping
Service Pack 1
SSD
Sum of Squared Differences
Thuật toán Tổng bình phương độ
sai lệch
SLAM
Gói dịch vụ 1
ix
VDEMs
VGA
Vectorized Digital Elevation Model Mô hình nâng cao kỹ thuật số véctơ hóa
Video Graphics Array
Chuẩn mảng đồ họa video độ phân
giải 640x480
x
DANH MỤC CÁC BẢNG
Bảng 1.1. Sai số của phương pháp [47] ........................................................................... 7
Bảng 1.2. Thông số đánh giá kết quả thực nghiệm [7].................................................. 15
Bảng 1.3. Kết quả phát hiện mặt đường với các kịch bản khác [26] ............................ 21
Bảng 3.1. Phân loại điểm đất và điểm phi đất ............................................................... 59
Bảng 4.1. So sánh hiệu năng các phương pháp dẫn đường cho rô-bốt trong nhà ......... 97
Bảng 4.2. So sánh tỷ lệ điều hướng thành công ............................................................ 97
xi
DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ
Hình 1.1. Hệ thống dẫn đường bằng thị giác cho rô-bốt ................................................. 5
Hình 1.2. Hệ thống tính bản đồ chênh lệch điển hình ..................................................... 6
Hình 1.3. Kết quả tính bản đồ chênh lệch thưa thớt áp dụng thuật toán SAD [46]. ....... 7
Hình 1.4. Kết quả thử nghiệm trên bốn hình ảnh thang độ xám thử nghiệm [47] .......... 7
Hình 1.5. Biểu diễn các thông số của mặt phẳng theo dạng chuẩn [25] ......................... 8
Hình 1.6. Kết quả phát hiện mặt phẳng mái bằng cách sử dụng biến đổi Hough 3D. [25]
....................................................................................................................................... 10
Hình 1.7. Hình ảnh của các đám mây điểm 2D phát sinh từ việc phát hiện mặt phẳng
mái bằng RANSAC [25] ............................................................................................... 12
Hình 1.8. Kết quả phát hiện mặt phẳng sử dụng bộ phát hiện đoạn thẳng [7] .............. 14
Hình 1.9. Khung cảnh tương quan của máy ảnh tại các điểm thời gian t1 và t2 [26] .... 17
Hình 1.10. Một số kết quả trung gian của phép biến đổi ảnh thị giác [26] ................... 20
Hình 1.11. Kết quả phát hiện mặt đường sử dụng phương pháp biến đổi ảnh thị giác [26]
....................................................................................................................................... 20
Hình 1.12. (a) Vùng quan tâm của bản đồ chênh lệch và (b) Ảnh mặt đất phủ lên ảnh
gốc [22] .......................................................................................................................... 22
Hình 1.13. Phân tích dữ liệu độ chênh lệch theo hàng (a) và cột (b) [22] .................... 23
Hình 1.14. Cảm biến và mặt phẳng mặt đất được trình bày dựa trên tọa độ cảm biến. 24
Hình 2.1. Hệ thống máy ảnh nổi Bumblebee [76]......................................................... 32
Hình 2.2. Các trục tọa độ của hệ thống thị giác nổi [78]............................................... 33
Hình 2.3. Mối quan hệ tỷ lệ nghịch độ sâu và độ chênh lệch [78] ................................ 34
Hình 2.4. Ví dụ về bản đồ độ sâu [79]........................................................................... 35
Hình 2.5. Hệ thống tính bản đồ độ sâu điển hình SAD ................................................. 36
Hình 2.6. Hệ thống tính bản đồ độ sâu SAD điều chỉnh đề xuất .................................. 38
Hình 2.7. Bản đồ chênh lệch được thực hiện bởi thuật toán SAD thông thường.......... 40
Hình 2.8. Bản đồ chênh lệch được thực hiện bởi SAD cải thiện .................................. 41
Hình 2.9. Biểu đồ thời gian tiêu tốn, độ chính xác và độ che phủ được thực hiện bởi
SAD thông thường cho ảnh Cones. ............................................................................... 41
Hình 2.10. Thời gian chạy, độ chính xác và độ bao phủ của phương pháp tăng cường
thuật toán SAD cho hình ảnh Cones.............................................................................. 42
Hình 2.11. So sánh trong thời gian xử lý được thực hiện bởi các phương pháp SAD
thông thường và phương pháp tăng cường SAD đề xuất. ............................................. 42
Hình 2.12. Sơ đồ khối của hệ thống máy ảnh thị giác nổi [78] ..................................... 43
xii
Hình 2.13. Nguyên lý tính độ sâu của điểm ảnh ........................................................... 43
Hình 2.14. Khái niệm điểm lân cận của điểm p ............................................................ 45
Hình 2.15. Sơ đồ khối hệ thống phát hiện mặt phẳng ................................................... 46
Hình 2.16. Minh họa dữ liệu trong thư viện Middlebury. ............................................. 47
Hình 2.17. Minh họa dữ liệu độ sâu môi trường thực tế và dữ liệu cải thiện ............... 47
Hình 2.18. Thuật toán Tạo vùng hàng xóm ................................................................... 49
Hình 2.19. Hệ thống thử nghiệm trích mặt phẳng ......................................................... 50
Hình 2.20. Kết quả của các ảnh kiểm tra trong thư viện Middlebury ........................... 51
Hình 2.21. Kết quả của các ảnh kiểm tra thu thập bởi máy ảnh RGB-D ...................... 52
Hình 2.22. So sánh số lượng mặt phẳng được phát hiện theo một số ngưỡng tối thiểu
min khác nhau với phương pháp FPDIDM [7] ............................................................. 52
Hình 2.23. Số lượng mặt phẳng được phát hiện theo các ngưỡng tối thiểu min khác nhau
áp dụng với bản đồ độ sâu từ máy ảnh RGB-D............................................................. 53
Hình 2.24. Kết quả của các phương pháp HSBSR [6], PPDFDM [53], FPDIDM [7] và
thuật toán đề xuất trên bản đồ chênh lệch St-Michel Jail của Toulouse ....................... 54
Hình 2.25. So sánh ba thông số đánh giá giữa các phương pháp HSBSR, PPDFDM,
FPDIDM và Phương pháp NGaF đề xuất trên bản đồ chênh lệch nhà thờ St-Michel Jail
ở Toulouse. .................................................................................................................... 55
Hình 3.1. Mô hình toán học xác định độ chênh lệch độ sâu ......................................... 58
Hình 3.2. Kiến trúc hệ thống nhận dạng mặt đất đề xuất .............................................. 60
Hình 3.3. Thuật toán Lọc và gom nhóm ........................................................................ 61
Hình 3.4. Thuật toán Tinh chỉnh vùng mặt đất ............................................................. 64
Hình 3.5. Các bản đồ gradient của hình ảnh trong thư viện Middlebury được thử nghiệm.
....................................................................................................................................... 66
Hình 3.6. Kết quả nhận dạng mặt đất của hình ảnh thử nghiệm trong nhiều trường hợp
điển hình với các giá trị B. ............................................................................................ 66
Hình 3.7. Kết quả của các hình ảnh được thử nghiệm trong nhiều môi trường. ........... 68
Hình 3.8. Tỷ lệ các điểm mặt đất được phát hiện trước khi quá trình hiệu chỉnh theo các
kích thước cửa sổ w ....................................................................................................... 69
Hình 3.9. Tỷ lệ điểm mặt đất được phát hiện sau quá trình hiệu chỉnh theo các kích thước
khối B với cửa sổ w = 3 3 ............................................................................................. 69
Hình 3.10. Tỷ lệ điểm mặt đất được phát hiện sau quá trình hiệu chỉnh theo các kích
thước khối B với cửa sổ w = 5 5 .................................................................................. 69
Hình 3.11. Tỷ lệ điểm mặt đất được phát hiện sau quá trình hiệu chỉnh theo các kích
thước khối B với cửa sổ w = 7 7 .................................................................................. 70
xiii
Hình 3.12. Đường cong biến đổi của R và đường ngưỡng tương ứng θ trong bản đồ
gradient độ sâu sau khi phân chia khối. ......................................................................... 71
Hình 3.13. Sơ đồ khối hệ thống trích mặt đất từ dữ liệu độ sâu cung cấp bởi máy ảnh
RGB-D ........................................................................................................................... 73
Hình 3.14. Các thông số hình học của Kinect [93] ....................................................... 74
Hình 3.15. Kết quả của các hình ảnh được thử nghiệm trong nghiên cứu điển hình. ... 78
Hình 3.16. Tỷ lệ điểm mặt đất được phát hiện đúng R1 theo kích thước cửa sổ làm mịn
B..................................................................................................................................... 79
Hình 3.17. Tỷ lệ điểm mặt đất lỗi theo các kích thước cửa sổ làm mịn B. ................... 80
Hình 3.18. So sánh tỷ lệ điểm mặt đất được phát hiện đúng (R1) của các phương pháp.
....................................................................................................................................... 80
Hình 3.19. So sánh tỷ lệ điểm mặt đất được phát hiện sai (R2) của các phương pháp . 80
Hình 4.1. Mô hình rô-bốt sử dụng hệ thống dẫn đường dựa trên thị giác máy tính ...... 84
Hình 4.2. (a) Các thành phần của Kinect và (b) Phạm vi không gian độ sâu [94] ........ 84
Hình 4.3. Mô hình toán học để tính toán kích thước của điểm sâu ............................... 84
Hình 4.4. Sơ đồ khối phương pháp dẫn đường dựa trên bản đồ độ sâu ........................ 85
Hình 4.5. Mô hình toán học cơ bản lựa chọn hướng di chuyển của rô-bốt ................... 86
Hình 4.6. Mô hình toán học cải tiến lựa chọn hướng di chuyển của rô-bốt .................. 88
Hình 4.7. Thuật toán điều hướng cải thiện dựa trên bản đồ độ sâu cho rô-bốt trong nhà
....................................................................................................................................... 89
Hình 4.8. Hệ thống xe rô-bốt thử nghiệm ..................................................................... 90
Hình 4.9. Kết quả thử nghiệm chiến thuật dẫn đường cơ bản ....................................... 91
Hình 4.10. Theo dõi vị trí rô-bốt theo chiến thuật điều hướng cơ bản .......................... 92
Hình 4.11. Kết quả thuật toán điều hướng cải tiến ........................................................ 95
Hình 4.12. Theo dõi vị trí rô-bốt theo chiến thuật điều hướng cải tiến ......................... 96
xiv
MỞ ĐẦU
1. Tính cấp thiết của luận án
Một xã hội phát triển được đánh giá theo nhiều khía cạnh. Một trong những yếu tố
quan trọng là khả năng hỗ trợ, bảo vệ, nâng cao chất lượng sống những cá nhân bị tổn
thương như người già, người khiếm thị. Theo báo cáo của Tổ chức Y tế Thế giới, trên
toàn cầu, ước tính có khoảng 1,3 tỷ người sống với một số dạng suy giảm thị lực. Có
188,5 triệu người bị suy giảm thị lực nhẹ, 217 triệu người bị suy giảm thị lực từ trung
bình đến nặng và 36 triệu người bị mù [1]. Liên quan đến tầm nhìn gần, 826 triệu người
sống trong tình trạng suy giảm thị lực gần [2]. Trên toàn cầu, các nguyên nhân hàng đầu
gây suy giảm thị lực là các tật khúc xạ và đục thủy tinh thể không được điều trị. Khoảng
80% của tất cả các suy giảm thị lực trên toàn cầu được coi là có thể tránh được. Phần
lớn những người bị suy giảm thị lực là trên 50 tuổi. Như vậy nhu cầu về các thiết bị hỗ
trợ cho điều hướng và định hướng là rất cao và tăng lên khi mức sống ngày càng cao.
Có rất nhiều công cụ đang được sử dụng như gậy dò đường hoặc sử dụng chó được huấn
luyện dẫn đường. Mặc dù các công cụ này rất phổ biến, nhưng chúng không thể cung
cấp cho người khiếm thị tất cả thông tin và tính năng để di chuyển an toàn. Nhờ những
thành tựu của mạch tích hợp, ý tưởng sử dụng máy ảnh thị giác có cấu trúc như mắt
người tỏ ra có tiềm năng hỗ trợ tìm đường. Máy ảnh còn có ưu thế cung cấp đầy đủ
thông tin môi trường xung quanh cá nhân.
Trong những năm gần đây, các thảm họa gây nhiều thiệt hại về người và vật chất
xảy ra tại các đô thị bởi yếu tố đặc trưng mật độ dân cư cao và nhiều nhà cao tầng. Công
tác tiếp cận khu vực khảo sát đối mặt với nhiều thách thức bởi môi trường này tiềm ẩn
nhiều yếu tố nguy hiểm như rò rỉ khí ga, khói, … Các nghiên cứu gần đây có định hướng
đề xuất giải pháp thay thế con người bằng xe rô-bốt tự dẫn đường. Thách thức là làm
thế nào rô-bốt làm việc được chính xác ổn định và kịp thời trong môi trường không
lường trước và có thể biến đổi. Có rất nhiều phương pháp dẫn đường đã được thử nghiệm
nhưng trong thời gian gần đây nổi lên là phương pháp dẫn đường bằng máy ảnh thị giác
với nhiều hy vọng hỗ trợ được tối đa các yêu cầu trong khảo sát môi trường văn phòng
tòa nhà.
Ngoài ra, xe rô bốt hoàn toàn có thể trở thành trợ lý của con người trong việc
chuyển phát hoặc nhận hàng hóa, tài liệu cứng trong một khu vực tổ hợp văn phòng hoặc
trong kho phân phối chuyển phát kiện hàng.
xv
Gần đây rất nhiều nhóm nhà khoa học đang tập trung nghiên cứu và phát triển các
hệ thống rô-bốt tự trị tích hợp máy ảnh. Xu hướng phát triển công nghệ là tích hợp các
cảm biến ảnh mạnh mẽ như máy ảnh nổi hoặc máy ảnh màu Đỏ Lục Dương-Độ sâu
(RGB-D). Trong đó việc nghiên cứu giải thuật xử lý tín hiệu ảnh thị giác có vai trò quan
trọng trong toàn hệ thống. Dựa trên hình ảnh thu nhận trong hiện trường cho phép xác
định được chính xác đầy đủ đa vật cản, đa mục tiêu. Lợi thế vượt trội của hệ máy ảnh
thị giác là cung cấp hình ảnh sinh động và giàu có thông tin cho người giám sát .
Tình hình nghiên cứu thuật toán xử lý tín hiệu ảnh ứng dụng trong rô-bốt tự trị
trong nhà không biết trước môi trường chưa được sự quan tâm xứng đáng với vai trò
quan trọng của nó. Nguyên nhân chủ yếu là việc định hướng nghiên cứu chưa được
hoạch định ở tầm vĩ mô. Nếu điều này được xây dựng một cách bài bản thì sẽ khuyến
khích có nhiều nhà khoa học, các nghiên cứu sinh, kỹ sư … tham gia bởi tính ứng dụng
thiết thực đến nhiều lĩnh vực trong đời sống xã hội. Mặc dù xử lý tín hiệu máy ảnh là
một khoa học ứng dụng đóng vai trò đặc biệt quan trọng cho sự phát triển của các hệ
thống giám sát, cứu hộ, hỗ trợ bệnh nhân người già và người khiếm thị. Nhưng do đặc
thù của lĩnh vực nghiên cứu là đòi hỏi có những kiến thức cơ bản về toán học và logic
vững vàng, nên có nhiều khó khăn đối với nhiều nhà nghiên cứu. Cho nên số lượng các
bài báo, các công trình khoa học có liên quan được công bố trên các tạp chí khoa học,
báo khoa học ở trong nước còn hạn chế. Ngoài nhóm nghiên cứu của Viện Điện tử Viễn thông, trường Đại học Bách Khoa Hà Nội, ở trong các trường đại học, các viện
khoa học vẫn có những nhóm nghiên cứu thực hiện các đề tài, dự án nghiên cứu khoa
học như Khoa Điện tử - Viễn thông, Trường đại học Công nghệ, Đại học Quốc Gia Hà
Nội, Học viện kỹ thuật quân sự, Khoa Điện tử - Viễn thông, Trường Đại học Bách Khoa
thành phố Hồ Chí Minh và một số trường đại học, viện nghiên cứu khác.
Các nghiên cứu hiện nay hứa hẹn sẽ giải quyết được vấn đề hiệu năng và tính chính
xác hệ thống, có tính ứng dụng cao trong tương lai. Nhưng riêng đối với những nghiên
cứu phát triển thuật toán xử lý tín hiệu máy ảnh ứng dụng trong hệ thống thị giác rô-bốt
dẫn đường trong nhà còn tiềm năng. Nguyên nhân một phần do điều kiện nghiên cứu
thực nghiệm còn nhiều hạn chế nên cho đến nay số lượng các công trình nghiên cứu liên
quan được công bố trong các tạp chí, hội thảo khoa học trong nước còn khá hạn chế.
Sau đây là một số phân tích môi trường đặc trưng môi trường hoạt động trong nhà
của xe rô-bốt. Bằng cách quan sát thực tế, tính chất chung của chúng là được xây dựng
là phẳng hoặc gồm các mảng phẳng lớn ghép lại với nhau. Các đồ đạc trong phòng được
xvi
sắp xếp và có thể thay đổi vị trí tùy ý bất kỳ lúc nào. Các đồ đạc bị xê dịch hoặc xáo
trộn hoặc đổ xuống sàn. Nên khó có thể sử dụng được bản đồ xây dựng sẵn có của tòa
nhà hoặc có thể chúng chưa được số hóa theo chuẩn của hệ xe rô-bốt. Vậy trường hợp
phổ quát xe rô-bốt làm việc môi trường trong nhà không biết trước. Một điều hiển nhiên
xe rô-bốt với cơ cấu chấp hành bánh xe chỉ có thể di chuyển trên mặt sàn hoặc gọi là
mặt đất. Vậy vấn đề dẫn đường có thể được giải quyết bằng cách chỉ ra cho hệ xe rô-bốt
đâu là mặt đất và phi đất sử dụng hệ thống cảm biến máy ảnh thị giác. Bản chất mặt đất
là một trong những mặt phẳng xuất hiện trong ảnh. Ngoài ra còn có các mặt phẳng khác
tạo nên hình dạng của các đối tượng như tường, bàn, ghế, tủ…Các đối tượng này được
quan tâm khi yêu cầu xe rô-bốt có nhiệm vụ thu thập dữ liệu để phân tích cấu trúc môi
trường. Thực tế đây cũng là tính năng cơ bản của xe rô-bốt trong bài toán khảo sát môi
trường, giúp tái tạo cảnh vật dạng 3D.
Như vậy, nhằm khai thác hiệu quả hệ máy ảnh thị giác gắn trên xe rô-bốt các vấn
đề thiết yếu đặt ra gồm:
1. Trích xuất mặt phẳng từ dữ liệu cung cấp bởi máy ảnh thị giác nổi hoặc RGBD. Bài toán này hỗ trợ phát triển ứng dụng tái tạo lại môi trường dạng 3D.
2. Nhận dạng mặt đất dựa trên việc khai thác dữ liệu máy ảnh thị giác nổi hoặc
RGB-D.
3. Ứng dụng nhận dạng mặt đất trong bài toán dẫn đường cho xe rô-bốt hoạt động
trong nhà trong điều kiện không có bản đồ giao thông.
Sau đây là phân tích sâu hơn tính cấp thiết của 3 vấn đề trên.
1.1. Trích trọn mặt phẳng
Trong lĩnh vực thị giác máy tính, phát hiện mặt phẳng là một trong những ứng
dụng cơ bản để khai thác sâu dữ liệu thị giác bao gồm ứng dụng tái kiến trúc môi trường
3D, nhận dạng đối tượng và điều hướng rô-bốt. Nghiên cứu gần đây cho thấy một số kết
quả thú vị với các thuật toán khác nhau. Những phương pháp tiếp cận này có thể lựa
chọn một trong nhiều loại dữ liệu đầu vào phong phú như đám mây điểm 3D, hình ảnh
màu đơn hoặc bản đồ chênh lệch. Trong [3], các tác giả kết hợp một cải tiến thuật toán
biến đổi Hough với kỹ thuật bó cụm để tìm kiếm nhiều mục tiêu trong ảnh dựa trên biên
của đối tượng. Phương pháp này có thể phát hiện nhiều đối tượng với hình dạng tròn
hoặc hình dạng thẳng. Tuy nhiên, cấu trúc của các đối tượng được trích chọn khá đơn
giản. Vì vậy, các thuật toán ứng dụng không thể thích ứng với môi trường tự nhiên,
xvii
trong đó hầu hết hình dáng của các vật thể đều được hình thành bởi rất nhiều mặt phẳng.
Công trình [4] đề xuất một phương pháp tiếp cận thực tế hơn bằng cách giải quyết vấn
đề tìm kiếm mặt phẳng dựa trên thuật toán chuyển đổi 3D Hough áp dụng cho đám mây
điểm 3D. Sự đóng góp xuất sắc chính là cải thiện sự phức tạp của phép chuyển đổi
Hough trong hệ tọa độ của không gian ba chiều. Các kết quả trải nghiệm được đánh giá
là tích cực lạc quan nhưng rõ ràng là mục đích đáp ứng thời gian thực vẫn chưa đạt được.
Các nội dung trong [5] [6] [7] mang đến một cách tiếp cận mới để phát hiện các mặt
phẳng bằng cách cải thiện thuật toán Đồng thuận lấy mẫu ngẫu nhiên (RANSAC). Ngoài
ra giải pháp phối hợp với giải thuật khác như Độ dài mô tả tối thiểu (MDL) để cải thiện
độ tin cậy của các kết quả được thử nghiệm. [8] [9] giải quyết bài toán hẹp phát hiện
mặt bàn với thuật toán đề xuất PROSAC bằng cách cải thiện RANSAC. Nhìn chung,
các công trình đã có một số kết quả đáng khích lệ cho cả hai loại dữ liệu tổng hợp và dữ
liệu thu thập trong thực tế. Phương pháp này có thể tránh việc phát hiện mặt phẳng sai
do độ phức tạp hình học cao của dữ liệu 3D. Nhưng sau đó sự phức tạp của dữ liệu của
cấu trúc là không được quan tâm thích đáng. Trong công trình [10], mặt phẳng ngang
được phát hiện từ các điểm đầu mối của hình ảnh trực quan hoặc phát hiện từ biên trong
dữ liệu điểm 3D. Tuy nhiên, những phương pháp này không thích hợp cho hầu hết các
loại cấu trúc xây dựng trên thực tế. Giải pháp tìm mặt phẳng được trình bày trong [11]
căn cứ trên giải pháp Tối ưu hạt Swarm (PSO) kèm với thuật toán Phát triển vùng (RG)
để trích chọn các mặt phẳng nhỏ. Song trong nhận định kết quả của giải pháp này thì có
nhiều ý kiến là cần phải thảo luận thêm về khả năng giảm chi phí tính toán và cải thiện
độ chính xác. Tất cả các phương pháp tiếp cận được đề cập ở trên đều lựa chọn dữ liệu
đầu vào 3D phức tạp.
Gần đây, các bài viết [12] [13] [14] công bố phát hiện bất kỳ loại bề mặt nào mà
không cần hiệu chuẩn máy ảnh bằng cách giả định máy ảnh gắn trên xe tự hành luôn
chuyển động tuyến tính. Các bề mặt phẳng được tham số hóa bằng cách chuyển chúng
thành không gian vận tốc c có dạng pa-ra-bôn [12]. Tác giả đề xuất phương pháp phát
hiện mặt phẳng mà khai thác ràng buộc đường cong vận tốc ISO sau khi ước tính luồng
quang học và bỏ phiếu cho các bộ tích lũy. Hàm vận tốc c phụ thuộc vào hai biến x và y
với mối quan hệ gốc bình phương vì vậy nó có độ phức tạp quá cao. Bản thảo [14] đưa
ra một số kết quả lạc quan và cần được phát triển hoàn thiện hơn nữa.
Các phương pháp ứng dụng thú vị [15] [16] có thể nhanh chóng phát hiện nhiều
mặt phẳng dựa trên một bản đồ chiều sâu thu được từ máy ảnh Kinect. Thuật toán được
áp dụng trong giải pháp tính véc tơ pháp tuyến cục bộ của các nhóm bốn điểm liền kề
xviii
- Xem thêm -