BỘ GIÁO DỤC VÀ ĐÀO TẠO
VIỆN HÀN LÂM KHOA HỌC
VÀ CÔNG NGHỆ VIỆT NAM
HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ
-----------------------------
Lê Văn Chung
NGHIÊN CỨU ĐIỀU KHIỂN RÔ BỐT
TAY MÁY DI ĐỘNG BÁM MỤC TIÊU
TRÊN CƠ SỞ SỬ DỤNG THÔNG TIN HÌNH ẢNH
Chuyên ngành:
Kỹ thuật điều khiển và tự động hóa
Mã số:
9.52.02.16
LUẬN ÁN TIẾN SĨ KỸ THUẬT
NGƯỜI HƯỚNG DẪN KHOA HỌC:
1. PGS.TSKH Phạm Thượng Cát
2. TS. Phạm Minh Tuấn
Hà Nội – 2019
LỜI CAM ĐOAN
Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các kết quả
được viết chung với các tác giả khác đều được sự đồng ý của đồng tác giả trước khi
đưa vào luận án. Các kết quả trong luận án là trung thực và chưa từng được công bố
trong bất kỳ công trình nào khác.
Tác giả luận án
Lê Văn Chung
i
LỜI CẢM ƠN
Lời đầu tiên, Tôi xin chân thành cảm ơn Ban Lãnh đạo Học viện Khoa học
và Công nghệ, Viện Công nghệ thông tin - Viện Hàn lâm Khoa học và Công nghệ
Việt Nam, Phòng Công nghệ tự động hóa đã tạo điều kiện thuận lợi trong quá trình
học tập, nghiên cứu.
Tôi xin bày tỏ lòng kính trọng và biết ơn sâu sắc tới PGS.TSKH.
Phạm Thượng Cát và TS. Phạm Minh Tuấn, hai thầy đã định hướng và tận tình
hướng dẫn để tôi có thể hoàn thành luận án.
Tôi xin cảm ơn Ban Giám hiệu Trường Đại học Công nghệ Thông
tin và Truyền thông - Đại học Thái Nguyên, Khoa Công nghệ tự động hóa và
các đơn vị trong Nhà trường đã quan tâm giúp đỡ, tạo điều kiện để tôi có thể thực
hiện nghiên cứu.
Tôi xin cảm ơn các cán bộ Phòng Công nghệ tự động hóa – Viện Công nghệ
thông tin, các đồng nghiệp thuộc Khoa Công nghệ Tự động hóa - Trường Đại học
Công nghệ thông tin và truyền thông - Đại học Thái Nguyên đã động viên và trao
đổi kinh nghiệm trong quá trình hoàn thành luận án.
Cuối cùng, tôi xin chân thành cảm ơn đến gia đình, người thân, các bạn đồng
nghiệp - những người luôn dành cho tôi những tình cảm nồng ấm, luôn động viên
và sẻ chia những lúc khó khăn trong cuộc sống và tạo điều kiện tốt nhất để tôi có
thể hoàn thành quá trình nghiên cứu.
Hà Nội, ngày 28 tháng 8 năm 2019
Tác giả luận án
Lê Văn Chung
ii
MỤC LỤC
LỜI CAM ĐOAN ....................................................................................................... i
LỜI CẢM ƠN ............................................................................................................ii
MỤC LỤC ................................................................................................................ iii
DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT ...........................................vii
DANH MỤC HÌNH VẼ ............................................................................................ x
DANH MỤC BẢNG .............................................................................................. xiii
MỞ ĐẦU .................................................................................................................... 1
CHƢƠNG 1................................................................................................................ 7
TỔNG QUAN ............................................................................................................ 7
1.1 Đặt vấn đề ........................................................................................................ 7
1.2. Tổng quan về điều khiển rô bốt sử dụng thông tin hình ảnh ..................... 8
1.2.1 Tình hình nghiên cứu ngoài nước ........................................................... 11
1.2.2 Tình hình nghiên cứu trong nước .............................................................. 8
1.3 Các vấn đề nghiên cứu của luận án ............................................................. 19
1.3.1. Phát triển phương pháp điều khiển rô bốt s dụng thông tin hình ảnh ... 19
1.3.2. Một số cải tiến trong điều khiển hệ servo thị giác bám mục tiêu di động
........................................................................................................................... 20
1.3.3. Phát triển thuật toán điều khiển rô bốt di động s dụng thông tin hình
ảnh. .................................................................................................................... 21
1.4. Kết luận chƣơng 1 ........................................................................................ 22
CHƢƠNG 2.............................................................................................................. 23
PHÁT TRIỂN THUẬT TOÁN ĐIỀU KHIỂN HỆ PAN-TILT SỬ DỤNG
THÔNG TIN HÌNH ẢNH TỪ HAI CAMERA .................................................... 23
2.1. Xây dựng mô hình động học hệ pan-tilt-stereo camera bám mục tiêu di
động với nhiều tham số bất định ................................................................... 24
iii
2.1.1 Xác định ma trận Jacobi ảnh qua tọa độ điểm ảnh thu được từ 2 camera
quy vào hệ tọa độ OcXcYcZc ........................................................................... 24
2.1.2 Xác định hệ phương trình động học tốc độ hệ pan-tilt. ........................... 28
2.1.3 Xây dựng bài toán điều khiển động học (kinematic control) hệ rô bốtstereo camera bám mục tiêu. ............................................................................. 29
2.2.Thiết kế thuật toán điều khiển ..................................................................... 30
2.2.1 Xây dựng mô hình bộ điều khiển ............................................................. 30
2.2.2 Xây dựng thuật toán điều khiển hệ Pan-tilt –2 camera bám mục tiêu di
động ................................................................................................................... 31
2.3 Một số kết quả mô phỏng kiểm chứng ........................................................ 35
2.4. Kết luận chƣơng 2 ........................................................................................ 43
CHƢƠNG 3.............................................................................................................. 45
MỘT SỐ CẢI TIẾN TRONG ĐIỀU KHIỂN ....................................................... 45
HỆ SERVO TH GIÁC BÁM MỤC TIÊU DI ĐỘNG ........................................ 45
3.1
dựng mô hình 3D cho hệ 2 camera trên hệ pan-tilt ........................... 47
3.1.1 Mô hình 3D cho hệ stereo camera ........................................................... 47
3.1.2 Mô hình hệ camera ảo. ............................................................................. 47
3.1.3 Kiểm soát sự suy biến của ma trận Jacobian ......................................... 53
3.1.4 Bài toán điều khiển rô bốt bám mục tiêu với nhiều tham số bất định ..... 53
3.2.
dựng hệ động lực học hệ pan-tilt – stereo camera với các tham số
bất định ............................................................................................................ 53
3.3.
dựng bộ điều khiển nơ ron cho hệ động lực học hệ pan-tilt stereo
camera bám mục tiêu di động. ...................................................................... 55
3.3.1 Xây dựng bộ điều khiển .......................................................................... 55
3.3.2 Xây dựng cấu trúc các lớp bộ điều khiển nơ ron truyền th ng RBF cho hệ
thống .................................................................................................................. 56
3.3.3 Tối ưu tham số ......................................................................................... 57
3.4. Mô phỏng hệ thống....................................................................................... 61
iv
3.5. Kết luận ......................................................................................................... 72
CHƢƠNG 4.............................................................................................................. 74
PHÁT TRIỂN THUẬT TOÁN ĐIỀU KHIỂN RÔ BỐT DI ĐỘNG .................. 74
SỬ DỤNG THÔNG TIN HÌNH ẢNH. .................................................................. 74
4.1. Xây dựng mô hình động học và bài toán hệ điều khiển Rô bốt-Pan-tilt–
Stereo Camera bám mục tiêu di động .......................................................... 75
4.1.1 Xác định ma trận Jacobi ảnh .................................................................... 75
4.1.2 Xác định ma trận Jacobi của hệ và tốc độ bám mục tiêu cho rô bốt di
động. .................................................................................................................. 77
4.1.3 Xác định tốc độ của các bánh xe cho rô bốt di động để rô bốt tiếp cận
mục tiêu. ............................................................................................................ 81
4.2. Thiết kế thuật toán điều khiển .................................................................... 82
4.2.1 Động lực học hệ rô bốt di động-bệ pan-tilt .............................................. 82
4.2.2 Thiết kế bộ điều khiển tối ưu ................................................................... 83
4.3. Mô phỏng hệ thống....................................................................................... 89
4.3.1 Mô phỏng hệ thống với bộ điều khiển tối ưu ........................................... 89
4.3.2 Mô phỏng hệ thống với bộ điều khiển trượt CTC.................................... 94
4.4. Kết luận chƣơng 4 ........................................................................................ 96
5. KẾT LUẬN .......................................................................................................... 97
5.1. Những nội dung nghiên cứu chính của luận án......................................... 97
5.2.Những đóng góp khoa học mới của luận án ............................................... 97
5.3.Định hƣớng nghiên cứu phát triển .............................................................. 98
DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ ........................................... 100
TÀI LIỆU THAM KHẢO .................................................................................... 101
PHỤ LỤC ............................................................................................................... 111
1. Mô hình mô phỏng về hệ pan-tilt stereo camera bám mục tiêu di động có
sử dụng mô hình camera 3D ảo ................................................................... 111
v
2. Mô hình mô phỏng về hệ pan-tilt stereo camera bám mục tiêu di động có
sử dụng mô hình camera 3D ảo ................................................................... 118
vi
DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
Ký hiệu
Đơn vị
Mô tả
tính
Computed Torque Controller – bộ điều khiển dựa
CTC
trên phương pháp tính mô men.
d
m
Khoảng cách giữa 2 bánh xe rô bốt di động.
Vecto ảnh hư ng của nhi u, các tham số bất định.
d(t)
f
pixel
Tiêu cự camera (1 pixel = 35μm)
fv
pixel
Tiêu cự thấu kính của camera ảo.
Các thành phần bất định trong mô hình động học hệ
f
pan-tilt.
Các thành phần bất định trong mô hình động lực học
fu
hệ pan-tilt.
H
Hàm Hamilton.
Jimag
Ma trận Jacobi ảnh.
Jrobot
Ma trận Jacobi rô bốt.
J
Ma trận Jacobi tổng hợp.
Jˆ imag (m), Jˆ robot (q)
Các giá trị biết được của các ma trận tương ứng.
Các đại lượng không biết của các ma trận tương
ΔJ imag (m), ΔJrobot (q)
ứng.
Jˆ
Ma trận giả nghịch đảo của ma trận J;
T
1 T
(Jˆ Jˆ ) Jˆ
Jˆ
T
1 T
(Jˆ Jˆ ) Jˆ
K
m
Khoảng cách 2 camera.
k
m
khoảng cách giữa hai bánh xe rô bốt di động.
k1
m
Khoảng cách giữa rô bốt di động và mục tiêu.
l1
m
Chiều dài khớp pan củahệ pan-tilt.
l2
m
Chiều dài khớp tilt củahệ pan-tilt.
LQR
Linear–Quadratic Regulator.
vii
LQG
Linear–Quadratic–Gaussian.
m
Pixel
Véc tơ đặc trưng ảnh.
md
Pixel
Véc tơ đặc trưng ảnh mong muốn.
Q
Tọa độ mục tiêu.
q
Véc tơ vị trí góc của khớp pan, tilt
qr
Véc tơ vị trí góc của khớp pan, tilt
RBF
Radial basis function neural network
s
Véc tơ sai số giữa giá trị mong muốn và đo được.
Tx Ty Tz
m/s
Vận tốc dài của tay nắm camera
x y z
m/s
Vận tốc góc của tay nắm camera
U, V
Pixel
Tọa độ ảnh của đối tượng
u1,
Thành phần điều khiển nơ ron
u*
Thành phần điều khiển tối ưu
v
véc tơ biến ngoài của đầu tay nắm của bệ pan-tilt
(trùng với gốc tọa độ camera OC)
C
v
Véc tơ vận tốc dài của đầu tay nắm của bệ pan-tilt
C
Ω
Véc tơ vận tốc góc của đầu tay nắm của bệ pan-tilt
vs
Véc tơ vận tốc đo được tại 2 bánh rô bốt di động và
2 khớp của bệ pan-tilt.
Véc tơ vận tốc mong muốn đặt lên 2 bánh rô bốt di
vd
động và 2 khớp của bệ pan-tilt.
x
Véc tơ mô tả vị trí và hướng của camera.
xs
Véc tơ tọa độ mục tiêu nhìn trong hệ tọa độ camera
ảo.
W
Ma trận trọng số của mạng nơ ron
ε
Sai số giữa tham số mong muốn và đo được
θ1
rad
Góc quay của khớp pan
θ2
rad
Góc quay của khớp tilt
m
rad
Góc hướng của rô bốt di động
θ1d
rad
Góc quay mong muốn của khớp pan
θ2d
rad
Góc quay mong muốn của khớp tilt
viii
md
rad
Góc hướng mong muốn của rô bốt di động
m
Khoảng cách từ gốc tới vị trí đặt camera ảo
c j , j
Trọng tâm và độ rộng khoảng cách tính từ tâm của
lớp n thứ j radial basis function của mạng nơ ron.
φl , φr
Stereo camera
rad
Góc quay của bánh xe trái, phải trên rô bốt di động
Hệ 2 camera được gắn trên khung cố định củahệ
pan-tilt và có các quan hệ hình học được xác định
trước.
ix
DANH MỤC HÌNH VẼ
Hình 1.1 Các ứng dụng điều khiển rô bốt s dụng thông tin hình ảnh. .................... 11
Hình 1.2 Một số phương pháp điều khiển rô bốt s dụng thông tin hình ảnh .......... 14
Hình 2.1 Bệ pan-tilt PTU-D48E-Series và biểu di n hệ tọa độ ................................ 24
Hình 2.2 Mô hình hệ thống camera ........................................................................... 25
Hình 2.3 Ảnh theo 2 trục Z, Y .................................................................................. 26
Hình 2.4 Ảnh theo 2 trục X, Y .................................................................................. 26
Hình 2.5 Mạng RBF xấp xỉ hàm f ........................................................................... 32
Hình 2.6 Cấu trúc của hệ visual servoing điều khiển camera bám mục tiêu di động
có nhiều tham số bất định.......................................................................................... 34
Hình 2.7 Sai lệch tọa độ ảnh mục tiêu (pixel). .......................................................... 37
Hình 2.8 Sai lệch tọa độ ảnh mục tiêu (pixel) khi bộ điều khiển không có mạng nơ
,
ron bù ( u1 = 0 ). ........................................................................................................ 37
Hình 2.9 Sai lệch bám tọa độ khi mục tiêu di chuyển theo đường thẳng. ................ 38
Hình 2.10 Sai lệch tọa độ ảnh khi mục tiêu di chuyển theo đường thẳng ................ 38
Hình 2.11 Sai lệch bám tọa độ khi mục tiêu di chuyển theo đường thẳng với bộ điều
khiển không có mạng nơ ron bù ( u1, = 0 ). .................................................................. 39
Hình 2.12 Sai lệch tọa độ ảnh khi mục tiêu di chuyển theo đường thẳng với bộ điều
khiển không có mạng nơ ron bù ................................................................................ 39
Hình 2.13 Sai lệch bám quỹ đạo khi mục tiêu cơ động theo cung tròn .................... 40
Hình 2.14 Sai lệch tọa độ ảnh khi mục tiêu cơ động theo cung tròn ........................ 40
Hình 2.15 Sai lệch bám quỹ đạo với mục tiêu cơ động theo cung tròn khi bộ điều
khiển không có mạng nơ ron bù ................................................................................ 41
Hình 2.16 Sai lệch tọa độ ảnh với mục tiêu cơ động theo cung tròn khi bộ điều
khiển không có mạng nơ ron bù ( u1, = 0 ). .................................................................. 41
Hình 2.17 Sai lệch bám quỹ đạo khi mục tiêu di chuyển với vận tốc thay đổi......... 42
x
Hình 2.18 Sai lệch tọa độ ảnh khi mục tiêu di chuyển với vận tốc thay đổi............. 42
Hình 3.1 Hệ trục tọa độ của hệ Pan-tilt – stereo cameras ......................................... 48
Hình 3.2 Mô hình hệ camera 3D ảo .......................................................................... 49
Hình 3.3 Tọa độ mục tiêu nhìn theo hai trục tọa độ Y và Z ..................................... 50
Hình 3.4 Tọa độ mục tiêu nhìn theo hai trục tọa độ Y và Z ..................................... 50
Hình 3.5 Mạng nơ ron RBF để xấp xỉ tham số bất định f ......................................... 57
Hình 3.6 Cấu trúc sơ đồ điều khiển của hệ thống ..................................................... 60
Hình 3.7 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường thẳng
nhìn trong không gian camera .................................................................................. 63
Hình 3.8 Sai số bám mục tiêu di động khi mục tiêu di chuyển theo đường thẳng
trong hệ tọa độ ảo 3D ................................................................................................ 64
Hình 3.9 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường tròn
nhìn trong không gian camera .................................................................................. 65
Hình 3.10 Sai số bám mục tiêu di động khi mục tiêu di chuyển theo đường tròn nhìn
trong hệ tọa độ ảo 3D ................................................................................................ 65
Hình 3.11 a) L i bám mục tiêu theo 2 trục X, Z. b) Mô ment đặt lên các khớp. c)
Tốc độ khớp pan-tilt q ............................................................................................... 66
Hình 3.12 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo hình chữ
nhật với tốc độ thay đổi nhìn trong không gian camera ........................................... 66
Hình 3.12 Sai số bám mục tiêu di động khi mục tiêu di chuyển theo hình chữ nhật
với tốc độ thay đổi nhìn trong hệ tọa độ ảo 3D ......................................................... 67
Hình 3.13 a) Sai số bám mục tiêu chiếu theo hai trục X, Z. b) Moment đặt lên các
khớp. c) Tốc độ các khớp q ....................................................................................... 68
Hình 3.14 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển trong không
gian với tốc độ và hướng thay đổi bất kỳ nhìn trong không gian camera ................ 69
Hình 3.15 Sai số bám mục tiêu di động khi mục tiêu di chuyển trong không gian với
tốc độ và hướng thay đổi bất kỳ nhìn trong hệ tọa độ ảo 3D .................................... 69
Hình 3.15 a) Sai số bám mục tiêu chiếu theo hai trục X, Z. b) Moment đặt lên các
khớp. c) Tốc độ các khớp q ....................................................................................... 70
xi
Hình 3.17 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường
thẳng khi không s dụng hệ tọa độ ảo và bộ điều khiển nơ ron ............................... 71
Hình 3.18 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường tròn
khi không s dụng hệ tọa độ ảo và bộ điều khiển nơ ron ......................................... 71
Hình 3.19 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo hình chữ
nhật với tốc độ thay đổi khi không s dụng hệ tọa độ ảo và bộ điều khiển nơ ron .. 71
Hình 3.20 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo hình tròn
của bài báo trích dẫn [20]. ......................................................................................... 73
Hình 4.1 Cấu trúc của hệ rô bốt- pan-tilt-stereo camera ........................................... 76
Hình 4.2 Mô hình hệ thống stereo camera ................................................................ 80
Hình 4.3 Ảnh theo hai trục X, Z (trái) và Y, Z (phải). .............................................. 80
Hình 4.4 Vị trí và hướng mong muốn của rô bốt di động. ........................................ 81
Hình 4.5 Sơ đồ khối hệ thống. .................................................................................. 85
Hình 4.6 Sơ đồ khối hệ thống với bộ điều khiển trượt CTC. .................................... 88
Hình 4.7 Thuật toán điều khiển tối ưu ...................................................................... 92
Hình 4.8 Bám tọa độ ảnh nhìn trong hệ tọa độ gốc. ................................................. 93
Hình 4.9 Rô bốt di động bám theo mục tiêu trên mặt phẳng x-y nhìn trong hệ tọa độ
gốc. ............................................................................................................................ 94
Hình 4.10 Sai số vecto v giữa tốc độ mong muốn và tốc độ đặt của các khớp hệ pantilt và hai bánh rô bốt di động ................................................................................... 94
Hình 4.11 Mô phỏng di chuyển bám theo mục tiêu của rô bốt di động .................... 95
Hình 4.12 Sai số giữa tốc độ mong muốn và tốc độ đặt của các khớp hệ pan-tilt và
hai bánh rô bốt di động.............................................................................................. 95
xii
DANH MỤC BẢNG
Bảng 3.1 Bảng tham số của hệ thống hệ pan-tilt ................................................ 62
Bảng 4.1 các tham số trong mô hình rô bốt di động – hệ pan-tilt – stereo
camera ...................................................................................................................... 89
xiii
MỞ ĐẦU
Tính cấp thiết của đề tài
Rô bốt được ứng dụng trong công nghiệp từ những năm 60 để thay thế con
người làm các công việc nặng nhọc, nguy hiểm trong môi trường độc hại. Ngày nay rô
bốt được ứng dụng rộng rãi trong mọi lĩnh vực sản xuất và dịch vụ như trong chế tạo
máy, y tế, chăm sóc sức khỏe, nông nghiệp, đóng tàu, xây dựng, an ninh quốc phòng
và gia đình … Nhu cầu s dụng rô bốt trong các ngành công nghiệp, dân dụng, dịch vụ
và an ninh quốc phòng gia tăng là động lực cho sự phát triển của các rô bốt di động
thông minh.
Cùng với sự phát triển mạnh mẽ của các hệ thống tự động hóa, rô bốt di động
ngày một được hoàn thiện và càng cho thấy lợi ích của nó trong công nghiệp và sinh
hoạt. Một vấn đề rất được quan tâm khi nghiên cứu về rô bốt là khả năng nhìn và x lý
thông tin hình ảnh để rô bốt có thể theo dõi được các đối tượng mục tiêu đứng yên
cũng như di chuyển trong không gian, biết được vị trí nó đang đứng trong môi trường
phi cấu trúc và có thể di chuyển tới một vị trí khác, đồng thời có thể tự động tránh
được các chướng ngại vật trên đường đi.
Trong những năm gần đây, rất nhiều công trình nghiên cứu về điều khiển rô bốt
s dụng thông tin hình ảnh, nhưng các kết quả đạt được vẫn còn bộc lộ một số hạn chế.
Chẳng hạn như việc s dụng 1 camera trên rô bốt di động chỉ cho phép theo dõi đầy đủ
thông tin của mục tiêu khi biết trước mặt phẳng di chuyển của mục tiêu hay việc s
dụng 2 camera cho phép đáp ứng nhiều yêu cầu nhưng chưa xét tới các sự suy biến của
ma trận Jacobian ảnh tác động tới khả năng bám của hệ thống. Bên cạnh đó mô hình
toán học của rô bốt thường khó đạt độ chính xác tuyệt đối vì trong hệ thống chứa nhiều
tham số bất định như việc đo đạc các tham số ban đầu hay các hệ số ma sát, mô
men quán tính…, lại thường thay đổi trong quá trình hoạt động. Ngoài ra, tối ưu
hóa các tham số trong các bộ điều khiển rô bốt để đạt được độ chính xác mong muốn
trong một số trường hợp cụ thể là những vấn đề khó và cần tiếp tục nghiên cứu. Việc
s dụng thị giác 2 camera là một xu hướng tất yếu vì nó mang tính linh hoạt dựa trên
đặc tính của hầu hết các loài động vật bậc cao đều có 2 mắt. Nhưng trong việc s dụng
thị giác 2 camera cho rô bốt đi động, việc phát triển các thuật toán điều khiển sao cho
phát huy được các ưu điểm của thị giác hai camera và hạn chế được các khuyết điểm
1
đã nêu
trên vẫn còn khá nhiều vấn đề cần được giải quyết.
Với lý do trên, tác giả đã lựa chọn đề tài: “Nghiên cứu điều khiển rô bốt tay
máy di động bám mục tiêu trên cơ sở sử dụng thông tin hình ảnh” để phát triển
một số thuật toán điều khiển rô bốt theo dõi mục tiêu di động và rô bốt di chuyển bám
mục tiêu s dụng thông tin hình ảnh có nhiều tham số bất định.
Đối tƣợng nghiên cứu
Đối tượng nghiên cứu chính của đề tài là tập trung vào hệ rô bốt tay máy pantilt và rô bốt di động có cơ cấu di chuyển b ng bánh xe. Hệ camera dùng để lấy thông
tin hình ảnh cho điều khiển tay máy bám mục tiêu di động là hệ 2 camera. Những hình
ảnh thu được sẽ được x lý, tính toán từ đó ra quyết định điều khiển các cơ cấu chấp
hành khác của rô bốt thực hiện theo các yêu cầu.
Mục tiêu nghiên cứu
Mục tiêu của đề tài là nghiên cứu phát triển một số thuật toán điều khiển tay
máy rô bốt bám mục tiêu di động dựa trên cơ s
thông tin hình ảnh s dụng hai
camera có tính bền vững với nhiều tham số bất định và khả năng kháng nhi u với tốc
độ x lý cao.
- Đề xuất thuật toán điều khiển hệ pan-tilt mang 2 camera bám mục tiêu di
động với nhiều tham số bất định và xây dựng hệ 2 camera với ma trận
Jacobian ảnh đầy đủ.
- Đề xuất một số thuật toán điều khiển hệ rô bốt di động, hệ pan-tilt mang 2
camera bám mục tiêu di động.
Phạm vi nghiên cứu
Nghiên cứu về hệ pan-tilt mang 2 camera (stereo camera) và rô bốt di động di
chuyển b ng 3 bánh xe trong đó có 2 bánh chủ động, có nhiều tham số bất định bám
mục tiêu di động.
Nghiên cứu các thuật toán, phương pháp điều khiển hệ pan-tilt bám mục tiêu di
động s dụng thông tin hình ảnh từ hai camera.
Nghiên cứu các thuật toán điều khiển hệ rô bốt di động, hệ pan-tilt stereo
camera theo dõi và bám mục tiêu di động.
Chỉ tập trung vào nghiên cứu s dụng các kết quả mà camera thu được để điều
2
khiển rô bốt, không đề cập tới phần hiệu chỉnh camera, thu nhận ảnh hay x lý ảnh
trên camera mà chỉ quan tâm tới việc x lý từ điểm tính năng trên ảnh sau x lý để đưa
ra các tham số điều khiển rô bốt.
Các yếu tố bất định, nhi u trong các bài toán của luận án đều bị chặn.
Phƣơng pháp nghiên cứu
Phương pháp nghiên cứu được áp dụng cho các vấn đề đã nêu ra của luận án
như sau:
1. Trên cơ s kế thừa các kết quả nghiên cứu đã có tác giả đi xây dựng mô
hình toán học cho hệ thốnghệ pan-tilt stereo camera và hệ thống phức hợp
gồm rô bốt di động – hệ pan-tilt mang 2 camera khi có các tham số bất định
trong mô hình và nhi u.
2. Nghiên cứu các thuật toán điều khiển hiện đại để từ đó xây dựng các thuật
toán điều khiển mới cho hệ pan-tilt theo dõi mục tiêu và hệ phức hợp nói
trên bám mục tiêu di động.
3. Tối ưu hệ thống bao gồm tối ưu các ma trận Jacobian đảm bảo tính khả
nghịch và tham số trong mô hình điều khiển.
4. Chứng minh tính ổn định của các thuật toán đề xuất b ng lý thuyết ổn định
Lyapunov, bổ đề Barbalat.
5. Mô phỏng đáp ứng của hệ thống với các thuật toán đề xuất trên Matlab
simulink để kiểm chứng việc theo dõi và bám mục tiêu của hệ thống.
Ý nghĩa của đề tài
- Về mặt lý thuyết: đóng góp các thuật toán điều khiển hệ pan-tilt theo dõi
mục tiêu và thuật toán điều khiển hệ rô bốt di động –hệ pantilt s dụng 2
camera bám mục tiêu di động với nhiều tham số bất định trong mô hình
cũng như nhi u tác động.
- Về mặt thực ti n: xây dựng mô hình camera 3D ảo loại bỏ sự suy biến của
ma trận Jacobian ảnh và mô hình động lực học cho hệ gồm rô bốt di động –
hệ pan-tilt mang dụng 2 camera.
Những điểm mới của luận án
3
Qua các nghiên cứu về phương pháp điều khiển rô bốt s dụng thông tin hình
ảnh, trong đó cụ thể là hệ pan-tilt và hệ rô bốt di động – hệ pan-tilt stereo camera có
nhiều tham số bất định trong mô hình rô bốt, trong ma trận Jacobian ảnh, ma trận
Jacobian rô bốt cũng như các yếu tố bên ngoài, tác giả có một số đóng góp như sau:
- Xây dựng 1 phương pháp để thiết lập ma trận Jacobian ảnh vuông cho hệ stereo
camera giúp hệ rô bốt – stereo camera theo dõi được các đối tượng có chuyển động
phức tạp d dàng hơn.
- Xây dựng bộ điều khiển mạng nơ ron nhân tạo để bù các tham số bất định trong
mô hình rô bốt, trong ma trận Jacobian ảnh, ma trận Jacobian rô bốt cũng như các yếu
tố bên ngoài. Bộ điều khiển này hoạt động tốt ngay cả khi tham số mô hình chỉ chắc
chắn được 80
và ngay cả khi có các yếu tố bên ngoài tác động vào.
- Xây dựng mô hình động lực học cho hệ gồm rô bốt di động – hệ pan-tilt mang
dụng 2 camera và 2 thuật toán điều khiển trong đó: 01 bộ điều khiển trượt và 01 bộ
điều khiển tối ưu theo chu n tối ưu bình phương tối thiểu cho hệ kết hợp hai rô bốt
gồm hệ pan-tilt stereo camera và rô bốt di động. Trong đó, mô hình động lực học của
toàn hệ nói trên được tổng hợp trong một phương trình.
Tối ưu hóa các tham số trong bộ điều khiển nơ ron.
Mô phỏng kiểm chứng các thuật toán điều khiển rô bốt theo dõi và bám mục tiêu
di động b ng công cụ mô phỏng Matlab.
Công bố 07 công trình liên quan đến các nội dung nghiên cứu của luận án trên
các tạp chí, kỷ yếu hội thảo trong nước và ngoài nước.
Nội dung của luận án
Luận án gồm 04 chương:
Chƣơng 1 Trình bày tổng quan về các vấn đề trong điều khiển rô bốt nói chung,
điều khiển rô bốt s dụng thông tin hình ảnh từ camera và đặc biệt là s dụng hai
camera để đưa ra định hướng nghiên cứu của luận án.
Chƣơng 2 Trình bày mô hình động học của hệ pan-tilt 2 camera. Xây dựng bộ
điều khiển động học điều khiển hệ thống bám mục tiêu di động với nhiều tham số bất
đinh trong mô hình toán học. Bộ điều khiển được xây dựng dựa trên phương pháp điều
khiển PD kết hợp với mạng nơ ron RBF s dụng thuật học online để bù các tham số
4
bất định. Thuật toán được chứng minh tính ổn định tiệm cận b ng lý thuyết ổn định
Lyapunov và mô phỏng kiểm chứng trên Matlab simulink.
Kết quả của các nghiên cứu trong chương này được công bố trong tạp chí Tin
học và điều khiển, tạp chí Khoa học công nghệ - Đại học Thái Nguyên và trong kỷ yếu
hội nghị toàn quốc về tự động hóa VCCA 2013:
, Pham Thuong Cat (2015), “A new control method for stereo visual servoing
system with pan-tilt platform”, Journal of Computer Science and Cybernetics,Vol
31 (2), pp. 107 – 122.
, Phạm Thượng Cát, Bùi Tuấn Anh (2013), “Phương pháp điều khiển hệ servo
thị giác stereo sử dụng bệ Pan-Tilt”, Hội nghị toàn quốc lần thứ 2 về Điều khiển
và Tự động hoá - VCCA-2013, Đà N ng, pp. 375 - 382.
, “Phát triển hệ pan-tilt – nhiều camera bám mục tiêu di động”, Tạp chí KHCN
Đại học Thái Nguyên, 116(02), tr. 41-46.
Chƣơng 3: Xây dựng mô hình camera 3D ảo để thiết lập ma trận Jacobian ảnh
vuông giúp hệ stereo camera ảnh có thể theo dõi các đối tượng chuyển động phức tạp.
Xây dựng mô hình động lực học cho hệ pan-tilt 2 camera bám mục tiêu di động. Bộ
điều khiển s dụng mang nơ ron với các tham số đã được tối ưu. Mô hình và thuật toán
điều khiển này cho kết quả tốt hơn so với các kết quả trong chương 2 khi có xét thêm
nhi u ngoài và các yếu tố bất định trong mô hình động lực học. Tính ổn định tiệm cận
của hệ thống đã được chứng minh b ng lý thuyết ổn định Lyapunov, bổ đề Barbalat và
mô phỏng trên Matlab.
Kết quả nghiên cứu của chương này được tác giả công bố trên tạp chí quốc tế về
x lý ảnh và điều khiển robot và kỷ yếu hội nghị toàn quốc về cơ điện t VCM 2014:
, “Robust Visual Tracking Control of Pan-tilt -Stereo Camera System”,
International Journal of Imaging and Robotics, Vol 18 (1), (1/2018), pp. 45 – 61.
, Pham Thuong Cat (2014), “Robust visual tracking control of pan-tilt – stereo
camera system”, Hội nghị cơ điện t VCM 2014, Đồng Nai, pp.167-173.
Chƣơng 4 Xây dựng mô hình động lực học cho hệ gồm rô bốt di động – hệ pantilt mang dụng 2 camera. Xây dựng 02 thuật toán điều khiển cho hệ nói trên bao gồm
01 bộ điều khiển trượt và 01 bộ điều khiển tối ưu theo chu n tối ưu bình phương tối
5
thiểu cho hệ kết hợp gồm hai rô bốt, hệ pan-tilt stereo camera và rô bốt di động. Trong
đó, hệ động lực học của toàn hệ được tổng hợp trong một phương trình. Các thuật toán
được chứng minh và mô phỏng trên Matlab, cả hai phương pháp đều cho kết quả bám
mục tiêu di chuyển tốt nhưng so với phương pháp trượt thì phương pháp điều khiển tối
ưu cho kết quả tốt hơn
sai số bám mục tiêu.
Các kết quả nghiên cứu được tác giả công bố trong 2 kỷ yếu hội thảo quốc tế về
cơ điện t & điều khiển thông minh AIM trong danh mục hội thảo IEEE, kỷ yếu hội
thảo Springer ICTA:
, Pham Thuong Cat (2016), “Optimal tracking a moving target for integrated
mobile robot – pan-tilt – stereo camera”, Advanced Intelligent Mechatronics
AIM IEEE Conference, Banff, Canada July 12-15, pp. 530 – 535.
, Duong Chinh Cuong (2016), “Design Adaptive-CTC Controller for Tracking
Target used Mobile Robot-pan-tilt-stereo camera system”, International
Conference on Advances in Information and Communication Technology, ICTA,
Thai Nguyen, Dec 12-14, pp. 217 – 227.
6
- Xem thêm -