Tài liệu Nghiên cứu điều khiển rô bốt tay máy di động bám mục tiêu trên cơ sở sử dụng thông tin hình ảnh

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ ----------------------------- Lê Văn Chung NGHIÊN CỨU ĐIỀU KHIỂN RÔ BỐT TAY MÁY DI ĐỘNG BÁM MỤC TIÊU TRÊN CƠ SỞ SỬ DỤNG THÔNG TIN HÌNH ẢNH Chuyên ngành: Kỹ thuật điều khiển và tự động hóa Mã số: 9.52.02.16 LUẬN ÁN TIẾN SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. PGS.TSKH Phạm Thượng Cát 2. TS. Phạm Minh Tuấn Hà Nội – 2019 LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các kết quả được viết chung với các tác giả khác đều được sự đồng ý của đồng tác giả trước khi đưa vào luận án. Các kết quả trong luận án là trung thực và chưa từng được công bố trong bất kỳ công trình nào khác. Tác giả luận án Lê Văn Chung i LỜI CẢM ƠN Lời đầu tiên, Tôi xin chân thành cảm ơn Ban Lãnh đạo Học viện Khoa học và Công nghệ, Viện Công nghệ thông tin - Viện Hàn lâm Khoa học và Công nghệ Việt Nam, Phòng Công nghệ tự động hóa đã tạo điều kiện thuận lợi trong quá trình học tập, nghiên cứu. Tôi xin bày tỏ lòng kính trọng và biết ơn sâu sắc tới PGS.TSKH. Phạm Thượng Cát và TS. Phạm Minh Tuấn, hai thầy đã định hướng và tận tình hướng dẫn để tôi có thể hoàn thành luận án. Tôi xin cảm ơn Ban Giám hiệu Trường Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên, Khoa Công nghệ tự động hóa và các đơn vị trong Nhà trường đã quan tâm giúp đỡ, tạo điều kiện để tôi có thể thực hiện nghiên cứu. Tôi xin cảm ơn các cán bộ Phòng Công nghệ tự động hóa – Viện Công nghệ thông tin, các đồng nghiệp thuộc Khoa Công nghệ Tự động hóa - Trường Đại học Công nghệ thông tin và truyền thông - Đại học Thái Nguyên đã động viên và trao đổi kinh nghiệm trong quá trình hoàn thành luận án. Cuối cùng, tôi xin chân thành cảm ơn đến gia đình, người thân, các bạn đồng nghiệp - những người luôn dành cho tôi những tình cảm nồng ấm, luôn động viên và sẻ chia những lúc khó khăn trong cuộc sống và tạo điều kiện tốt nhất để tôi có thể hoàn thành quá trình nghiên cứu. Hà Nội, ngày 28 tháng 8 năm 2019 Tác giả luận án Lê Văn Chung ii MỤC LỤC LỜI CAM ĐOAN ....................................................................................................... i LỜI CẢM ƠN ............................................................................................................ii MỤC LỤC ................................................................................................................ iii DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT ...........................................vii DANH MỤC HÌNH VẼ ............................................................................................ x DANH MỤC BẢNG .............................................................................................. xiii MỞ ĐẦU .................................................................................................................... 1 CHƢƠNG 1................................................................................................................ 7 TỔNG QUAN ............................................................................................................ 7 1.1 Đặt vấn đề ........................................................................................................ 7 1.2. Tổng quan về điều khiển rô bốt sử dụng thông tin hình ảnh ..................... 8 1.2.1 Tình hình nghiên cứu ngoài nước ........................................................... 11 1.2.2 Tình hình nghiên cứu trong nước .............................................................. 8 1.3 Các vấn đề nghiên cứu của luận án ............................................................. 19 1.3.1. Phát triển phương pháp điều khiển rô bốt s dụng thông tin hình ảnh ... 19 1.3.2. Một số cải tiến trong điều khiển hệ servo thị giác bám mục tiêu di động ........................................................................................................................... 20 1.3.3. Phát triển thuật toán điều khiển rô bốt di động s dụng thông tin hình ảnh. .................................................................................................................... 21 1.4. Kết luận chƣơng 1 ........................................................................................ 22 CHƢƠNG 2.............................................................................................................. 23 PHÁT TRIỂN THUẬT TOÁN ĐIỀU KHIỂN HỆ PAN-TILT SỬ DỤNG THÔNG TIN HÌNH ẢNH TỪ HAI CAMERA .................................................... 23 2.1. Xây dựng mô hình động học hệ pan-tilt-stereo camera bám mục tiêu di động với nhiều tham số bất định ................................................................... 24 iii 2.1.1 Xác định ma trận Jacobi ảnh qua tọa độ điểm ảnh thu được từ 2 camera quy vào hệ tọa độ OcXcYcZc ........................................................................... 24 2.1.2 Xác định hệ phương trình động học tốc độ hệ pan-tilt. ........................... 28 2.1.3 Xây dựng bài toán điều khiển động học (kinematic control) hệ rô bốtstereo camera bám mục tiêu. ............................................................................. 29 2.2.Thiết kế thuật toán điều khiển ..................................................................... 30 2.2.1 Xây dựng mô hình bộ điều khiển ............................................................. 30 2.2.2 Xây dựng thuật toán điều khiển hệ Pan-tilt –2 camera bám mục tiêu di động ................................................................................................................... 31 2.3 Một số kết quả mô phỏng kiểm chứng ........................................................ 35 2.4. Kết luận chƣơng 2 ........................................................................................ 43 CHƢƠNG 3.............................................................................................................. 45 MỘT SỐ CẢI TIẾN TRONG ĐIỀU KHIỂN ....................................................... 45 HỆ SERVO TH GIÁC BÁM MỤC TIÊU DI ĐỘNG ........................................ 45 3.1 dựng mô hình 3D cho hệ 2 camera trên hệ pan-tilt ........................... 47 3.1.1 Mô hình 3D cho hệ stereo camera ........................................................... 47 3.1.2 Mô hình hệ camera ảo. ............................................................................. 47 3.1.3 Kiểm soát sự suy biến của ma trận Jacobian ......................................... 53 3.1.4 Bài toán điều khiển rô bốt bám mục tiêu với nhiều tham số bất định ..... 53 3.2. dựng hệ động lực học hệ pan-tilt – stereo camera với các tham số bất định ............................................................................................................ 53 3.3. dựng bộ điều khiển nơ ron cho hệ động lực học hệ pan-tilt stereo camera bám mục tiêu di động. ...................................................................... 55 3.3.1 Xây dựng bộ điều khiển .......................................................................... 55 3.3.2 Xây dựng cấu trúc các lớp bộ điều khiển nơ ron truyền th ng RBF cho hệ thống .................................................................................................................. 56 3.3.3 Tối ưu tham số ......................................................................................... 57 3.4. Mô phỏng hệ thống....................................................................................... 61 iv 3.5. Kết luận ......................................................................................................... 72 CHƢƠNG 4.............................................................................................................. 74 PHÁT TRIỂN THUẬT TOÁN ĐIỀU KHIỂN RÔ BỐT DI ĐỘNG .................. 74 SỬ DỤNG THÔNG TIN HÌNH ẢNH. .................................................................. 74 4.1. Xây dựng mô hình động học và bài toán hệ điều khiển Rô bốt-Pan-tilt– Stereo Camera bám mục tiêu di động .......................................................... 75 4.1.1 Xác định ma trận Jacobi ảnh .................................................................... 75 4.1.2 Xác định ma trận Jacobi của hệ và tốc độ bám mục tiêu cho rô bốt di động. .................................................................................................................. 77 4.1.3 Xác định tốc độ của các bánh xe cho rô bốt di động để rô bốt tiếp cận mục tiêu. ............................................................................................................ 81 4.2. Thiết kế thuật toán điều khiển .................................................................... 82 4.2.1 Động lực học hệ rô bốt di động-bệ pan-tilt .............................................. 82 4.2.2 Thiết kế bộ điều khiển tối ưu ................................................................... 83 4.3. Mô phỏng hệ thống....................................................................................... 89 4.3.1 Mô phỏng hệ thống với bộ điều khiển tối ưu ........................................... 89 4.3.2 Mô phỏng hệ thống với bộ điều khiển trượt CTC.................................... 94 4.4. Kết luận chƣơng 4 ........................................................................................ 96 5. KẾT LUẬN .......................................................................................................... 97 5.1. Những nội dung nghiên cứu chính của luận án......................................... 97 5.2.Những đóng góp khoa học mới của luận án ............................................... 97 5.3.Định hƣớng nghiên cứu phát triển .............................................................. 98 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ ........................................... 100 TÀI LIỆU THAM KHẢO .................................................................................... 101 PHỤ LỤC ............................................................................................................... 111 1. Mô hình mô phỏng về hệ pan-tilt stereo camera bám mục tiêu di động có sử dụng mô hình camera 3D ảo ................................................................... 111 v 2. Mô hình mô phỏng về hệ pan-tilt stereo camera bám mục tiêu di động có sử dụng mô hình camera 3D ảo ................................................................... 118 vi DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Ký hiệu Đơn vị Mô tả tính Computed Torque Controller – bộ điều khiển dựa CTC trên phương pháp tính mô men. d m Khoảng cách giữa 2 bánh xe rô bốt di động. Vecto ảnh hư ng của nhi u, các tham số bất định. d(t) f pixel Tiêu cự camera (1 pixel = 35μm) fv pixel Tiêu cự thấu kính của camera ảo. Các thành phần bất định trong mô hình động học hệ f pan-tilt. Các thành phần bất định trong mô hình động lực học fu hệ pan-tilt. H Hàm Hamilton. Jimag Ma trận Jacobi ảnh. Jrobot Ma trận Jacobi rô bốt. J Ma trận Jacobi tổng hợp. Jˆ imag (m), Jˆ robot (q) Các giá trị biết được của các ma trận tương ứng. Các đại lượng không biết của các ma trận tương ΔJ imag (m), ΔJrobot (q) ứng. Jˆ Ma trận giả nghịch đảo của ma trận J; T 1 T (Jˆ Jˆ ) Jˆ Jˆ T 1 T (Jˆ Jˆ ) Jˆ K m Khoảng cách 2 camera. k m khoảng cách giữa hai bánh xe rô bốt di động. k1 m Khoảng cách giữa rô bốt di động và mục tiêu. l1 m Chiều dài khớp pan củahệ pan-tilt. l2 m Chiều dài khớp tilt củahệ pan-tilt. LQR Linear–Quadratic Regulator. vii LQG Linear–Quadratic–Gaussian. m Pixel Véc tơ đặc trưng ảnh. md Pixel Véc tơ đặc trưng ảnh mong muốn. Q Tọa độ mục tiêu. q Véc tơ vị trí góc của khớp pan, tilt qr Véc tơ vị trí góc của khớp pan, tilt RBF Radial basis function neural network s Véc tơ sai số giữa giá trị mong muốn và đo được. Tx Ty Tz m/s Vận tốc dài của tay nắm camera x y z m/s Vận tốc góc của tay nắm camera U, V Pixel Tọa độ ảnh của đối tượng u1, Thành phần điều khiển nơ ron u* Thành phần điều khiển tối ưu v véc tơ biến ngoài của đầu tay nắm của bệ pan-tilt (trùng với gốc tọa độ camera OC) C v Véc tơ vận tốc dài của đầu tay nắm của bệ pan-tilt C Ω Véc tơ vận tốc góc của đầu tay nắm của bệ pan-tilt vs Véc tơ vận tốc đo được tại 2 bánh rô bốt di động và 2 khớp của bệ pan-tilt. Véc tơ vận tốc mong muốn đặt lên 2 bánh rô bốt di vd động và 2 khớp của bệ pan-tilt. x Véc tơ mô tả vị trí và hướng của camera. xs Véc tơ tọa độ mục tiêu nhìn trong hệ tọa độ camera ảo. W Ma trận trọng số của mạng nơ ron ε Sai số giữa tham số mong muốn và đo được θ1 rad Góc quay của khớp pan θ2 rad Góc quay của khớp tilt m rad Góc hướng của rô bốt di động θ1d rad Góc quay mong muốn của khớp pan θ2d rad Góc quay mong muốn của khớp tilt viii  md rad Góc hướng mong muốn của rô bốt di động m Khoảng cách từ gốc tới vị trí đặt camera ảo c j , j Trọng tâm và độ rộng khoảng cách tính từ tâm của lớp n thứ j radial basis function của mạng nơ ron. φl , φr Stereo camera rad Góc quay của bánh xe trái, phải trên rô bốt di động Hệ 2 camera được gắn trên khung cố định củahệ pan-tilt và có các quan hệ hình học được xác định trước. ix DANH MỤC HÌNH VẼ Hình 1.1 Các ứng dụng điều khiển rô bốt s dụng thông tin hình ảnh. .................... 11 Hình 1.2 Một số phương pháp điều khiển rô bốt s dụng thông tin hình ảnh .......... 14 Hình 2.1 Bệ pan-tilt PTU-D48E-Series và biểu di n hệ tọa độ ................................ 24 Hình 2.2 Mô hình hệ thống camera ........................................................................... 25 Hình 2.3 Ảnh theo 2 trục Z, Y .................................................................................. 26 Hình 2.4 Ảnh theo 2 trục X, Y .................................................................................. 26 Hình 2.5 Mạng RBF xấp xỉ hàm f ........................................................................... 32 Hình 2.6 Cấu trúc của hệ visual servoing điều khiển camera bám mục tiêu di động có nhiều tham số bất định.......................................................................................... 34 Hình 2.7 Sai lệch tọa độ ảnh mục tiêu (pixel). .......................................................... 37 Hình 2.8 Sai lệch tọa độ ảnh mục tiêu (pixel) khi bộ điều khiển không có mạng nơ , ron bù ( u1 = 0 ). ........................................................................................................ 37 Hình 2.9 Sai lệch bám tọa độ khi mục tiêu di chuyển theo đường thẳng. ................ 38 Hình 2.10 Sai lệch tọa độ ảnh khi mục tiêu di chuyển theo đường thẳng ................ 38 Hình 2.11 Sai lệch bám tọa độ khi mục tiêu di chuyển theo đường thẳng với bộ điều khiển không có mạng nơ ron bù ( u1, = 0 ). .................................................................. 39 Hình 2.12 Sai lệch tọa độ ảnh khi mục tiêu di chuyển theo đường thẳng với bộ điều khiển không có mạng nơ ron bù ................................................................................ 39 Hình 2.13 Sai lệch bám quỹ đạo khi mục tiêu cơ động theo cung tròn .................... 40 Hình 2.14 Sai lệch tọa độ ảnh khi mục tiêu cơ động theo cung tròn ........................ 40 Hình 2.15 Sai lệch bám quỹ đạo với mục tiêu cơ động theo cung tròn khi bộ điều khiển không có mạng nơ ron bù ................................................................................ 41 Hình 2.16 Sai lệch tọa độ ảnh với mục tiêu cơ động theo cung tròn khi bộ điều khiển không có mạng nơ ron bù ( u1, = 0 ). .................................................................. 41 Hình 2.17 Sai lệch bám quỹ đạo khi mục tiêu di chuyển với vận tốc thay đổi......... 42 x Hình 2.18 Sai lệch tọa độ ảnh khi mục tiêu di chuyển với vận tốc thay đổi............. 42 Hình 3.1 Hệ trục tọa độ của hệ Pan-tilt – stereo cameras ......................................... 48 Hình 3.2 Mô hình hệ camera 3D ảo .......................................................................... 49 Hình 3.3 Tọa độ mục tiêu nhìn theo hai trục tọa độ Y và Z ..................................... 50 Hình 3.4 Tọa độ mục tiêu nhìn theo hai trục tọa độ Y và Z ..................................... 50 Hình 3.5 Mạng nơ ron RBF để xấp xỉ tham số bất định f ......................................... 57 Hình 3.6 Cấu trúc sơ đồ điều khiển của hệ thống ..................................................... 60 Hình 3.7 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường thẳng nhìn trong không gian camera .................................................................................. 63 Hình 3.8 Sai số bám mục tiêu di động khi mục tiêu di chuyển theo đường thẳng trong hệ tọa độ ảo 3D ................................................................................................ 64 Hình 3.9 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường tròn nhìn trong không gian camera .................................................................................. 65 Hình 3.10 Sai số bám mục tiêu di động khi mục tiêu di chuyển theo đường tròn nhìn trong hệ tọa độ ảo 3D ................................................................................................ 65 Hình 3.11 a) L i bám mục tiêu theo 2 trục X, Z. b) Mô ment đặt lên các khớp. c) Tốc độ khớp pan-tilt q ............................................................................................... 66 Hình 3.12 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo hình chữ nhật với tốc độ thay đổi nhìn trong không gian camera ........................................... 66 Hình 3.12 Sai số bám mục tiêu di động khi mục tiêu di chuyển theo hình chữ nhật với tốc độ thay đổi nhìn trong hệ tọa độ ảo 3D ......................................................... 67 Hình 3.13 a) Sai số bám mục tiêu chiếu theo hai trục X, Z. b) Moment đặt lên các khớp. c) Tốc độ các khớp q ....................................................................................... 68 Hình 3.14 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển trong không gian với tốc độ và hướng thay đổi bất kỳ nhìn trong không gian camera ................ 69 Hình 3.15 Sai số bám mục tiêu di động khi mục tiêu di chuyển trong không gian với tốc độ và hướng thay đổi bất kỳ nhìn trong hệ tọa độ ảo 3D .................................... 69 Hình 3.15 a) Sai số bám mục tiêu chiếu theo hai trục X, Z. b) Moment đặt lên các khớp. c) Tốc độ các khớp q ....................................................................................... 70 xi Hình 3.17 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường thẳng khi không s dụng hệ tọa độ ảo và bộ điều khiển nơ ron ............................... 71 Hình 3.18 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường tròn khi không s dụng hệ tọa độ ảo và bộ điều khiển nơ ron ......................................... 71 Hình 3.19 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo hình chữ nhật với tốc độ thay đổi khi không s dụng hệ tọa độ ảo và bộ điều khiển nơ ron .. 71 Hình 3.20 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo hình tròn của bài báo trích dẫn [20]. ......................................................................................... 73 Hình 4.1 Cấu trúc của hệ rô bốt- pan-tilt-stereo camera ........................................... 76 Hình 4.2 Mô hình hệ thống stereo camera ................................................................ 80 Hình 4.3 Ảnh theo hai trục X, Z (trái) và Y, Z (phải). .............................................. 80 Hình 4.4 Vị trí và hướng mong muốn của rô bốt di động. ........................................ 81 Hình 4.5 Sơ đồ khối hệ thống. .................................................................................. 85 Hình 4.6 Sơ đồ khối hệ thống với bộ điều khiển trượt CTC. .................................... 88 Hình 4.7 Thuật toán điều khiển tối ưu ...................................................................... 92 Hình 4.8 Bám tọa độ ảnh nhìn trong hệ tọa độ gốc. ................................................. 93 Hình 4.9 Rô bốt di động bám theo mục tiêu trên mặt phẳng x-y nhìn trong hệ tọa độ gốc. ............................................................................................................................ 94 Hình 4.10 Sai số vecto v giữa tốc độ mong muốn và tốc độ đặt của các khớp hệ pantilt và hai bánh rô bốt di động ................................................................................... 94 Hình 4.11 Mô phỏng di chuyển bám theo mục tiêu của rô bốt di động .................... 95 Hình 4.12 Sai số giữa tốc độ mong muốn và tốc độ đặt của các khớp hệ pan-tilt và hai bánh rô bốt di động.............................................................................................. 95 xii DANH MỤC BẢNG Bảng 3.1 Bảng tham số của hệ thống hệ pan-tilt ................................................ 62 Bảng 4.1 các tham số trong mô hình rô bốt di động – hệ pan-tilt – stereo camera ...................................................................................................................... 89 xiii MỞ ĐẦU Tính cấp thiết của đề tài Rô bốt được ứng dụng trong công nghiệp từ những năm 60 để thay thế con người làm các công việc nặng nhọc, nguy hiểm trong môi trường độc hại. Ngày nay rô bốt được ứng dụng rộng rãi trong mọi lĩnh vực sản xuất và dịch vụ như trong chế tạo máy, y tế, chăm sóc sức khỏe, nông nghiệp, đóng tàu, xây dựng, an ninh quốc phòng và gia đình … Nhu cầu s dụng rô bốt trong các ngành công nghiệp, dân dụng, dịch vụ và an ninh quốc phòng gia tăng là động lực cho sự phát triển của các rô bốt di động thông minh. Cùng với sự phát triển mạnh mẽ của các hệ thống tự động hóa, rô bốt di động ngày một được hoàn thiện và càng cho thấy lợi ích của nó trong công nghiệp và sinh hoạt. Một vấn đề rất được quan tâm khi nghiên cứu về rô bốt là khả năng nhìn và x lý thông tin hình ảnh để rô bốt có thể theo dõi được các đối tượng mục tiêu đứng yên cũng như di chuyển trong không gian, biết được vị trí nó đang đứng trong môi trường phi cấu trúc và có thể di chuyển tới một vị trí khác, đồng thời có thể tự động tránh được các chướng ngại vật trên đường đi. Trong những năm gần đây, rất nhiều công trình nghiên cứu về điều khiển rô bốt s dụng thông tin hình ảnh, nhưng các kết quả đạt được vẫn còn bộc lộ một số hạn chế. Chẳng hạn như việc s dụng 1 camera trên rô bốt di động chỉ cho phép theo dõi đầy đủ thông tin của mục tiêu khi biết trước mặt phẳng di chuyển của mục tiêu hay việc s dụng 2 camera cho phép đáp ứng nhiều yêu cầu nhưng chưa xét tới các sự suy biến của ma trận Jacobian ảnh tác động tới khả năng bám của hệ thống. Bên cạnh đó mô hình toán học của rô bốt thường khó đạt độ chính xác tuyệt đối vì trong hệ thống chứa nhiều tham số bất định như việc đo đạc các tham số ban đầu hay các hệ số ma sát, mô men quán tính…, lại thường thay đổi trong quá trình hoạt động. Ngoài ra, tối ưu hóa các tham số trong các bộ điều khiển rô bốt để đạt được độ chính xác mong muốn trong một số trường hợp cụ thể là những vấn đề khó và cần tiếp tục nghiên cứu. Việc s dụng thị giác 2 camera là một xu hướng tất yếu vì nó mang tính linh hoạt dựa trên đặc tính của hầu hết các loài động vật bậc cao đều có 2 mắt. Nhưng trong việc s dụng thị giác 2 camera cho rô bốt đi động, việc phát triển các thuật toán điều khiển sao cho phát huy được các ưu điểm của thị giác hai camera và hạn chế được các khuyết điểm 1 đã nêu trên vẫn còn khá nhiều vấn đề cần được giải quyết. Với lý do trên, tác giả đã lựa chọn đề tài: “Nghiên cứu điều khiển rô bốt tay máy di động bám mục tiêu trên cơ sở sử dụng thông tin hình ảnh” để phát triển một số thuật toán điều khiển rô bốt theo dõi mục tiêu di động và rô bốt di chuyển bám mục tiêu s dụng thông tin hình ảnh có nhiều tham số bất định. Đối tƣợng nghiên cứu Đối tượng nghiên cứu chính của đề tài là tập trung vào hệ rô bốt tay máy pantilt và rô bốt di động có cơ cấu di chuyển b ng bánh xe. Hệ camera dùng để lấy thông tin hình ảnh cho điều khiển tay máy bám mục tiêu di động là hệ 2 camera. Những hình ảnh thu được sẽ được x lý, tính toán từ đó ra quyết định điều khiển các cơ cấu chấp hành khác của rô bốt thực hiện theo các yêu cầu. Mục tiêu nghiên cứu Mục tiêu của đề tài là nghiên cứu phát triển một số thuật toán điều khiển tay máy rô bốt bám mục tiêu di động dựa trên cơ s thông tin hình ảnh s dụng hai camera có tính bền vững với nhiều tham số bất định và khả năng kháng nhi u với tốc độ x lý cao. - Đề xuất thuật toán điều khiển hệ pan-tilt mang 2 camera bám mục tiêu di động với nhiều tham số bất định và xây dựng hệ 2 camera với ma trận Jacobian ảnh đầy đủ. - Đề xuất một số thuật toán điều khiển hệ rô bốt di động, hệ pan-tilt mang 2 camera bám mục tiêu di động. Phạm vi nghiên cứu Nghiên cứu về hệ pan-tilt mang 2 camera (stereo camera) và rô bốt di động di chuyển b ng 3 bánh xe trong đó có 2 bánh chủ động, có nhiều tham số bất định bám mục tiêu di động. Nghiên cứu các thuật toán, phương pháp điều khiển hệ pan-tilt bám mục tiêu di động s dụng thông tin hình ảnh từ hai camera. Nghiên cứu các thuật toán điều khiển hệ rô bốt di động, hệ pan-tilt stereo camera theo dõi và bám mục tiêu di động. Chỉ tập trung vào nghiên cứu s dụng các kết quả mà camera thu được để điều 2 khiển rô bốt, không đề cập tới phần hiệu chỉnh camera, thu nhận ảnh hay x lý ảnh trên camera mà chỉ quan tâm tới việc x lý từ điểm tính năng trên ảnh sau x lý để đưa ra các tham số điều khiển rô bốt. Các yếu tố bất định, nhi u trong các bài toán của luận án đều bị chặn. Phƣơng pháp nghiên cứu Phương pháp nghiên cứu được áp dụng cho các vấn đề đã nêu ra của luận án như sau: 1. Trên cơ s kế thừa các kết quả nghiên cứu đã có tác giả đi xây dựng mô hình toán học cho hệ thốnghệ pan-tilt stereo camera và hệ thống phức hợp gồm rô bốt di động – hệ pan-tilt mang 2 camera khi có các tham số bất định trong mô hình và nhi u. 2. Nghiên cứu các thuật toán điều khiển hiện đại để từ đó xây dựng các thuật toán điều khiển mới cho hệ pan-tilt theo dõi mục tiêu và hệ phức hợp nói trên bám mục tiêu di động. 3. Tối ưu hệ thống bao gồm tối ưu các ma trận Jacobian đảm bảo tính khả nghịch và tham số trong mô hình điều khiển. 4. Chứng minh tính ổn định của các thuật toán đề xuất b ng lý thuyết ổn định Lyapunov, bổ đề Barbalat. 5. Mô phỏng đáp ứng của hệ thống với các thuật toán đề xuất trên Matlab simulink để kiểm chứng việc theo dõi và bám mục tiêu của hệ thống. Ý nghĩa của đề tài - Về mặt lý thuyết: đóng góp các thuật toán điều khiển hệ pan-tilt theo dõi mục tiêu và thuật toán điều khiển hệ rô bốt di động –hệ pantilt s dụng 2 camera bám mục tiêu di động với nhiều tham số bất định trong mô hình cũng như nhi u tác động. - Về mặt thực ti n: xây dựng mô hình camera 3D ảo loại bỏ sự suy biến của ma trận Jacobian ảnh và mô hình động lực học cho hệ gồm rô bốt di động – hệ pan-tilt mang dụng 2 camera. Những điểm mới của luận án 3 Qua các nghiên cứu về phương pháp điều khiển rô bốt s dụng thông tin hình ảnh, trong đó cụ thể là hệ pan-tilt và hệ rô bốt di động – hệ pan-tilt stereo camera có nhiều tham số bất định trong mô hình rô bốt, trong ma trận Jacobian ảnh, ma trận Jacobian rô bốt cũng như các yếu tố bên ngoài, tác giả có một số đóng góp như sau: - Xây dựng 1 phương pháp để thiết lập ma trận Jacobian ảnh vuông cho hệ stereo camera giúp hệ rô bốt – stereo camera theo dõi được các đối tượng có chuyển động phức tạp d dàng hơn. - Xây dựng bộ điều khiển mạng nơ ron nhân tạo để bù các tham số bất định trong mô hình rô bốt, trong ma trận Jacobian ảnh, ma trận Jacobian rô bốt cũng như các yếu tố bên ngoài. Bộ điều khiển này hoạt động tốt ngay cả khi tham số mô hình chỉ chắc chắn được 80 và ngay cả khi có các yếu tố bên ngoài tác động vào. - Xây dựng mô hình động lực học cho hệ gồm rô bốt di động – hệ pan-tilt mang dụng 2 camera và 2 thuật toán điều khiển trong đó: 01 bộ điều khiển trượt và 01 bộ điều khiển tối ưu theo chu n tối ưu bình phương tối thiểu cho hệ kết hợp hai rô bốt gồm hệ pan-tilt stereo camera và rô bốt di động. Trong đó, mô hình động lực học của toàn hệ nói trên được tổng hợp trong một phương trình. Tối ưu hóa các tham số trong bộ điều khiển nơ ron. Mô phỏng kiểm chứng các thuật toán điều khiển rô bốt theo dõi và bám mục tiêu di động b ng công cụ mô phỏng Matlab. Công bố 07 công trình liên quan đến các nội dung nghiên cứu của luận án trên các tạp chí, kỷ yếu hội thảo trong nước và ngoài nước. Nội dung của luận án Luận án gồm 04 chương: Chƣơng 1 Trình bày tổng quan về các vấn đề trong điều khiển rô bốt nói chung, điều khiển rô bốt s dụng thông tin hình ảnh từ camera và đặc biệt là s dụng hai camera để đưa ra định hướng nghiên cứu của luận án. Chƣơng 2 Trình bày mô hình động học của hệ pan-tilt 2 camera. Xây dựng bộ điều khiển động học điều khiển hệ thống bám mục tiêu di động với nhiều tham số bất đinh trong mô hình toán học. Bộ điều khiển được xây dựng dựa trên phương pháp điều khiển PD kết hợp với mạng nơ ron RBF s dụng thuật học online để bù các tham số 4 bất định. Thuật toán được chứng minh tính ổn định tiệm cận b ng lý thuyết ổn định Lyapunov và mô phỏng kiểm chứng trên Matlab simulink. Kết quả của các nghiên cứu trong chương này được công bố trong tạp chí Tin học và điều khiển, tạp chí Khoa học công nghệ - Đại học Thái Nguyên và trong kỷ yếu hội nghị toàn quốc về tự động hóa VCCA 2013: , Pham Thuong Cat (2015), “A new control method for stereo visual servoing system with pan-tilt platform”, Journal of Computer Science and Cybernetics,Vol 31 (2), pp. 107 – 122. , Phạm Thượng Cát, Bùi Tuấn Anh (2013), “Phương pháp điều khiển hệ servo thị giác stereo sử dụng bệ Pan-Tilt”, Hội nghị toàn quốc lần thứ 2 về Điều khiển và Tự động hoá - VCCA-2013, Đà N ng, pp. 375 - 382. , “Phát triển hệ pan-tilt – nhiều camera bám mục tiêu di động”, Tạp chí KHCN Đại học Thái Nguyên, 116(02), tr. 41-46. Chƣơng 3: Xây dựng mô hình camera 3D ảo để thiết lập ma trận Jacobian ảnh vuông giúp hệ stereo camera ảnh có thể theo dõi các đối tượng chuyển động phức tạp. Xây dựng mô hình động lực học cho hệ pan-tilt 2 camera bám mục tiêu di động. Bộ điều khiển s dụng mang nơ ron với các tham số đã được tối ưu. Mô hình và thuật toán điều khiển này cho kết quả tốt hơn so với các kết quả trong chương 2 khi có xét thêm nhi u ngoài và các yếu tố bất định trong mô hình động lực học. Tính ổn định tiệm cận của hệ thống đã được chứng minh b ng lý thuyết ổn định Lyapunov, bổ đề Barbalat và mô phỏng trên Matlab. Kết quả nghiên cứu của chương này được tác giả công bố trên tạp chí quốc tế về x lý ảnh và điều khiển robot và kỷ yếu hội nghị toàn quốc về cơ điện t VCM 2014: , “Robust Visual Tracking Control of Pan-tilt -Stereo Camera System”, International Journal of Imaging and Robotics, Vol 18 (1), (1/2018), pp. 45 – 61. , Pham Thuong Cat (2014), “Robust visual tracking control of pan-tilt – stereo camera system”, Hội nghị cơ điện t VCM 2014, Đồng Nai, pp.167-173. Chƣơng 4 Xây dựng mô hình động lực học cho hệ gồm rô bốt di động – hệ pantilt mang dụng 2 camera. Xây dựng 02 thuật toán điều khiển cho hệ nói trên bao gồm 01 bộ điều khiển trượt và 01 bộ điều khiển tối ưu theo chu n tối ưu bình phương tối 5 thiểu cho hệ kết hợp gồm hai rô bốt, hệ pan-tilt stereo camera và rô bốt di động. Trong đó, hệ động lực học của toàn hệ được tổng hợp trong một phương trình. Các thuật toán được chứng minh và mô phỏng trên Matlab, cả hai phương pháp đều cho kết quả bám mục tiêu di chuyển tốt nhưng so với phương pháp trượt thì phương pháp điều khiển tối ưu cho kết quả tốt hơn sai số bám mục tiêu. Các kết quả nghiên cứu được tác giả công bố trong 2 kỷ yếu hội thảo quốc tế về cơ điện t & điều khiển thông minh AIM trong danh mục hội thảo IEEE, kỷ yếu hội thảo Springer ICTA: , Pham Thuong Cat (2016), “Optimal tracking a moving target for integrated mobile robot – pan-tilt – stereo camera”, Advanced Intelligent Mechatronics AIM IEEE Conference, Banff, Canada July 12-15, pp. 530 – 535. , Duong Chinh Cuong (2016), “Design Adaptive-CTC Controller for Tracking Target used Mobile Robot-pan-tilt-stereo camera system”, International Conference on Advances in Information and Communication Technology, ICTA, Thai Nguyen, Dec 12-14, pp. 217 – 227. 6