ĐIỀU KHIỂN TỐI ƯU VÀ
ĐIỀU KHIỂN THÍCH NGHI
Điều khiển tối ưu là gì?
yr
Điều khiển để có được một chỉ tiêu chất lượng
cho trước là tốt nhất.
Bộ điều
khiển tối ưu
u*
y
Đối tượng
điều khiển
*
1. Tối ưu off-line: Xác định tín hiệu u (t )
*
2. Tối ưu on-line: Xác định bộ điều khiển u (x , w )
Chất lượng được đánh giá bằng giá trị của hàm mục tiêu
N
T
J g (x , u )dt min
hoặc
J g (xk , uk ) min
0
k 0
Điều khiển thích nghi là gì?
yr
Chỉnh định
tham số
điều khiển
Tối ưu tham
số mô hình
Bộ điều
khiển
Đối tượng
điều khiển
u
y
Điều khiển khi mô hình không chính xác hoặc
luôn bị thay đổi cũng như khi có nhiễu tác động
vào hệ thống.
Nội dung bài giảng là những kiến thức cơ bản của điều khiển tối ưu, điều khiển thích nghi cũng như một số kết quả
nghiên cứu riêng của tác giả, được đánh dấu bằng (*)
GS. Nguyễn Doãn Phước
1
Tối ưu hóa
Phát biểu bài toán và phân loại
Tối ưu hóa p* arg min J (p ), p p1 , , pn
T
p P
1. Không ràng buộc, nếu P Rn . Khi đó nó được viết thành: p* arg min J ( p )
2. Có ràng buộc, nếu P Rn
3. Lồi, nếu P là tập lồi và J (p ) là hàm lồi
Những phương pháp cơ bản
Không ràng buộc:
Có ràng buộc:
1. Gradient
2. Newton-Raphson
3. Gauss-Newton
1. QP
2. SQP
3. Interior point
Ứng dụng vào điều khiển
1. Nhận dạng tham số mô hình
2. Xác định tham số tối ưu cho bộ điều khiển
3. Điều khiển dự báo
GS. Nguyễn Doãn Phước
2
Ứng dụng tối ưu hóa
Nhận dạng tham số mô hình đối tượng điều khiển
Zadeh (1962): Nhận dạng là xác định một mô
hình toán cụ thể cho hệ thống từ lớp các mô hình
thích hợp, trên cơ sở quan sát các tín hiệu vào
ra, sao cho sai lệch giữa nó với hệ thống là nhỏ
nhất.
Phát biểu bài toán nhận dạng on-line
1. Hàm truyền G (z )
b0 b1z
1
bm z
m
u
Đối tượng điều
khiển
uk N0
y
yk N0
Thuật toán nhận dạng đối
tượng
Kết quả: Mô hình
toán của đối tượng
1 a1z 1 an z n
2. Đo tín hiệu vào ra uk , yk , k 1, , N rồi từ đó xác định các tham số của mô hình
là b0 , ,bm ,a1 , ,an sao cho kỳ vọng (giá trị trung bình) của bình phương sai
lệch giữa mô hình với đối tượng là nhỏ nhất.
Chú ý: Phải đảm bảo tín hiệu vào ra đo được là đang ở giai đoạn quá độ của hệ thống
GS. Nguyễn Doãn Phước
3
Nhận dạng on-line tham số mô hình hàm truyền
Hai trường hợp áp dụng:
1. Khi nhiễu là có thể bỏ qua được (không có nhiễu)
2. Khi có nhiễu vào ra là egodic, không tương quan với tín hiệu vào ra tương ứng và bản
thân 2 nhiễu đó cũng không tương quan với nhau.
Khi không có nhiễu
p * X T DX
nu
1
uk
X T Dy
trong đó: p col a1 , ,an , b0 , , bm
y col y1 , , yN , X col x T1 , , x TN
a1 , ,an
b0 , ,bm
ny
Đối tượng
điều khiển
Thuật toán
nhận dạng
x Tk yk 1 , , yk n , uk , , uk m và D diag (di ) là ma trận trọng số
Khi có nhiễu vào ra (*)
T
Sử dụng lại công thức trên, trong đó các vector x k , y được thay bởi dãy giá trị hàm tương
quan của các tín hiệu vào ra:
y col ruy (0), , ruy (N / ) với N / N 5
xTl col ruy (l 1), , ruy (l n ), ru (l ), , ru (l m )
GS. Nguyễn Doãn Phước
4
yk
Ứng dụng tối ưu hóa
uk
yk
Đối tượng
điều khiển
Quan sát trạng thái tối ưu
xk
1. Mô hình trạng thái
x k 1 Ax k Bu k
Bộ quan sát
tối ưu
yk C x k Du k
2. Đo tín hiệu vào ra u k i , y , i 0,1, , N trong quá khứ rồi từ đó xác định trạng
k i
thái của hệ x k ở thời điểm hiện tại t kTa sao cho tổng bình phương sai lệch giữa
trạng thái quan sát được và trạng thái thực là nhỏ nhất.
Kết quả:
x k AN
trong đó
u k N
1
X T X X T a AN 1B , , AB , B
u k 2
u k 1
y k N D
C
D
y k N 1 CB
CA
X , a
N 1
y
CAN 2B CAN 3B
CA
k 1 N 1
N
y CA B CAN 2B
CA
k
GS. Nguyễn Doãn Phước
u k N
u k N 1
D u k 1
CB
CAB CB D u k
5
Ứng dụng tối ưu hóa
Quan sát trạng thái Kalman
1. Mô hình trạng thái
x k 1 Ak x k Bk u k n k
yk C k x k Dk u k v k
2. Đo tín hiệu vào ra u k , y ở thời điểm hiện tại rồi từ đó xác
k
định trạng thái của hệ sao cho kỳ vọng của tổng bình phương
sai lệch giữa trạng thái quan sát được x k và trạng thái thực x k
nk
uk
xk
vk
Đối tượng
điều khiển
Bộ quan sát
tối ưu Kalman
là nhỏ nhất.
Kết quả:
1. Chọn K 0 tùy ý. Thực hiện lần lượt bước tính sau với k 1, 2,
2. Tính Pk Ak 1Kk 1AkT1 N
Lk PkC kT C k PkC kT V
với N là ma trận tương quan của nhiễu n k
1
với V là ma trận tương quan của nhiễu v k
Kk I LkC k Pk
x k/ Ak 1x k 1 Bk 1u k 1
x k (I LkC k )x k/ Lk (y k Dk u k ) và xuất x k làm trạng thái quan sát được
GS. Nguyễn Doãn Phước
6
yk
Ứng dụng tối ưu hóa
Điều khiển dự báo
Nguyên lý chung: Bộ điều khiển gồm 3 khối:
1. Khối mô hình dự báo: Có nhiệm vụ dựa vào mô
hình toán của đối tượng để xác định tín hiệu ra
tương lai yk i , 0 i N phụ thuộc vào dãy các giá
trị tín hiệu điều khiển tương lai u k , , u k N
2. Hàm mục tiêu J (p ), p col (u k , , u k N ) được
xây dựng từ chỉ tiêu chất lượng muốn có của hệ.
Chẳng hạn:
Cửa sổ dự báo
k k 1
k N
t
N
J (p ) (w k i y k i )T Q (w k i y k i ) uTk i Ru k i
i 0
khi chất lượng yêu cầu là bám ổn định, trong đó Q , R là hai ma trận đối xứng xác
định dương tùy chọn.
*
3. Tối ưu hóa: Là thuật toán tối ưu được áp dụng để tìm nghiệm p arg minN J (p ) . Trong
số nghiệm tối ưu p
*
col (u *k ,
, u k* N
p U
*
) tìm được thì chỉ sử dụng phần tử đầu tiên u k
GS. Nguyễn Doãn Phước
7
Ứng dụng tối ưu hóa
Điều khiển dự báo hệ tuyến tính
Mô tả bài toán: Cho hệ tuyến tính
x k 1 Ax k Bu k
y k C x k Du k v k
với nhiễu v k
Xây dựng bộ điều khiển dự báo để tín hiệu ra y k bám theo tín hiệu mẫu w k
Kết quả: Sử dụng hàm mục tiêu: J ( p )
N
qi (y k i w k i )2 ri uk2i min
i 0
sẽ được u k I , 0, , 0 p
trong đó
p TQ R
1
TQ x k w
CAN 1
CAN 2B
N 2
N 3
CA B
, CA
,
C
D
Q diag qi , R diag ri
wk
w
w k 1
w k N
uk
, p u k 1
u k N
GS. Nguyễn Doãn Phước
CB D
D 0
0
0
8
Điều khiển tối ưu
Phát biểu bài toán
Bài toán liên tục:
Xét hệ x f (x , u ) . Hãy xác định u (t ) U đưa hệ đi từ x 0 x (0) tới x T x (T ) trong
khoảng thời gian
T
T để với nó có được J (u ) g (x , u )dt min
0
Bài toán không liên tục:
Xét hệ x k 1 f (x k , u k ) . Hãy xác định {u k } U đưa hệ đi từ x 0 tới x N
thời gian
trong khoảng
N
N để với nó có được J (u ) g (x k , u k ) min
k 0
Phân loại
1. Theo trạng thái đầu là cho trước hoặc bất kỳ
2. Theo trạng thái cuối là cho trước hoặc bất kỳ
3. Theo thời gian xảy ra quá trình tối ưu là cho trước hoặc cũng là biến tối ưu cần tìm
GS. Nguyễn Doãn Phước
9
Điều khiển tối ưu
Phương pháp biến phân
Chủ yếu áp dụng cho bài toán liên tục. Ngoài ra khoảng thời gian T là phải cho trước, trong
khi trạng thái đầu và cuối thì có thể cho trước hoặc bất kỳ. Tập ràng buộc phải hở.
Các bước thực hiện:
1. Lập hàm Hamilton: H (x , u , p ) pT f (x , u ) g (x , u ) với p là biến đồng trạng thái
2. Xác định quan hệ u (x , p ) từ điều kiện cần:
H
0T
u
T
H
3. Sử dụng thêm quan hệ Euler-Langange p
x
điều kiện biên:
p (0) 0
khi có điểm trạng thái đầu
trong đó biến p phải thỏa mãn
x 0 là bất kỳ
p (T ) 0 khi có điểm trạng thái cuối xT là bất kỳ
Tính chất cơ bản của hàm Hamilton: Dọc theo quỹ đạo tối ưu thì hàm Hamilton sẽ:
1. Có giá trị là hằng số
2. Nếu
xT là bất kỳ và T thì có giá trị bằng 0
GS. Nguyễn Doãn Phước
10
Điều khiển tối ưu
Bộ điều khiển LQR liên tục
Với bài toán có hệ là tuyến tính, hàm mục tiêu dạng toàn phương và T :
x Ax Bu , J (u ) xTQx uT Ru dt , Q QT 0, R RT 0
0
thì tín hiệu điều khiển tối ưu có dạng on-line: u R 1BT Px
của phương trình đại số Riccati
T
trong đó P P 0 là nghiệm
PBR 1BT P AT P PA Q
u
Bộ điều khiển LQR: RLQR R 1BT P
Một số điều kiện đủ để hệ kín ổn định:
x
Đối tượng
tuyến tính
Bộ điều
khiển LQR
T
1. Khi bài toán có Q Q 0
2. Khi nghiệm phương trình Riccati có P PT 0
T
3. Khi cặp ma trận (A,Qa ) là quan sát được, trong đó Q Qa Qa
4. Luôn có Qa i 0 với mọi vector riêng bên phải a i của A
GS. Nguyễn Doãn Phước
11
Điều khiển tối ưu
Ứng dụng LQR vào điều khiển dự báo hệ song tuyến (*)
Bài toán: Cho hệ song tuyến
x A(x )x B (x )u
y C (x )x D (x )u
k
t
tk tk 1
và tín hiệu mẫu w (t ) . Hãy tìm bộ điều khiển phản hồi trạng thái để tín hiệu ra
theo được tín hiệu mẫu.
y (t ) bám
Kết quả: Vì nguyên tắc điều khiển dự báo làm việc theo vòng lặp và mỗi vòng lặp cần có một
khoảng thời gian k để thực hiện, mặc dù rất nhỏ, nên khi tk t tk 1 tk k ta có thể xấp
xỉ hệ đã cho về hệ có tham số biến đổi theo thời gian như sau:
x Ak x Bk u
trong đó Ak A x (tk ) , Bk B x (tk ) , C k C x (tk ) , Dk D x (tk )
1. Tại thời điểm tk đo x k x (tk ) và tùy chọn Qk , Rk đối xứng xác định dương
2. Tính x s , u s thỏa mãn 0 Ak x s Bk u s
1 T
3. Xác định RLQR Rk Bk P
và w (tk ) C k x s Dk u s
1 T
T
với PBk Rk Bk P Ak P PAk Qk
4. Đưa u RLQR (x x s ) u s vào điều khiển và quay về 1. để tính u tại thời điểm tk 1
GS. Nguyễn Doãn Phước
12
Điều khiển tối ưu
Phương pháp quy hoạch động (Bellman)
Chủ yếu áp dụng cho bài toán không liên tục. Ngoài ra khoảng thời gian
trong khi trạng thái đầu và cuối thì có thể cho trước hoặc bất kỳ.
N là phải cho trước,
Nguyên lý Bellman: Mỗi đoạn cuối của quỹ đạo tối ưu cũng tối ưu
Hàm con Bk (x k ) min
ui
N 1
g (x i , ui )
được gọi là hàm Bellman
i k
Theo nguyên lý tối ưu thì:
Bk (x k ) min g (x k , uk ) Bk 1 (x k 1 )
uk
Các bước thực hiện:
1. Gán BN (x N ) 0
và k N 1
*
2. Tính u k (x k ) arg min g (x k , u k ) Bk 1 f (x k , u k )
uk
*
*
và từ đó là Bk (x k ) g (x k , u k ) Bk 1 f (x k , u k )
3. Nếu
k 0 thì gán k k 1 và quay về 2. Ngược lại thì dừng
GS. Nguyễn Doãn Phước
13
Điều khiển tối ưu
Bộ điều khiển LQR không liên tục
Với bài toán có hệ là tuyến tính, hàm mục tiêu dạng toàn phương:
N
1 T
x k 1 Ax k Bu k , J x N 1Lx N 1 x Tk Qx k uTk Ru k
2
k 0
trong đó N có thể là hữu hạn N hoặc vô hạn N , thì tín hiệu điều khiển tối ưu có
dạng on-line: u R BT P B
k 1
k
đại số Riccati:
1
BT Pk 1Ax k
trong đó Pk là nghiệm của phương trình
T
T
T
1. Khi N là hữu hạn: Pk Q A Pk 1A A Pk 1B R B Pk 1B
1
BT Pk 1A
trong đó: PN 1 L
2. Khi N là vô hạn thì có thể gán Pk P , k và L với P là nghiệm của:
T
T
T
P Q A PA A PB R B PB
1
BT PA
GS. Nguyễn Doãn Phước
14
Điều khiển tối ưu
Ứng dụng quy hoạch động vào điều khiển dự báo hệ song tuyến (*)
Bài toán: Cho hệ song tuyến
x k 1 A(x k )x k B (x k )u k
y k C (x k )x k D (x k )u k
và dãy giá trị tín hiệu mẫu {wk } . Tìm bộ điều khiển phản
hồi trạng thái để đầu ra y k bám theo được tín hiệu mẫu.
Kết quả: Vì là phản hồi trạng thái nên ở thời điểm hiện tại,
khi đã có x k hệ đã cho luôn biểu diễn được dưới dạng
tham số hằng (LTI):
x k 1 k x k k u k với k A(x k ), k B (x k ), k C (x k ), k D (x k )
1. Tại thời điểm k đo x k và tùy chọn Qk , Rk đối xứng xác định dương
2. Tính
x s , u s thỏa mãn x s k x s k u s và w k k x s k u s
3. Xác định RLQR Rk kT P
với
1
kT P k
P Qk kT P k kT P k Rk kT P k
1
kT P k
4. Đưa u k u s RLQR (x k x s ) vào điều khiển và gán k k 1 rồi quay về 1.
GS. Nguyễn Doãn Phước
15
Điều khiển tối ưu
Nguyên lý cực đại
Là công cụ duy nhất giúp thực hiện bài toán tối ưu có khoảng thời gian T xảy ra quá trình
tối ưu không cho trước, hay bản thân T cũng là một biến tối ưu cần tìm
Nội dung nguyên lý (cho bài toán liên tục):
*
Nếu u là nghiệm bài toán free end time thì:
1. Phải tồn tại ít nhất một vector biến đồng trạng thái p thỏa mãn:
T
u * arg max H (x , u , p ) với H (x , u , p ) p f (x , u ) g (x , u )
uU
2. Nếu ký hiệu M (x , p ) max H (x , u , p ) thì tại điểm cuối T sẽ có: M x (T ), p (T ) 0
uU
3. Nếu sử dụng biến đồng trạng thái thỏa mãn quan hệ Euler-Lagrange p H x
T
thì điều kiện 2 trên còn đúng với mọi 0 t T , tức là dọc theo quỹ đạo tối ưu có:
M (x * , p * ) H (x * , u * , p * ) 0
4. Nếu bài toán có thêm điều kiện ràng buộc về điểm đầu hoặc điểm cuối x (0) S 0 , x (T ) ST
thì còn có: p (0) S 0 hoặc p (T ) ST
GS. Nguyễn Doãn Phước
16
Điều khiển tối ưu
Ứng dụng nguyên lý cực đại vào thiết kế bộ điều khiển FTS (*)
Với hệ phi tuyến affine bậc 2 một đầu vào:
x f (x ) h (x )u , x (x1 , x 2 )T , f (0) 0
z 2 Lf (x )
thì bộ điều khiển:
k sgn (x ) khi (x ) 2k (x ) L (x ) L (x ) 0
f
f
u r (x ) k sgn (x ) khi (x ) 0 , (x ) 0
0 khi (x ) L (x ) 0
f
z1 (x )
trong đó k 0 tùy chọn và (x ) là hàm thỏa mãn (luôn tồn tại):
Lh (x )
(x )
h (x ) 0 và Lh Lf (x ) 0, x
x
sẽ làm hệ ổn định tiệm cận tại gốc sau khoảng thời gian hữu hạn,
tức là sau khi bị nhiễu tức thời đánh bật ra khỏi gốc thì bộ điều
khiển trên sẽ kéo hệ về trở lại gốc sau một khoảng thời gian T
GS. Nguyễn Doãn Phước
17
Điều khiển thích nghi
Tiêu chuẩn ổn định Lyapunov
Xét hệ không bị kích thích x f (x ) cân bằng tại gốc f (0) 0 . Nếu
tồn tại một hàm V (x ) xác định dương sao cho:
1. V (x ) 0 thì hệ sẽ ổn định tại gốc
2. V (x ) 0, x 0 thì hệ sẽ ổn định tiệm cận tại gốc (GAS).
Khi đó V (x ) được gọi là hàm Lyapunov (LF)
Áp dụng để thiết kế bộ điều khiển phản hồi trạng thái
Cho hệ x f (x , u ) thỏa mãn f (0, 0) 0 có vector các tín hiệu
vào là u . Để tìm bộ điều khiển phản hồi trạng thái r (x ) làm hệ ổn
định tiệm cận tại gốc (GAS), người ta thực hiện:
1. Xác định một hàm xác định dương V (x )
V (x )
f (x , u )
x
3. Tìm hàm r (x ) để W x , r (x ) trở thành xác định âm. Khi đó V (x ) được gọi là hàm
điều khiển Lyapunov (CLF)
2. Tính W (x , u )
GS. Nguyễn Doãn Phước
18
Điều khiển thích nghi
Phương pháp backstepping
Xét hệ truyền ngược
x f (x ) H (x )z
z (x , z ) G (x , z )u
trong đó z là một phần vector trạng thái col x , z , có số
chiều đúng bằng số các tín hiệu vào u là m và ma trận
vuông G (x , z ) kiểu m m là không suy biến.
Nếu hệ con x f (x ) H (x )z đã có hàm Lyapunov Vz (x ) cùng một bộ điều khiển phản
hồi trạng thái r z (x ) thỏa mãn r z (0) 0 làm nó ổn định tiệm cận, thì hệ truyền ngược đã
cho cũng sẽ có hàm điều khiển Lyapunov là:
V (x , z ) Vz (x )
1
T
z r z (x ) Q z r z (x )
2
với Q là ma trận xác định dương tùy chọn
Bước khởi đầu của backstepping
1
Hệ affine bậc 1: x f (x ) h (x )u với h (x ) 0, x luôn có hàm CLF là: V (x ) x 2
2
vì với nó hệ sẽ có bộ điều khiển phản hồi trạng thái GAS:
u r (x )
1
ax f (x ) , a 0
h (x )
GS. Nguyễn Doãn Phước
19
Điều khiển thích nghi
Điều khiển thích nghi giả định rõ
Bài toán: Cho hệ tham số hằng bất định
x f (x ) G (x ) H (x )u
w
trong đó là vector các tham số hằng không xác định được
của hệ. Tìm bộ điều khiển GAS.
Cơ cấu
chỉnh định
Bộ điều
khiển
u
x
Đối tượng
điều khiển
Nguyên lý giả định rõ (certainty equivalence):
1. Giả sử đã có . Dựa vào lý thuyết Lyapunov, tìm hàm CLF Vc (x , ) và một bộ điều
khiển r c (x , ) GAS tương ứng. Tất nhiên chúng đều phụ thuộc
2. Thay không biết bởi hàm phụ huộc thời gian (t ) . Sau đó sử dụng hàm CLF thích
nghi:
T
1
V (x , ) Vc (x , ) ( ) Q ( )
2
với Q QT 0 tùy chọn
Vc
f (x ) G (x ) H (x )r c (x , ) 0
thỏa mãn điều hiển nhiên
x
để tìm cơ cấu chỉnh định cho tức là tìm d dt sao cho có được dV dt xác định
âm theo x (hay bán xác định âm theo x , )
GS. Nguyễn Doãn Phước
20
- Xem thêm -