ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
Nguyễn Thế Hoàng Anh
MỘT SỐ PHƯƠNG PHÁP XỬ LÝ VÀ PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO
CHO CÁC ỨNG DỤNG GIAO DIỆN NÃO – MÁY TÍNH
LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH
Hà Nội – 2020
ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
MỘT SỐ PHƯƠNG PHÁP XỬ LÝ VÀ PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO
CHO CÁC ỨNG DỤNG GIAO DIỆN NÃO – MÁY TÍNH
Chuyên ngành:
Khoa học máy tính
Mã số:
9480101.01
LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH
NGƯỜI HƯỚNG DẪN KHOA HỌC:
1. PGS. TS. Bùi Thế Duy
2. PGS. TS. Lê Thanh Hà
Hà Nội – 2020
1
LỜI CAM ĐOAN
Tôi xin cam đoan rằng đây là công trình nghiên cứu của riêng tôi. Các kết quả
trong luận án là trung thực và chưa từng công bố trong bất kỳ công trình nào khác.
Các kết quả được viết chung với các tác giả khác đều được sự đồng ý trước khi đưa
vào luận án.
Tác giả luận án
Nguyễn Thế Hoàng Anh
2
LỜI CẢM ƠN
Nghiên cứu khoa học là hành trình dài có nhiều thử thách cần vượt qua và
đồng thời là quá trình đào sâu, tìm ra lời giải cho các vấn đề khoa học thú vị. Nghiên
cứu về Khoa học máy tính, cụ thể lĩnh vực trí tuệ nhân tạo và khoa học thần kinh
chắc chắn là một công việc nhận được nhiều sự quan tâm. Tôi cảm thấy rất may mắn
được trở thành một phần của cộng đồng nghiên cứu hàn lâm về lĩnh vực đầy hứng
khởi này với những phát kiến khoa học khiêm tốn của mình.
Trong quá trình học tập, nghiên cứu và hoàn thiện luận án tiến sĩ, tôi đã nhận
được sự giúp đỡ, chỉ bảo tận tình của các thầy, cô giáo, nhà khoa học, Phòng thí
nghiệm Tương tác người máy HMI, Bộ môn Khoa học máy tính tại Trường Đại học
công nghệ, Đại học Quốc gia Hà Nội.
Tôi xin bày tỏ lòng biết ơn sâu sắc đặc biệt tới PGS. TS. Bùi Thế Duy và PGS.
TS. Lê Thanh Hà, những người thầy hướng dẫn đã trực tiếp truyền thụ kiến thức và
thắp lên ngọn lửa đam mê nghiên cứu khoa học, giúp đỡ, động viên tôi kiên định
trong suốt quá trình nghiên cứu và thực hiện luận án.
Tôi xin chân thành cám ơn Lãnh đạo và các đồng nghiệp tại Viện Công nghệ
thông tin – Viện Hàn lâm Khoa học và Công nghệ Việt Nam đã luôn tạo điều kiện
thuận lợi nhất và cùng tôi thực hiện các đề tài, công trình nghiên cứu trong đó một
phần kết quả đã được trực tiếp thể hiện trong luận án.
Tôi xin dành tất cả sự yêu thương và cám ơn tới gia đình: bố TS. Nguyễn Song
Hoan, mẹ TS. Nguyễn Thị Bạch Yến, vợ Lê Minh Trang và hai con Mật Ong, Cá
Mập đã luôn bên cạnh, động viên để tôi vượt qua những khó khăn và hoàn thành
mục tiêu.
Xin trân trọng cám ơn!
Tác giả luận án
Nguyễn Thế Hoàng Anh
3
MỤC LỤC
LỜI CAM ĐOAN ........................................................................................................................................2
LỜI CẢM ƠN ..............................................................................................................................................3
DANH MỤC BẢNG ....................................................................................................................................7
DANH MỤC HÌNH VẼ ..............................................................................................................................8
DANH MỤC CHỮ VIẾT TẮT.................................................................................................................10
PHẦN MỞ ĐẦU ........................................................................................................................................11
1.
Tính cấp thiết ...................................................................................................................... 11
2.
Mục tiêu của luận án ........................................................................................................... 13
3.
Đóng góp của luận án .......................................................................................................... 14
4.
Phạm vi của luận án ............................................................................................................ 16
5.
Phương pháp luận ............................................................................................................... 17
6.
Cấu trúc luận án ................................................................................................................. 17
CHƯƠNG 1. TỔNG QUAN VỀ TÍN HIỆU ĐIỆN NÃO VÀ XỬ LÝ, PHÂN TÍCH TÍN HIỆU ĐIỆN
NÃO ............................................................................................................................................................19
1.
Giới thiệu ............................................................................................................................ 19
2.
Tín hiệu điện não và phương pháp đo tín hiệu từ não bộ..................................................... 21
2.1.
Các phương pháp đo tín hiệu từ não bộ ....................................................................... 21
2.1.1.
Chụp quang phổ cận hồng ngoại chức năng ............................................................. 21
2.1.2. Chụp Cộng hưởng từ chức năng .................................................................................... 22
2.1.3. Chụp cắt lớp phát xạ positron ....................................................................................... 22
2.1.4. Từ não đồ ...................................................................................................................... 23
2.1.5. Điện não đồ xâm lấn ...................................................................................................... 24
2.2.
Tín hiệu điện não và các vấn đề liên quan .................................................................... 25
2.2.1. Điện não đồ.................................................................................................................... 25
2.2.2.Tín hiệu điện não ............................................................................................................ 26
2.2.3. Cơ chế phát sinh tín hiệu điện não ................................................................................. 28
2.2.4. Thu tín hiệu điện não ..................................................................................................... 29
3.
Một số phương pháp xử lý, phân tích tín hiệu điện não ....................................................... 30
3.1.
Biến đổi wavelet............................................................................................................... 30
3.2.
Phân tích thành phần độc lập trong khử nhiễu tín hiệu điện não..................................... 33
3.3.
Mạng Nơron wavelet ....................................................................................................... 34
3.3.1.
Huấn luyện............................................................................................................... 35
3.3.2.
Khử nhiễu ................................................................................................................ 35
3.4.
Phương pháp phân ngưỡng wavelet ................................................................................ 36
3.5.
Kỹ thuật định vị LORETA trong trực quan hóa dữ liệu điện não ................................... 38
4.
Một số ứng dụng hệ giao diện não máy tính ........................................................................ 40
4
4.1.
Hệ BCI2000 ..................................................................................................................... 40
4.2.
Hệ VR-BCI trong phục hồi chức năng ............................................................................. 41
4.3.
Một số hệ BCI trong đánh vần ký tự ............................................................................... 42
4.4.
Một số nghiên cứu BCI và tín hiệu điện não khác............................................................ 43
5.
Kết luận Chương 1 .............................................................................................................. 45
CHƯƠNG 2. PHƯƠNG PHÁP HỌC SÂU TỰ MÃ HÓA THƯA WAVELET TRONG KHỬ TÍN
HIỆU ĐIỆN NÃO BẤT THƯỜNG DO NHÁY MẮT............................................................................46
1.
Đặt vấn đề ........................................................................................................................... 46
2.
Đề xuất phương pháp học sâu tự mã hóa thưa wavelet ....................................................... 49
2.1.
Mạng học sâu tự mã hóa thưa ...................................................................................... 50
2.2.
Phương pháp dò đếm EOG dựa trên biến đổi wavelet Haar ........................................ 52
2.2.1.
Biến đổi wavelet Haar .............................................................................................. 52
2.2.2.
Thuật toán dò tìm EOG dựa trên biến đổi wavelet Haar .......................................... 53
2.3.
2.3.1.
Huấn luyện tự động.................................................................................................. 55
2.3.2.
Tự động sửa lỗi tín hiệu............................................................................................ 57
2.4.
3.
Mạng học sâu tự mã hóa thưa wavelet trong khử EOG ............................................... 55
Độ đo đánh giá kết quả ................................................................................................ 58
Kết quả ............................................................................................................................... 59
3.1.
Dữ liệu kiểm thử .......................................................................................................... 59
3.2.
Thiết kế thí nghiệm ...................................................................................................... 60
3.3.
Kết quả thí nghiệm ...................................................................................................... 60
3.3.1.
Kết quả trên Tập dữ liệu 1: thực hiện nhiệm vụ chú ý quan sát .............................. 60
3.3.2.
Kết quả trên Tập dữ liệu 2: nhận dạng trạng thái suy nghĩ ..................................... 65
3.3.3.
Kết quả trên tập dữ liệu 3: tín hiệu điện não mô phỏng chứa nhiễu ........................ 68
4.
Thảo luận ............................................................................................................................ 69
5.
Kết luận Chương 2 .............................................................................................................. 72
CHƯƠNG 3. ĐỀ XUẤT MỘT SỐ PHƯƠNG PHÁP PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO DỰA
TRÊN HỌC MÁY .....................................................................................................................................73
1.
Đặt vấn đề ........................................................................................................................... 73
2.
Cơ sở dữ liệu thử nghiệm .................................................................................................... 75
2.1. Cơ sở dữ liệu đã có ........................................................................................................... 75
2.2. Cơ sở dữ liệu của luận án ................................................................................................. 77
3.
Đề xuất một số phương pháp phân loại trạng thái suy nghĩ dựa trên học máy .................... 79
3.1.
Phương pháp máy vec-tơ hỗ trợ với đặc trưng năng lượng wavelet tương đối ............. 79
3.1.1. Năng lượng wavelet tương đối trong trích chọn đặc trưng tín hiệu điện não ................. 81
3.1.2. Máy vec-tơ hỗ trợ trong phân loại tín hiệu điện não ...................................................... 82
3.2.
Phương pháp mạng nơ-ron nhân tạo kết hợp phân tích thành phần chính .................. 84
5
3.2.1.
Phân tích thành phần chính cho giảm số chiều tín hiệu điện não.............................. 86
3.2.2.
Huấn luyện mạng nơron nhân tạo với thuật toán OWO-BP ..................................... 87
3.3.
4.
5.
Phương pháp học sâu với đặc trưng lựa chọn bởi phân ngưỡng SURE ........................ 89
3.3.1.
Lựa chọn thành phần chính với phân ngưỡng thích nghi SURE .............................. 91
3.3.2.
Mạng học sâu Deep belief net trong phân loại tín hiệu điện não ............................... 92
Kết quả và thảo luận ........................................................................................................... 94
4.1.
Tiền xử lý dữ liệu ......................................................................................................... 95
4.2.
Phân loại trạng thái ..................................................................................................... 98
Kết luận chương 3 ............................................................................................................. 100
CHƯƠNG 4. ĐỀ XUẤT HỆ GIAO DIỆN NÃO MÁY TÍNH TRONG ĐIỀU KHIỂN CÁC THIẾT
BỊ ĐIỆN TỬ GIA DỤNG THÔNG MINH ...........................................................................................102
1.
Hệ giao diện não máy tính trong điều khiển thiết bị điện tử gia dụng thông minh............. 102
1.1.
Khối thu tín hiệu và thiết bị Emotiv Epoc+ ................................................................ 103
1.2. Khối DSP........................................................................................................................ 104
1.3. Khối WIoT ..................................................................................................................... 104
2. Đề xuất mô hình học cộng đồng dạng xếp ngăn trong phân loại tín hiệu điện não cho hệ giao
diện não máy tính trong điều khiển các thiết bị điện tử gia dụng thông minh ........................... 105
3.
Kết quả và thảo luận ......................................................................................................... 108
4.
Kết luận Chương 4 ............................................................................................................ 110
PHẦN KẾT LUẬN VÀ KIẾN NGHỊ ....................................................................................................112
DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ .............................................................................116
TÀI LIỆU THAM KHẢO ......................................................................................................................118
6
DANH MỤC BẢNG
Bảng 1. Kết quả nhận diện EOG ............................... 55
Bảng 2. MSE của ba phương pháp dựa trên wavelet ................... 69
Bảng 3. So sánh đặc tính các phương pháp khử nhiễu tín hiệu điện não ...... 71
Bảng 4. Kết quả phân loại hai trạng thái suy nghĩ .................... 98
Bảng 5. Kết quả phân loại 02 trạng thái suy nghĩ theo các bước với DBN .... 99
Bảng 6. Kết quả phân loại tác vụ suy nghĩ cho 03 trạng thái với DNN ....... 99
Bảng 7. Kết quả phân loại 03 trạng thái suy nghĩ theo các bước với DNN ... 100
Bảng 8. Độ chính xác phân loại 2 trạng thái phương pháp đề xuất dựa trên mạng
nơ-ron nhân tạo kết hợp PCA và máy vec-tơ hỗ trợ với đặc trưng RWE ..... 100
Bảng 9. Độ chính xác phân loại 3 trạng thái phương pháp đề xuất dựa trên mạng
nơ-ron nhân tạo kết hợp PCA và máy vec-tơ hỗ trợ với đặc trưng RWE ..... 100
Bảng 10. Độ chính xác phân loại 2 trạng thái phương pháp đề xuất dựa trên máy
học cộng đồng so với các phương pháp thành phần .................. 108
Bảng 11. Độ chính xác phân loại 3 trạng thái phương pháp đề xuất dựa trên máy
học cộng đồng so với các phương pháp thành phần .................. 109
7
DANH MỤC HÌNH VẼ
Hình 1. Cấu trúc não bộ [64] .................................. 19
Hình 2. Các phương thức thu tín hiệu từ não bộ (a) fNIRS, (b) fMRI, (c) PET, (d)
MEG, (e) EcoG và (f) EEG ................................... 20
Hình 3. Một số hệ thống thiết bị dùng để đo điện não EEG [20] ........... 25
Hình 4. Bản ghi tín hiệu điện não EEG ........................... 27
Hình 5. Một số dạng sóng trong tín hiệu điện não EEG ................. 28
Hình 6. (a) Biến đổi wavelet thuận và (b) Biến đổi wavelet ngược ......... 31
Hình 7. Quy trình phương pháp ICA dùng trong khử nhiễu tín hiệu EEG ..... 34
Hình 8. Cấu trúc của mạng Wavelet Neural Network [8] ................ 35
Hình 9. Huấn luyện mạng Nơ-ron .............................. 35
Hình 10. Quá trình khử nhiễu ................................. 36
Hình 11. Thuật toán Loreta trong định vị hoạt động điện não EEG. ......... 39
Hình 12. Thiết kế hệ BCI2000 [17] .............................. 40
Hình 13. Hệ BCI ứng dụng thực tại ảo trong phục hồi bệnh nhân đột quỵ [1] .. 41
Hình 14. Thiết kế ma trận hiển thị cho 26 ký tự tiếng Anh [8] ............ 42
Hình 15. Giao diện thí nghiệm Berlin BCI [68] ...................... 43
Hình 16. Tín hiệu bất thường do nháy mắt EOG ..................... 47
Hình 17. Cấu trúc mạng học sâu tự mã hóa thưa kết hợp wavelet DWSAE .... 49
Hình 18. Mô hình đơn giản một máy tự mã hóa Autoencoder ............ 51
Hình 19. Lưu đồ thuật toán dò đếm tín hiệu bất thường do nháy mắt EOG .... 53
Hình 20: Kết quả nhận diện EOG ............................... 54
Hình 21. Quy trình huấn luyện không giám sát mạng học sâu tự mã hóa thưa
wavelet ................................................ 56
Hình 22. Quy trình tự động khử EOG với DWSAE ................... 57
Hình 23. Kết quả khử nhiễu của DWSAE so với (a) SOBI, (b) Infomax, (c) JADE,
(d)WNN và (e) Wavelet thresholding ............................ 62
Hình 24. Hình vẽ thể hiện PSD của tín hiệu trước và sau khi khử nhiễu ...... 63
Hình 25. Hệ số tương quan tần số giữa tín hiệu trước và sau khi khử nhiễu bởi (a)
DWSAE, (b) Infomax, (c) JADE, (d) SOBI, (e) WNN và (f) WT .......... 64
Hình 26 So sánh kết quả khử nhiễu giữa DWSAE và (a) SOBI, (b) Infomax, (c)
JADE, (d)WNN và (e) Wavelet thresholding ....................... 66
Hình 27. PSD giữa tín hiệu gôc và tín hiệu sau khử nhiễu ............... 67
Hình 28. Tương quan tần số giữa tín hiệu trước và sau khi khử nhiễu bởi (a)
DWSAE, (b) Infomax, (c) JADE, (d) SOBI, (e) WNN và (f) WT .......... 67
Hình 29. Kết quả trên đoạn tín hiệu bán giả lập trước và sau khi khử nhiễu bởi . 68
Hình 30. Lưu đồ phương pháp phân tích tín hiệu EEG dựa trên SVM ....... 80
Hình 31. Siêu phẳng phân cách bởi SVM .......................... 82
Hình 32. Lưu đồ phương pháp phân tích tín hiệu EEG dựa trên mạng nơ-ron .. 85
Hình 33. Cấu trúc mạng nơ-ron nhân tạo ba lớp ..................... 88
8
Hình 34. Huấn luyện mạng ANN với thuật toán OWO-BP .............. 89
Hình 35. Lưu đồ phương pháp phân tích tín hiệu EEG dựa trên học sâu ..... 90
Hình 36. Thiết kế máy học Boltzman ............................ 92
Hình 37. Mạng học sâu Deep belief net với nhiều máy Boltzman .......... 94
Hình 38. Biến đổi ICA trong khử nhiễu tín hiệu điện não ............... 96
Hình 39. Kết quả khử nhiễu với ICA ............................. 96
Hình 40. Kết quả khử nhiễu với WNN ........................... 96
Hình 41. Hiển thị vùng kích hoạt não bộ với phương pháp LORETA trong quá
trình đối tượng thực hiện ba thí nghiệm (a) N, (b) L and (c) P ............ 97
Hình 42. Kiến trúc tổng thể của hệ thống giao diện não-máy tính trong điều khiển
các thiết bị điện tử gia dụng thông minh. ......................... 102
Hình 43. Mũ đo tín hiệu điện não EPOC+ (Nguồn: Emotiv) ............ 103
Hình 44. Tín hiệu điện não thu bằng chương trình Test Bench ........... 103
Hình 45. Mô hình tương đương module ESP 8266 ................... 105
Hình 46. Mô hình máy học cộng đồng trong phân loại trạng thái suy nghĩ từ tín
hiệu điện não ........................................... 107
9
DANH MỤC CHỮ VIẾT TẮT
ANN
Aritificial neural network (Mạng nơ-ron nhân tạo)
BCI
Brain computer interface (Giao diện não máy tính)
CT
Computed Topography (Chụp cắt lớp)
DNN
Deep neural network (Mạng học sâu)
DBN
Deep belief network (Mạng học sâu niềm tin)
DWSAE
Deep wavelet sparse autoencoder (Máy học sâu tự mã hóa thưa
wavelet)
EEG
Electroencephalography (Điện não đồ)
EOG
Electrooculography (Tín hiệu bất thường sinh ra do nháy mắt)
EMG
Electromyogram (Tín hiệu bất thường sinh ra do cử động cơ)
ECoG
Electro-corticography (Điện não đồ xâm lấn)
FC
Frequency correlation (Tương quan tần số)
fMRI
functional Magnetic resonance imaging (Chụp cộng hưởng từ chức
năng)
fNIRS
Functional Near-Infrared Spectroscopy (Quang phổ cận hồng ngoại)
ICA
Independent component analysis (Phân tích thành phần độc lập)
Infomax
Information Maximization (Tối đa thông tin)
JADE
Joint Approximation Diagonalization of Eigen-matrices
LORETA Low resolution brain electromagnetic tomography (Định vị điện từ
não đồ phân giải thấp)
MEG
Magnetoencephalography (Từ não đồ)
MSE
Mean square error (Sai số toàn phương trung bình)
OWO-BP Output weight optimization – Backpropagation (Lan truyền ngược tối
ưu hóa trọng số lớp ra)
PCA
Principal component analysis (Phân tích thành phần chính)
PET
Positron emission tomography (Chụp positron phát xạ)
PSD
Power spectral density (Mật độ phổ năng lượng)
RBM
Restricted Bolzmann machine (Máy Bolzmann chặt)
RWE
Relative wavelet energy (Năng lượng wavelet tương đối)
SAE
Sparse autoencoder (Máy tự mã hóa thưa)
SOBI
Second-Order Blind Identification (Nhận dạng mù bậc hai)
SURE
Stein’s unbiased risk estimate
SVM
Support vector machine (Máy vec-tơ hỗ trợ)
WIoT
Wireless internet of things (Internet vạn vật vô tuyến)
WNN
Wavelet neural network (Mạng nơ-ron wavelet)
WT
Wavelet thresholding (Phân ngưỡng wavelet)
10
PHẦN MỞ ĐẦU
1. Tính cấp thiết
Não bộ là một trong những cơ quan quan trọng nhất, về cơ bản chịu trách
nhiệm điều phối toàn bộ các cơ quan khác trong cơ thể con người. Cơ chế hoạt động
của não bộ là một vấn đề rất phức tạp, đến nay khoa học chưa có lời giải rõ ràng.
Nếu não bộ hoạt động không bình thường có thể do các vấn đề tâm lý hay xáo trộn
về cấu trúc sinh học, một số bệnh liên quan có thể xuất hiện như suy giảm trí nhớ,
tự kỷ/trầm cảm, Parkinson, đột qụy… Tín hiệu điện não là một cách tiếp cận phù
hợp để có thể đánh giá tình trạng của não bộ trong các trường hợp kể trên do chất
lượng tín hiệu tốt, độ phân giải cao, tính linh động của thiết bị, an toàn và giá thành
hợp lý trong điều kiện Việt Nam nếu so sánh với các phương pháp thu tín hiệu từ
não bộ khác như chụp cộng hưởng từ, chụp cắt lớp, điện não đồ xâm lấn…
Tín hiệu điện não hay sóng điện não (Electroencephalogram – EEG) là các
giá trị điện thế có giá trị rất nhỏ, tạo ra bởi quá trình tương tác với nhau của các tế
bào thần kinh trong não. Tín hiệu EEG thường có biên độ trong khoảng từ 10 µV
đến 100 µV và tần số trong dải từ 1 Hz đến 100 Hz. Tín hiệu EEG không tuân theo
phân bố Gauss thông thường và cũng không tĩnh (nonstationary). Thông thường, tín
hiệu EEG cho biết thông tin về các hoạt động theo nhịp (rhythmic activities) trên các
dải tần số khác nhau như dải tần Delta (0.5–4 Hz), Theta (4-8 Hz), Alpha (8-13 Hz),
Beta (13-30 Hz) và Gamma (30-50 Hz). Phân tích tín hiệu EEG có thể dẫn đến một
số phát hiện như: nhịp Delta thường được thu được ở các trẻ nhỏ dưới 1 tuổi và trong
trạng thái ngủ sâu của người lớn; nhịp Theta tồn tại ở trẻ em nhỏ dưới 7 tuổi hoặc
trẻ em bình thường hoặc ở người lớn trong trạng thái buồn ngủ hoặc đang ngủ; một
lượng lớn tín hiệu nhịp Theta thu được ở người lớn trong trạng thái tỉnh táo là dấu
hiệu cảnh báo tình trạng bất thường hoặc dấu hiệu bị bệnh...
Tín hiệu điện não thường xuyên được sử dụng để phát triển các hệ giao diện
não-máy tính (Brain Computer Interface - BCI), phương thức truyền thông cho phép
kết nối máy tính để xử lý và hiểu được tín hiệu sinh ra từ bộ não một cách hiệu quả.
11
BCI là một giải pháp hữu ích cho người bị các bệnh như xơ cứng teo cơ một bên
(ALS) hay bệnh nhân trong tình trạng nghiêm trọng không cử động và điều khiển
được các bộ phận của cơ thể. Giao điện não máy tính cho phép chuyển tải thông điệp
người sử dụng muốn chỉ thông qua tín hiệu đã được phân tích, xử lý và “dịch” bởi
hệ thống mà không cần bất kỳ can thiệp nào khác. Một số ứng dụng của hệ BCI có
thể kể đến trong việc hỗ trợ phục hồi chức năng của người bị liệt nửa người do chấn
thương tủy sống [1], cho phép người sử dụng điều khiển các nhân vật hoạt họa di
chuyển trong một trò chơi điện tử dựa trên Xung phản ứng kích thích thị giác trạng
thái ổn định [2], điều khiển con chuột máy tính [3].
Để thực hiện việc phân tích thông tin và triển khai các ứng dụng dựa trên tín
hiệu EEG kể trên, một số vấn đề còn tồn tại, chưa được giải quyết bởi các nghiên
cứu trước đây có thể được kể đến:
- Tín hiệu điện não sau khi được biến đổi sang miền thời gian – tần số sẽ chứa
các thông tin đặc trưng được khu trú trên từng dải tần cụ thể và theo từng khung thời
gian nhất định. Các phương pháp trước đây, ví dụ sử dụng mạng nơ-ron nhân tạo,
thường phải trải qua bước huấn luyện off-line, do đó không tự động hóa được quy
trình khử nhiễu.
- Các thiết kế thí nghiệm của các nghiên cứu khác tập trung vào việc tạo ra
các đặc trưng như P300, xung kích thích thị giác trạng thái ổn định SSVEP, nhịp Mu
và Beta… thường yêu cầu thiết bị phụ trợ như màn hình máy tính hiển thị các hình
ảnh, ký tự được nháy sáng.
- Các phương pháp phân loại tín hiệu điện não trước đây thường được phát
triển cho các thí nghiệm như hình dung ảnh vận động, nhịp vận động cảm giác hay
xung kích thích thị giác trạng thái ổn định không phù hợp cho việc phân loại tín hiệu
điện não sinh ra trong tác vụ tập trung suy nghĩ vốn không đòi hỏi thiết kế thí nghiệm
phải có thiết bị hỗ trợ.
Học máy là các phương pháp tính toán thông minh cho phép máy tính tạo ra
các mô hình toán học có tham số hình thành bởi quá trình khai phá, huấn luyện với
dữ liệu gán nhãn (học có giám sát) hoặc không cần gán nhãn (học không giám sát).
12
Học sâu hay mạng nơ-ron nhân tạo sâu (deep neural network) với các cấu trúc khác
nhau như mạng niềm tin (deep belief net), máy tự mã hóa thưa (autoencoder), mạng
tích chập (convolutional neural network), mạng sinh đối nghịch (generative
adversarial networks)... là các thuật toán học máy được ứng dụng rất thành công
trong nhiều lĩnh vực. Các thuật toán học sâu khi có nhiều dữ liệu để huấn luyện sẽ
càng trở nên hiệu quả trong việc thực hiện chức năng được “dạy”. Kết quả thực
nghiệm trong luận án này mới chỉ tiến hành trên một tập dữ liệu quy mô nhỏ, tuy
nhiên việc sử dụng các phương pháp học sâu là bước chuẩn bị sẵn sàng để triển khai
công nghệ đề xuất cho các bài toán thực tế, khi có lượng lớn dữ liệu. Dựa trên những
phân tích ở trên, việc nghiên cứu và phát triển các phương pháp xử lý và phân loại
tín hiệu điện não, hướng đến áp dụng các phương pháp này trong một hoặc một số
ứng dụng cụ thể là một vấn đề nghiên cứu có ý nghĩa khoa học và thực tiễn cao, rất
cần thiết được tập trung nghiên cứu một cách kỹ lưỡng.
2. Mục tiêu của luận án
Luận án đặt ra một số mục tiêu như sau:
- Phát triển phương pháp để tăng cường chất lượng điện não dựa trên học
máy: Với vai trò là thông tin đầu vào, chất lượng của bản ghi tín hiệu điện não rất
quan trọng, ảnh hưởng đến chất lượng xử lý và phân loại tín hiệu của hệ xử lý, phân
tích tín hiệu điện não. Do đó, việc tăng cường chất lượng điện não, cụ thể là loại bỏ
thành phần tín hiệu điện não không mong muốn trong đó tín hiệu điện não bất thường
sinh ra do nháy mắt (Electrooculography – EOG), là một cách tiếp cận phù hợp để
tăng hiệu quả hoạt động của hệ BCI cũng như các hệ thống phân tích tính hiệu điện
não khác.
- Phát triển các phương pháp trong phân tích, xử lý tín hiệu điện não dựa trên
các phương pháp học máy trong đó bao gồm việc kiểm thử các phương pháp học có
giám sát và không giám sát dựa trên SVM, ANN, DNN, Học cộng đồng: Đối với các
phương pháp phân tích tín hiệu điện não dựa trên học có giám sát, kết quả phân loại
tín hiệu sẽ cho thấy mô hình đã được huấn luyện có thể học và làm tốt đến đâu với
13
dữ liệu tín hiệu điện não đầu vào đã được gán nhãn. Trong trường hợp xử lý tín hiệu
điện não với phương pháp học không giám sát, luận án sẽ kiểm chứng việc một thuật
toán học máy trong trường hợp cụ thể có thể làm tốt đến đâu khi đã biết nhiệm vụ
nhưng chưa thực sự thực hiện nhiệm vụ này bao giờ. Suy rộng ra là mục tiêu chứng
tỏ các hệ thống trí tuệ nhân tạo có khả năng tự học và suy diễn để thực hiện các
nhiệm vụ được đặt ra như khả năng suy luận của con người mà không cần phải cho
huấn luyện trước (trong chừng mực nào đó) trên một nhiệm vụ như vậy
- Phát triển một qui trình thu nhận dữ liệu với thiết kế thí nghiệm riêng để
đảm bảo phù hợp với hệ thống BCI có khả năng điều khiển các thiết bị điện tử gia
dụng thông minh: Hiện nay, rất nhiều nghiên cứu về xử lý, phân tích tín hiệu điện
não trên thế giới sử dụng tập dữ liệu có sẵn được công bố miễn phí và rộng rãi. Tuy
nhiên cách tiếp cận này có một nhược điểm là dữ liệu thu trước không phải lúc nào
cũng phù hợp với nội dung của nghiên cứu. Một số nghiên cứu khác chủ động tiến
hành thu nhận và sử dụng dữ liệu thu được. Những nghiên cứu này sử dụng các qui
trình thu nhận dữ liệu khác nhau, tuy nhiên phần lớn trong số đó đều khá phức tạp.
Mục tiêu ban đầu của luận án này là phát triển một hệ BCI trong điều khiển các thiết
bị điện tử thông minh, có thể hỗ trợ những nhóm người bị tổn thương chức vận động
(đột quỵ, xơ cứng teo cơ một bên - ALS, đa xơ cứng, chấn thương tủy sống, loạn
dưỡng cơ, …) không có khả năng cử động tương tác được với các thiết bị điện tử.
Để thực hiện hệ BCI như vậy, nghiên cứu trong khuôn khổ luận án này đã phát triển
một qui trình thu nhận dữ liệu với thiết kế thí nghiệm riêng để đảm bảo phù hợp với
hệ thống BCI có khả năng điều khiển các thiết bị điện tử gia dụng thông minh.
3. Đóng góp của luận án
Luận án có những đóng góp khoa học tập trung vào ba nhóm vấn đề (1) xử lý,
tăng cường chất lượng tín hiệu điện não, (2) phân tích, phân loại tín hiệu điện não
và (3) một hệ thống giao diện não máy tính hoàn chỉnh trong ứng dụng điều khiển
thiết bị điện tử gia dụng. Cụ thể các đóng góp như sau:
(1) Đề xuất các phương pháp xử lý, tăng cường chất lượng tín hiệu điện não:
14
Thứ nhất, khử tín hiệu điện não bất thường sinh ra do nháy mắt tự động với
mạng học sâu tự mã hóa thưa wavelet (DWSAE). Đây là một phương pháp mới,
trong đó thuật toán DWSAE được huấn luyện không giám sát và khử nhiễu một cách
tự động. Cách tiếp cận này chứng tỏ các thuật toán trí tuệ nhân tạo nếu được triển
khai theo một quy trình phù hợp, có khả năng tự tìm cách thực hiện các nhiệm vụ cụ
thể mà không cần được biết trước nhiệm vụ đó.
Thứ hai, nhận diện, dò đếm giả tượng mắt EOG dựa trên biến đổi wavelet với
hàm cơ sở wavelet Haar. Phương pháp này được phát triển với mục đích thu thập
các đoạn tín hiệu điện não sạch phục vụ huấn luyện không giám sát mô hình
DWSAE.
(2) Đề xuất các phương pháp phân tích, phân loại tín hiệu điện não:
Thứ ba, phân loại tín hiệu điện não trong các tác vụ suy nghĩ dựa trên bộ phân
lớp SVM với đặc trưng năng lượng wavelet tương đối. Việc triển khai phương pháp
này cho thấy, đặc trưng (Relative wavelet energy – RWE) rất phù hợp để làm đầu
vào cho các mô hình phân lớp học máy dựa trên việc tạo ra các siêu phẳng, nhất là
trong bài toán phân loại tín hiệu điện não.
Thứ tư, phân loại tín hiệu điện não sử dụng mạng nơ-ron phân tích thành phần
chính trong lựa chọn đặc trưng. Trong cách tiếp cận này, mạng nơ-ron được huấn
luyện với phương pháp lan truyền ngược tối ưu trọng số lớp đầu ra (OWO-BP) sử
dụng đặc trưng trích xuất bởi phương pháp phân tích thành phần chính.
Thứ năm, phân loại tín hiệu điện não sử dụng mạng học sâu với đặc trưng lựa
chọn bởi phân ngưỡng SURE. Trong phương pháp này, mạng học sâu được huấn
luyện với đầu vào là các đặc trưng trên miền tần số được trích chọn và giảm số chiều
thông tin sau phân tích thành phần chính PCA. Một phương pháp phân ngưỡng
SURE [4] được đề xuất để giảm số chiều các thành phần chính nhằm giảm độ phức
tạp tính toán và thời gian xử lý, đồng thời tăng chất lượng của bộ phân lớp sử dụng
mạng học sâu.
(3) Đề xuất một hệ thống giao diện não máy tính hoàn chỉnh ứng dụng trong
điều khiển thiết bị điện tử gia dụng:
15
Thứ sáu, đề xuất mô hình và thực hiện hệ giao diện não máy tính trong điều
khiển thiết bị điện tử gia dụng. Hệ giao diện não máy tính này gồm bốn phần chính
là khối thu tín hiệu (cùng với thiết kế thí nghiệm, sử dụng phù hợp), khối xử lý tín
hiệu số, khối kết nối và điều khiển thiết bị không dây và khối các thiết bị thông minh.
Các khối thành phần của hệ thống được kết nối hữu tuyến hoặc vô tuyến (wi-fi, blue
tooth) với nhau
Thứ bảy, phân loại tín hiệu điện não sử dụng mô hình dựa trên máy học cộng
đồng là một cách tiếp cận phù hợp để phát triển hệ BCI trong điều khiển thiết bị điện
tử gia dụng thông minh. Mô hình máy học cộng đồng sử dụng tín hiệu đầu vào đã
được khử tín hiệu điện não bất thường sinh ra do nháy mắt với phương pháp
DWSAE. Các máy học thành phần được sử dụng là máy học dựa trên học sâu, mạng
nơ-ron nhân tạo và máy vec-tơ hỗ trợ được đề xuất trong Chương 3 của luận án.
Các đóng góp khoa học cũng như kết quả thực nghiệm của luận án cho thấy
sử dụng học máy là phương pháp tiếp cận phù hợp để giải quyết các bài toán liên
quan đến xử lý, phân loại tín hiệu điện não và hệ giao diện não máy tính trong điều
kiện tín hiệu điện não có tính chất không tĩnh (non-stationary), thay đổi từ người này
sang người khác và từ phiên thu tín hiệu này sang phiên thu tín hiệu khác. Ngoài ra,
việc thực hiện thành công phương pháp DWSAE cho thấy máy học không giám sát
có thể là một cách tiếp cận mới trong xử lý phân tích tín hiệu điện não một cách tự
động. Khái quát hóa lên, các công cụ trí tuệ nhân tạo có khả năng học tự động với
dữ liệu được gán nhãn để giải quyết nhiệm vụ chưa có kinh nghiệm. Đây là cách giải
quyết vấn đề rất gần với tư duy của con người.
4. Phạm vi của luận án
Luận án này tập trung giải quyết các vấn đề liên quan đến phân tích, xử lý tín
hiệu điện não, phát triển và thực hiện hệ giao diện não máy tính nói chung và ứng
dụng cụ thể cho hệ BCI có khả năng điều khiển các thiết bị điện tử gia dụng thông
minh dựa trên tín hiệu điện não. Để thực hiện được mục tiêu này, luận án tập trung
phát triển một số phương pháp xử lý, phân tích tín hiệu điện não để tăng cường chất
lượng tín hiệu điện não. Các phương pháp này có thể được áp dụng cho hệ BCI điều
16
khiển thiết bị điện tử được mô tả trong luận án này cũng như các hệ xử lý tín hiệu
điện não khác. Bên cạnh đó, luận án trình bày một số nghiên cứu, đề xuất về các mô
hình phân loại tính hiệu điện não hoàn chỉnh gồm tiền xử lý tín hiệu sóng điện não,
trích chọn các đặc trưng phù hợp và huấn luyện, sử dụng mô hình phân lớp dựa trên
học máy trong phân loại tín hiệu điện não thành các tác vụ suy nghĩ tương ứng. Mô
hình hệ giao diện não máy tính trong điều khiển các thiết bị điện tử thông minh được
đề xuất trong nghiên cứu của luận án sử dụng thiết bị thu tín hiệu điện não có chất
lượng tín hiệu tương đối tốt, thiết kế nhỏ gọn, linh động nhưng có giá thành hợp lý,
phù hợp với điều kiện kinh tế -xã hội của Việt Nam. Chương 4 của luận án đề xuất
cách tiếp cận sử dụng mô hình học cộng đồng cho khối xử lý tín hiệu trong hệ BCI
này.
5. Phương pháp luận
Luận án giải quyết các vấn đề nghiên cứu đặt ra theo cách tiếp cận sau:
- Sử dụng phương pháp nghiên cứu lý thuyết, xây dựng và kiểm thử các mô
hình đề xuất trên dữ liệu đã được công bố và dữ liệu tự thu thập.
- Các phương pháp được đề xuất được so sánh với các phương pháp đã có
khác để đánh giá sự hiệu quả.
- Kết quả được báo cáo dưới dạng số liệu hoặc trực quan hóa để thuận tiện
cho việc đánh giá, kiểm chứng.
6. Cấu trúc luận án
Luận án này gồm 06 phần trong đó có Phần mở đầu, 04 chương nội dung và
Phần kết luận. Phần mở đầu nêu lên tính cấp thiết của vấn đề nghiên cứu, mục tiêu,
đóng góp khoa học và phạm vi của luận án. Chương 1 nêu tổng quan các vấn đề liên
quan đến tín hiệu điện não, cơ chế sinh ra tín hiệu điện não và một số phương pháp
xử lý, phân tích tín hiệu điện não. Chương 2 trình bày đề xuất phương pháp xử lý,
tăng cường chất lượng tín hiệu điện não đầu vào của hệ giao diện não máy tính bằng
cách khử tín hiệu điện não bất thường sinh ra do nháy mắt. Phương pháp được đề
xuất kết hợp mạng học sâu tự mã hóa thưa và biến đổi wavelet để khử tín hiệu điện
17
não bất thường sinh ra do nháy mắt một cách tự động và theo thời gian thực. Chương
3 trình bày một số cách tiếp cận và đề xuất các mô hình phân loại dựa trên học máy
như máy vec-tơ hỗ trợ, mạng nơ-ron nhân tạo, mạng học sâu. Chương 4 trình bày
cách tiếp cận sử dụng học cộng đồng xếp ngăn để tăng cường khả năng phân loại
của các phương án dựa trên học máy đã được đề xuất trong ứng dụng BCI phục vụ
điều khiển thiết bị điện tử gia dụng thông minh. Phần kết luận đưa ra đánh giá tổng
quát về các kết quả nghiên cứu trình bày trong luận án, các đóng góp chính của luận
án và gợi ý một số hướng nghiên cứu để phát triển các nội dung đã được thảo luận
trong luận án.
18
CHƯƠNG 1. TỔNG QUAN VỀ TÍN HIỆU ĐIỆN NÃO VÀ XỬ LÝ, PHÂN
TÍCH TÍN HIỆU ĐIỆN NÃO
1. Giới thiệu
Bộ não, trung tâm điều khiển của hệ thần kinh trung ương, đóng vai trò rất
quan trọng trong việc điều phối các hoạt động của các cơ quan khác và sản sinh ra ý
thức [5]. Não bộ (Hình 1) có khoảng 100 tỉ tế bào thần kinh và là một trong những
bộ phận sinh học phức tạp nhất trong trong cơ thể con người [6]. Tìm hiểu về cấu
trúc của não bộ cũng như cách thức não bộ truyền nhận thông tin là một lĩnh vực
chứa nhiều tiềm năng đem tới những phát kiến khoa học lớn. Để thực hiện được việc
đó, một trong những việc đầu tiên và quan trọng nhất là phải thu nhận được những
tín hiệu/thông tin do não bộ sản sinh. Một số phương pháp khác nhau ghi lại hoạt
động của não (Hình 2), đó là:
- Điện não đồ (Electroencephalography - EEG),
- Chụp quang phổ cận hồng ngoại chức năng (Functional Near-Infrared
Spectroscopy - fNIRS),
- Điện não xâm lấn (Electro-corticography - ECoG),
- Chụp cắt lớp (Computed Topography - CT)
- Từ não đồ (Magnetoencephalography - MEG),
- Chụp cắt lớp phát xạ positron (Positron emission tomography - PET)
- Chụp cộng hưởng từ chức năng (functional magnetic resonance imaging fMRI).
Hình 1. Cấu trúc não bộ [64]
19
- Xem thêm -