Tài liệu Phân tích thông minh tín hiệu video hỗ trợ cho hệ thống giám sát chăm sóc sức khỏe

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG ---—{–--- HOÀNG LÊ UYÊN THỤC PHÂN TÍCH THÔNG MINH TÍN HIỆU VIDEO HỖ TRỢ CHO HỆ THỐNG GIÁM SÁT CHĂM SÓC SỨC KHỎE LUẬN ÁN TIẾN SĨ KỸ THUẬT Đà Nẵng 2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG ---—{–--HOÀNG LÊ UYÊN THỤC PHÂN TÍCH THÔNG MINH TÍN HIỆU VIDEO HỖ TRỢ CHO HỆ THỐNG GIÁM SÁT CHĂM SÓC SỨC KHỎE Chuyên ngành : KHOA HỌC MÁY TÍNH Mã số : 62 48 01 01 LUẬN ÁN TIẾN SĨ KỸ THUẬT Người hướng dẫn khoa học: GS. TS. Jenq-Neng Hwang PGS. TS. Phạm Văn Tuấn Đà Nẵng 2017 LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu do tôi thực hiện, dưới sự hướng dẫn khoa học của GS. TS. Jenq-Neng Hwang (Khoa Điện, Trường Đại học Washington, Seattle, USA) và PGS. TS. Phạm Văn Tuấn (Phòng Khảo thí và Đảm bảo chất lượng giáo dục, Trường Đại học Bách khoa, Đại học Đà Nẵng). Tôi cam đoan các kết quả nghiên cứu được trình bày trong luận án là trung thực và không sao chép từ bất kỳ luận án nào khác. Một số kết quả nghiên cứu là thành quả tập thể và đã được các đồng tác giả đồng ý cho sử dụng. Mọi trích dẫn đều có ghi nguồn gốc xuất xứ rõ ràng và đầy đủ. Tác giả NCS. Hoàng Lê Uyên Thục LỜI CẢM ƠN Trước tiên, với lòng kính trọng và biết ơn sâu sắc, tôi xin gởi lời tri ân đến thầy giáo hướng dẫn – GS. TS. Jenq-Neng Hwang và PGS. TS. Phạm Văn Tuấn đã tận tình giúp đỡ tôi từ những bước đi đầu tiên đến khi hoàn thành luận án. Với tôi, niềm đam mê nghiên cứu và tấm lòng của người Thầy đối với học trò luôn là nguồn động viên tinh thần vô giá. Trong quá trình học tập và nghiên cứu, thông qua các buổi trao đổi học thuật, bài giảng, bảo vệ chuyên đề, seminar, bảo vệ cấp cơ sở, tôi đã nhận được nhiều kiến thức và góp ý quý báu của PGS. TS. Võ Trung Hùng, PGS. TS. Phan Huy Khánh, TS. Huỳnh Hữu Hưng, TS. Hồ Phước Tiến và PGS. TS. Nguyễn Thanh Bình (Đại học Đà Nẵng), TS. Ngô Văn Sỹ (Trung tâm Nghiên cứu Điện tử-Tin học-Tự động hóa Miền Trung), PGS. TS. Huỳnh Xuân Hiệp (Trường Đại học Cần Thơ), PGS. TS. Lê Mạnh Thạnh (Đại học Huế), BS. Cao Bích Thủy (Trường Đại học Kỹ thuật Y-Dược Đà Nẵng), BS. Nguyễn Hoài Nam (Trường Đại học Y Hà Nội). Xin được bày tỏ lòng biết ơn chân thành đến quý Thầy Cô. Đặc biệt, tôi xin trân trọng cảm ơn phản biện độc lập đã dành thời gian và công sức đọc, nhận xét và đánh giá luận án nhằm giúp cho luận án được bổ sung, chỉnh sửa rõ ràng, đầy đủ và hợp lý hơn. Tôi xin trân trọng cảm ơn Ban Đào tạo - Đại học Đà Nẵng, Phòng Đào tạo Trường Đại học Bách khoa đã tạo mọi điều kiện thuận lợi cho tôi trong thời gian học tập, nghiên cứu và thực hiện luận án. Xin cảm ơn Khoa Công nghệ thông tin đã tạo môi trường học thuật thân thiện và tích cực cho các nghiên cứu sinh. Tôi xin gởi lời cảm ơn chân thành đến Ban Lãnh đạo Khoa Điện tử - Viễn thông và Bộ môn Kỹ thuật Viễn thông đã luôn hỗ trợ và tạo điều kiện tốt nhất cho tôi thực hiện luận án. Xin cảm ơn các Thầy Cô giáo trong Khoa đã luôn bên cạnh động viên và sẵn lòng chia sẻ công việc để tôi có thể tập trung nghiên cứu. Tôi xin ghi nhận và cảm ơn các thành viên Phòng thí nghiệm Information Processing – Đại học Washington đã nhiệt tình hỗ trợ về mặt chuyên môn trong thời gian tôi nghiên cứu tại Phòng. Xin cảm ơn các đồng tác giả đã đồng ý cho tôi sử dụng các kết quả nghiên cứu chung cho luận án. Cảm ơn các em sinh viên Khoa Điện tử - Viễn thông và Chương trình tiên tiến đã nhiệt tình hỗ trợ xây dựng cơ sở dữ liệu và kiểm tra hệ thống. Cuối cùng, tôi xin được gởi lời cảm ơn sâu sắc nhất đến gia đình và bạn thânnhững người đã luôn dành cho tôi tình yêu và niềm tin, để tôi có thể vững tâm trên hành trình đầy thách thức này. NCS. Hoàng Lê Uyên Thục MỤC LỤC —{– LỜI CAM ĐOAN ....................................................................................................... i LỜI CẢM ƠN............................................................................................................ii MỤC LỤC ............................................................................................................... iii DANH MỤC TỪ VIẾT TẮT .................................................................................. vi DANH MỤC THUẬT NGỮ ANH – VIỆT ......................................................... viii DANH MỤC BẢNG BIỂU .....................................................................................xii DANH MỤC HÌNH VẼ ......................................................................................... xiv MỞ ĐẦU .................................................................................................................... 1 1. Đặt vấn đề ........................................................................................................... 1 2. Mục tiêu, đối tượng và phạm vi nghiên cứu ....................................................... 3 3. Phương pháp nghiên cứu .................................................................................... 4 4. Cấu trúc của luận án ........................................................................................... 4 5. Đóng góp chính của luận án ............................................................................... 5 Chương 1. NGHIÊN CỨU TỔNG QUAN ........................................................... 7 1.1. Hệ thống giám sát chăm sóc sức khỏe HMS ................................................... 7 1.1.1. Ứng dụng của hệ thống HMS .................................................................. 8 1.1.2. Cấu trúc của hệ thống HMS .................................................................... 9 1.2. Kỹ thuật cảm biến .......................................................................................... 10 1.2.1. Cấu trúc của nút mạng cảm biến ........................................................... 11 1.2.2. Ứng dụng của kỹ thuật cảm biến ........................................................... 11 1.2.3. Các vấn đề cần quan tâm khi ứng dụng kỹ thuật cảm biến vào hệ thống HMS.................................................................................................................13 1.3. Kỹ thuật IVA.................................................................................................. 14 1.3.1. Cấu trúc hệ thống sử dụng kỹ thuật IVA .............................................. 14 1.3.2. Ứng dụng của kỹ thuật IVA .................................................................. 16 1.3.3. Một số nghiên cứu gần đây về ứng dụng IVA vào hệ thống HMS ....... 17 1.3.4. Các vấn đề cần quan tâm khi ứng dụng IVA vào hệ thống HMS ......... 20 1.4. Quá trình trích đặc trưng trong hệ thống IVA ............................................... 22 1.4.1. Phân vùng đối tượng ............................................................................. 23 1.4.2. Mô tả đặc trưng ..................................................................................... 24 1.4.3. Thảo luận về các bộ mô tả đặc trưng .................................................... 27 1.5. Quá trình nhận dạng hành động trong hệ thống IVA..................................... 28 1.5.1. Nhận dạng tĩnh ...................................................................................... 29 1.5.2. Nhận dạng động .................................................................................... 30 1.5.3. Thảo luận về các phương pháp nhận dạng hành động .......................... 33 1.6. Định hướng vấn đề nghiên cứu ...................................................................... 34 1.6.1. Bài toán xây dựng hệ thống HMS trên nền IVA ................................... 35 1.6.2. Các vấn đề thiết yếu về hệ thống HMS đề xuất .................................... 37 1.7. Kết luận chương 1 .......................................................................................... 40 Chương 2. HỆ THỐNG HMS TRÊN NỀN KỸ THUẬT IVA ......................... 41 2.1. Phân vùng đối tượng theo phương pháp trừ nền GMM ................................. 41 2.2. Mô tả đặc trưng trong hệ thống HMS phát hiện té ngã.................................. 43 2.2.1. Đặc điểm té ngã ..................................................................................... 43 2.2.2. Tính toán vector đặc trưng té ngã.......................................................... 44 2.3. Mô tả đặc trưng trong hệ thống HMS phát hiện dáng đi bất thường ............. 47 2.3.1. Đặc điểm dáng đi................................................................................... 47 2.3.2. Tính toán vector đặc trưng dáng đi ....................................................... 48 Mô tả đặc trưng trong hệ thống HMS phát hiện hành động bất thường .............. 51 2.4.1. Cơ sở xây dựng bộ mô tả đặc trưng hành động 3D GRF ...................... 51 2.4.2. Xác định dữ liệu vào của bộ mô tả đặc trưng hành động 3D GRF ....... 52 2.4.3. Tính toán vector đặc trưng GRF ........................................................... 56 2.4.4. Bộ mô tả đặc trưng 3D GRF cải tiến ..................................................... 60 2.5. Nhận dạng hành động dựa trên mô hình HMM ............................................. 61 2.5.1. Giới thiệu mô hình HMM ..................................................................... 61 2.5.2. Ứng dụng mô hình HMM vào nhận dạng hành động ........................... 63 2.5.3. Mô hình HMM-Kmeans ........................................................................ 65 2.5.4. Mô hình HMM nhận dạng hành động gần tuần hoàn ........................... 67 Kết luận chương 2 ............................................................................................ 69 Chương 3. GIÁM SÁT TÉ NGà ........................................................................ 70 3.1. Giới thiệu các cơ sở dữ liệu và tiêu chí đánh giá hệ thống ............................ 70 3.1.1. Cơ sở dữ liệu té ngã HBU ..................................................................... 70 3.1.2. Cơ sở dữ liệu dáng đi bệnh lý bất thường ............................................. 71 3.1.3. Cơ sở dữ liệu té ngã Le2i ...................................................................... 73 3.1.4. Tiêu chí đánh giá hệ thống .................................................................... 75 3.2. Kiểm tra, đánh giá hệ thống phát hiện té ngã ................................................ 76 3.2.1. Sự phân chia dữ liệu .............................................................................. 76 3.2.2. Quá trình thí nghiệm và kết quả kiểm tra hệ thống phát hiện té ngã .... 76 3.2.3. Kết quả thí nghiệm kiểm tra hệ thống phát hiện té ngã......................... 78 3.2.4. Đánh giá hệ thống phát hiện té ngã ....................................................... 79 3.3. Triển khai hệ thống phát hiện té ngã thực tế .................................................. 81 3.3.1. Kiến trúc hệ thống phát hiện té ngã thực tế........................................... 81 3.3.2. Kiểm tra, đánh giá hệ thống với cơ sở dữ liệu Le2i .............................. 83 3.3.3. Kiểm tra, đánh giá hệ thống với tình huống té ngã thực tế ................... 85 3.4. Kiểm tra, đánh giá hệ thống dự đoán nguy cơ té ngã do dáng đi bất thường 87 3.4.1. Kiểm tra, đánh giá hệ thống phát hiện dáng đi bệnh Parkinson ............ 87 3.4.2. Kiểm tra, đánh giá hệ thống phát hiện dáng đi bệnh lý ......................... 88 3.5. Kết luận chương 3 .......................................................................................... 91 Chương 4. PHÁT HIỆN HÀNH ĐỘNG BẤT THƯỜNG ................................ 93 4.1. Giới thiệu các cơ sở dữ liệu và tiêu chí đánh giá hệ thống ............................ 93 4.1.1. Cơ sở dữ liệu HumanEVA .................................................................... 93 4.1.2. Cơ sở dữ liệu ước lượng tư thế 3D ........................................................ 95 4.1.3. Cơ sở dữ liệu IXMAS ........................................................................... 95 4.1.4. Tiêu chí đánh giá hệ thống .................................................................... 96 4.2. Đánh giá bộ mô tả đặc trưng 3D GRF ........................................................... 97 4.2.1. Thí nghiệm về bộ mô tả đặc trưng 3D GRF .......................................... 97 4.2.2. Kết quả thí nghiệm về bộ mô tả đặc trưng 3D GRF ............................. 98 4.2.3. Nhận xét bộ mô tả đặc trưng 3D GRF ................................................ 100 4.3. Các yếu tố ảnh hưởng đến hiệu quả nhận dạng của mô hình HMM ............ 102 4.3.1. Ảnh hưởng của các tham số mô hình HMM ....................................... 103 4.3.2. Ảnh hưởng của số lượng người tham gia huấn luyện mô hình HMM 106 4.4. Nhận dạng hành động gần tuần hoàn dùng mô hình CHMM ...................... 109 4.4.1. Xây dựng cơ sở dữ liệu hành động gần tuần hoàn .............................. 109 4.4.2. Kết quả thí nghiệm .............................................................................. 110 4.5. Kiểm tra, đánh giá hệ thống phát hiện hành động bất thường ..................... 110 4.5.1. Kiểm tra, đánh giá khối nhận dạng hành động .................................... 112 4.5.2. Kiểm tra, đánh giá khối phát hiện hành động bất thường ................... 114 4.6. Kết luận chương 4 ........................................................................................ 116 KẾT LUẬN ............................................................................................................ 118 1. Các kết quả của luận án .................................................................................. 118 2. Đánh giá kết quả ............................................................................................. 118 3. Hướng phát triển ............................................................................................. 119 DANH MỤC CÔNG TRÌNH KHOA HỌC ........................................................ 121 TÀI LIỆU THAM KHẢO .................................................................................... 122 PHỤ LỤC............................................................................................................... 133 DANH MỤC TỪ VIẾT TẮT Từ viết tắt Nghĩa chữ viết tắt Dịch nghĩa tiếng Việt Acc Accuracy Độ chính xác ADL Activities of Daily Living Hoạt động hàng ngày AMI Accumulated Motion Image Ảnh chuyển động tích lũy BMI Body Mass Index Chỉ số khối lượng cơ thể BSN Body Sensor Netword Mạng cảm biến cơ thể người CHMM Cyclic HMM HMM tuần hoàn D Dimension Hướng (chiều) DFT Discrete Fourier Transform Phép biến đổi Fourier rời rạc DTW Dynamic Time Warping Làm lệch thời gian động GMM Gaussian Mixture Model Mô hình hợp Gauss GRF Geometric Relational Feature Đặc trưng quan hệ hình học HM Highly Mismatch Ít phù hợp HMM Hidden Markov Model Mô hình Markov ẩn HMS Healthcare Monitoring System Hệ thống giám sát chăm sóc sức khỏe HOG Histogram of Oriented Gradient Histogram của gradient có hướng IIR Infinite duration Impulse Response Đáp ứng xung dài vô hạn INRIA Institut National de Recherche en Informatique et en Automatique Viện Nghiên cứu Tin học và Tự động hóa ITMI Integrated Time Motion Image Ảnh chuyển động theo thời gian tích hợp IVA Intelligent Video Analytics Phân tích thông minh tín hiệu video JHFRAT Johns Hopkins Fall Risk Assessment Tool Công cụ đánh giá nguy cơ té ngã của bệnh viện Johns Hopkins KNN K-Nearest Neighbor K lân cận gần nhất Le2i Laboratoire Electronique, Informatique et Image Phòng thí nghiệm Điện tử, Tin học và Ảnh MCI Mild Cognitive Impairment Suy giảm nhận thức mức độ nhẹ MFS Morse Fall Scale Thang đo nguy cơ té ngã Morse vi MHI Motion History Image Ảnh lịch sử chuyển động MII Motion Intensity Image Ảnh cường độ chuyển động MLP Multi Layer Perceptron Perceptron nhiều lớp MM Medium Match Phù hợp trung bình NWFE Nonparametric Weighted Feature Extraction Đặc trưng được lấy trọng số không có tham số PCA Principal Component Analysis Phân tích thành phần chính Pixel Picture of Element Điểm ảnh RP PRecision Độ tin cậy RC ReCall Tỷ lệ dương tính được phát hiện RGB Red Green Blue Không gian màu Đỏ-Lục-Lam RSTP Real Time Streaming Protocol Thủ tục truyền dòng tín hiệu thời gian thực SAIL Smart AssIsted Living Hệ thống trợ giúp thông minh SMS Short Message Services Dịch vụ tin nhắn STIP Space Time Interest Points Điểm quan tâm không-thời gian SVM Support Vector Machine Máy vector hỗ trợ WHO World Health Organization Tổ chức Y tế thế giới WM Well Match Rất phù hợp vii DANH MỤC THUẬT NGỮ ANH – VIỆT Thuật ngữ tiếng Anh Thuật ngữ tiếng Việt Abnormal gait detection Phát hiện dáng đi bất thường Action recognition Nhận dạng hành động Addition pattern Mẫu dư thừa Angle-related feature Đặc trưng góc Anormal action pattern Mẫu hành động bất thường Axial plane Mặt phẳng ngang Background Nền Background model Mô hình nền Background subtraction Trừ nền Base width Độ rộng bước Body plane Mặt phẳng cơ thể Boolean feature Đặc trưng nhị phân Box Đánh bốc Centroid Trọng tâm Check watch Xem giờ Codebook Bảng mã Codeword Từ mã Commission pattern Mẫu sai khác Confusion matrix Ma trận nhầm lẫn Coronal plane Mặt phẳng đứng Cost function Hàm giá Cross arm Vòng tay Deep learning Học sâu Depth camera Camera 3D (độ sâu) Discrimative model Mô hình phân biệt Distance-related feature Đặc trưng khoảng cách Dynamic recognition Nhận dạng động Eigenvector Vector riêng viii Fall Sự kiện té ngã Fall detection Phát hiện té ngã Feature Đặc trưng Feature descriptor Bộ mô tả đặc trưng Feature extraction Trích đặc trưng Feature vector Vector đặc trưng Flow-based Dựa vào dòng chuyển động Front view Góc quay trực diện Gait analysis Phân tích dáng đi Gait speed Tốc độ đi bộ Generative model Mô hình sinh mẫu Get up Đứng dậy Hyperplane Siêu phẳng Initial probability Phân bố xác suất khởi đầu Jog Chạy chậm Kernel Hàm nhân Key frames Khung trọng yếu Kick Đá Kmeans clustering Phân nhóm Kmeans Left-right model Mô hình trái-phải Manifold Đối tượng đa chiều Margin Ranh giới Marker Vật đánh dấu Mean Giá trị trung bình Median Giá trị trung vị Model-based Dựa trên mô hình Motion field Trường chuyển động Non fall Không té Non invasive Không xâm lấn Non model-based Không dựa trên mô hình Normal vector Vector pháp tuyến ix Notification communication Thông tin cảnh báo Numeric feature Đặc trưng số thực Object segmentation Phân vùng đối tượng Observation matrix Ma trận quan sát Occlusion Sự che khuất Omission pattern Mẫu thiếu vắng Optical flow Dòng chuyển động Outlier Phần tử dữ liệu cá biệt Pathological gait Dáng đi bệnh lý Pick up Nhặt đồ vật Punch Đấm Rank matrix Ma trận hạng Robustness Tính bền vững Sagittal plane Mặt phẳng dọc Scratch head Gãi đầu Sensor Cảm biến Shape-based Dựa vào hình dạng Side view Góc quay bên hông Silhouette Ảnh mặt nạ Sit down Ngồi xuống Spotting Chia đoạn dữ liệu State-space model Mô hình không gian trạng thái Static recognition Nhận dạng tĩnh Step length Độ dài bước Supervised learning Học có giám sát Template matching So khớp mẫu Testing Kiểm tra Testing data Dữ liệu kiểm tra Threshold matching So khớp với mức ngưỡng Throw Ném Training Huấn luyện x Training data Dữ liệu huấn luyện Transition matrix Ma trận chuyển tiếp Turn around Xoay người Unsupervised learning Học không giám sát Vector encoding Mã hóa vector Vector quantization Lượng tử hóa vector View-point Góc quay của camera Video acquisition Thu nhận tín hiệu video Video analysis Phân tích tín hiệu video Walk Đi bộ Wave Vẫy tay xi DANH MỤC BẢNG BIỂU Bảng 2.1. Quan hệ tương đương giữa hành động “té ngã” và bộ mô tả đặc trưng té ngã. ........................................................................................................................44 Bảng 2.2. Quan hệ tương đương giữa hành động “đi bộ” và đặc trưng 3D GRF mô tả hành động “đi bộ”. ................................................................................................52 Bảng 2.3. Biến đổi tương đương dữ liệu HumanEVA và mô hình 13 điểm. ...........54 Bảng 2.4. Tập các đặc trưng hành động 3D GRF. ...................................................56 Bảng 2.5. Mô tả chi tiết đặc trưng 3D GRF. ............................................................57 Bảng 2.6. Tập đặc trưng hành động 3D GRF cải tiến. .............................................61 Bảng 3.1. Ma trận nhầm lẫn của hệ thống phát hiện té ngã (Tập Test1-HBU) ........78 Bảng 3.2. Ma trận nhầm lẫn của hệ thống phát hiện té ngã (Tập Test2-HBU) ........78 Bảng 3.3. Ma trận nhầm lẫn của hệ thống phát hiện té ngã (Tập Test3-HBU) ........78 Bảng 3.4. Hiệu quả nhận dạng của hệ thống phát hiện té ngã trên cơ sở dữ liệu HBU theo các chỉ tiêu RC, PR và Acc .....................................................................79 Bảng 3.5. So sánh hiệu suất nhận dạng của các hệ thống phát hiện té ngã ..............81 Bảng 3.6. Kết quả kiểm tra hệ thống phát hiện té ngã trên tập Home1, Home2 và Lecture trong cơ sở dữ liệu Le2i ...............................................................................83 Bảng 3.7. Ma trận nhầm lẫn của hệ thống phát hiện té ngã thực tế (%) ..................86 Bảng 3.8. Ma trận nhầm lẫn của hệ thống phát hiện dáng đi bệnh Parkinson .........88 Bảng 3.9. Kết quả phát hiện dáng đi bất thường. .....................................................89 Bảng 3.10. Ma trận nhầm lẫn của hệ thống phát hiện dáng đi bệnh lý (%) .............90 Bảng 4.1. Kết quả thí nghiệm 4.2.2a trên cơ sở dữ liệu HumanEVA ......................99 Bảng 4.2. Kết quả thí nghiệm 4.2.2b trên cơ sở dữ liệu HumanEVA ......................99 Bảng 4.3. Kết quả thí nghiệm 4.2.2c trên cơ sở dữ liệu HumanEVA ......................99 Bảng 4.4. Kết quả thí nghiệm 4.2.2d trên cơ sở dữ liệu HumanEVA ....................100 Bảng 4.5. Một phần của ma trận quan sát trước và sau khi xử lý. .........................103 Bảng 4.6. Tỷ lệ nhận dạng hành động (%) với các giá trị M khác nhau. ...............104 xii Bảng 4.7. Tỷ lệ nhận dạng hành động (%) với các giá trị N khác nhau. ................105 Bảng 4.8. Tỷ lệ nhận dạng hành động (%) với các giá trị ε khác nhau. .................105 Bảng 4.9. Kết quả thí nghiệm 4.3.2a trên cơ sở dữ liệu ước lượng tư thế 3D........106 Bảng 4.10. Kết quả thí nghiệm 4.3.2b trên cơ sở dữ liệu ước lượng tư thế 3D .....107 Bảng 4.11. Kết quả thí nghiệm 4.3.2c trên cơ sở dữ liệu ước lượng tư thế 3D......107 Bảng 4.12. Kết quả thí nghiệm 4.3.2d trên cơ sở dữ liệu ước lượng tư thế 3D .....107 Bảng 4.13. Kết quả thí nghiệm 4.3.2e trên cơ sở dữ liệu ước lượng tư thế 3D......108 Bảng 4.14. Tỷ lệ nhận dạng hành động (%) của hệ thống dùng CHMM. ..............110 Bảng 4.15. Kết quả nhận dạng hành động (%) trong cơ sở dữ liệu IXMAS. .........113 Bảng 4.16. So sánh các hệ thống nhận dạng hành động. .......................................114 Bảng 4.17. Kết quả (%) phát hiện mẫu “thiếu vắng hành động đi bộ”. .................115 Bảng 4.18. Kết quả (%) phát hiện mẫu “dư thừa hành động bạo lực”. ..................116 xiii DANH MỤC HÌNH VẼ Hình 1.1. Sơ đồ cấu trúc của hệ thống HMS điển hình..............................................9 Hình 1.2. Sơ đồ cấu trúc của nút mạng cảm biến điển hình.....................................11 Hình 1.3. Một số ứng dụng tiêu biểu của kỹ thuật cảm biến và kỹ thuật IVA.........12 Hình 1.4. Sơ đồ cấu trúc hệ thống sử dụng kỹ thuật IVA điển hình ........................15 Hình 1.5. Ví dụ về ảnh gốc và ảnh mặt nạ của đối tượng. .......................................23 Hình 1.6. Các ví dụ về ảnh gốc, ảnh MHI và MII tương ứng [29] ..........................25 Hình 1.7. Các ví dụ về trường vector dòng chuyển động [7]. ..................................26 Hình 1.8. Đặc trưng nhị phân mô tả quan hệ giữa các điểm trên cơ thể [93] ..........27 Hình 1.9. Ví dụ về so khớp hai chuỗi vector tốc độ khác nhau dùng DTW [6].......31 Hình 2.1. Ví dụ một mô hình GMM có ba thành phần Gauss. ................................42 Hình 2.2. Kết quả phân đoạn đối tượng con người dùng phương pháp trừ nền dựa trên mô hình GMM cải tiến ......................................................................................43 Hình 2.3. Hình ellipse bao quanh đối tượng và các thông số đặc trưng [95]. ..........45 Hình 2.4. Ảnh MHI đi bộ và té ngã..........................................................................47 Hình 2.5. Độ dài bước và độ rộng bước. ..................................................................47 Hình 2.6. Ảnh mặt nạ trích từ các khung video dáng đi bình thường và Parkinson. ..................................................................................................................................49 Hình 2.7. Cấu trúc tổng quát hệ thống phát hiện hành động bất thường. ................51 Hình 2.8. Mô hình cơ thể [66]. .................................................................................53 Hình 2.9. Các đặc trưng 2D trích từ ảnh gốc [65]. ...................................................55 Hình 2.10. Kết quả bám đuổi 2D [65]. .....................................................................55 Hình 2.11. Kết quả mô hình hóa 3D cho cơ sở dữ liệu HumanEVA II [65]............55 Hình 2.12. Các mặt phẳng cơ thể theo giải phẫu học [17]. ......................................57 Hình 2.13. Khoảng cách có dấu - d - giữa điểm p4 và mặt phẳng {p1, p2, p3}. ........58 Hình 2.14. Một số loại HMM phổ biến. ...................................................................62 Hình 2.15. Ví dụ HMM trái-phải biểu diễn hành động “đánh bốc”.........................64 xiv Hình 2.16. Nguyên lý nhận dạng maximum likelihood. ..........................................64 Hình 2.17. Cấu trúc khối nhận dạng hành động dùng mô hình HMM rời rạc. ........65 Hình 2.18. Ảnh hưởng của phần tử cá biệt (do nhiễu) lên thuật toán Kmeans ........67 Hình 2.19. Các tư thế con người trong một chu kỳ “đi bộ”. ....................................67 Hình 2.20. Khoảng cách giữa hai chân trong khi “đi bộ” [96]. ...............................68 Hình 2.21. Mô hình CHMM 5 trạng thái. ................................................................69 Hình 3.1. Các hướng té ngã khác nhau trong cơ sở dữ liệu HBU [3]. .....................71 Hình 3.2. Một số khung video trong cơ sở dữ liệu HBU [3]. ..................................72 Hình 3.3. Một số khung video hình ảnh các loại dáng đi trong cơ sở dữ liệu dáng đi bệnh lý.......................................................................................................................73 Hình 3.4. Các khung video trong cơ sở dữ liệu Le2i [23]........................................74 Hình 3.5. Ma trận nhầm lẫn. ....................................................................................75 Hình 3.6. Quy trình thí nghiệm đánh giá hệ thống...................................................77 Hình 3.7. Sự giống nhau giữa đặc trưng mô tả hành động “ngồi” và “té ngã” theo hướng trực diện (đường xanh nét liền: ngồi, đường đỏ nét đứt: té ngã). ..................80 Hình 3.8. Kiến trúc cơ bản của hệ thống phát hiện té ngã thực tế. ..........................81 Hình 3.9. Ảnh chụp hệ thống thực nghiệm. .............................................................85 Hình 3.10. Một số khung video trong thực tế. .........................................................86 Hình 4.1. Các khung video trong cơ sở dữ liệu HumanEVA [123]. ........................94 Hình 4.2. Các khung video trong cơ sở dữ liệu ước lượng tư thế 3D [65]. .............96 Hình 4.3. Các khung video trong cơ sở dữ liệu IXMAS [59]. .................................97 Hình 4.4. Khung video, tọa độ 3D và vector đặc trưng 3D GRF tương ứng. ........101 Hình 4.5. Đồ thị cột về tỷ lệ nhận dạng trong các trường hợp huấn luyện khác nhau. ................................................................................................................................108 xv 1 MỞ ĐẦU 1. Đặt vấn đề Già hóa dân số là một trong các xu hướng đang diễn ra mạnh mẽ trên tất cả các khu vực và quốc gia trên thế giới [4], [134]. Bằng chứng cho điều này là tỷ lệ người cao tuổi (trên 60 tuổi) đã tăng từ 9.2% trong năm 1990 lên 11.7% trong năm 2013 và sẽ đạt 21,1 % vào năm 2050. Trên toàn cầu, số lượng người cao tuổi dự kiến sẽ tăng hơn gấp đôi, tức là từ 841 triệu người vào năm 2013 lên hơn 2 tỷ người vào năm 2050, trong đó số lượng người trên 80 tuổi ước tính đạt 392 triệu, tăng gấp 3 lần so với hiện tại [134]. Ở nước ta, cơ cấu độ tuổi dân số cũng có những chuyển biến đi theo xu hướng chung trên toàn cầu [2], [133]. Theo Quỹ Dân số Liên hợp quốc UNFPA [133], Việt Nam là một trong những quốc gia có tốc độ già hóa nhanh nhất thế giới với dự báo đến năm 2049 thì tỷ lệ người cao tuổi ở Việt Nam sẽ chiếm đến 26.10% tổng dân số, cao hơn nhiều so với tỷ lệ người cao tuổi trung bình trên toàn cầu. Chúng ta không thể phủ nhận già hóa dân số là một trong những thành tựu vĩ đại nhất của loài người, nhờ sự tiến bộ về y học, chăm sóc sức khỏe, giáo dục và đời sống kinh tế. Nhưng khuynh hướng già hóa dân số tạo nên những thách thức lớn cho cá nhân, gia đình, xã hội và cộng đồng trên toàn cầu [4]. Một trong các thách thức đó là số lượng các căn bệnh liên quan đến tuổi tác xuất hiện ngày càng nhiều, trong đó chủ yếu là các bệnh không lây nhiễm như mất trí nhớ, thoái hóa khớp, huyết áp, đái tháo đường, chấn thương do té ngã, v.v. và phải điều trị suốt đời. Xét về chi phí chăm sóc sức khỏe, thống kê cho thấy chi phí trung bình cho người cao tuổi cao gấp 7-8 lần chi phí trung bình cho trẻ em [2]. Để giảm chi phí chăm sóc sức khỏe và tăng khả năng điều trị bệnh thành công, yêu cầu cấp bách đặt ra là cần phải tìm các biện pháp phát hiện sớm các chứng bệnh nói trên nhằm can thiệp y khoa kịp thời. Ngoài ra, phát hiện bệnh sớm còn góp phần đáng kể vào giảm tải công việc cho nhân viên y tế, đặc biệt là nhân viên y tế chuyên ngành lão khoa, vốn đang bị khủng hoảng thiếu nghiêm trọng [1]. Điều này đã thúc đẩy nhiều nhà khoa học tập trung vào một hướng nghiên cứu mới đầy triển vọng: thiết kế, triển khai và ứng dụng các hệ thống giám sát chăm sóc 2 sức khỏe HMS (Healthcare Monitoring System) [42], [108]. Cùng với các giải pháp kỹ thuật khác ứng dụng trong hệ thống HMS chẳng hạn như kỹ thuật cảm biến [45], [74], [148] thì kỹ thuật phân tích thông minh tín hiệu video IVA (Intelligent Video Analytics) [84], [94], [143] đang nhận được rất nhiều sự quan tâm nghiên cứu trên toàn thế giới. Kỹ thuật IVA dựa vào phân tích tín hiệu video ghi lại các hoạt động hàng ngày của người cao tuổi cần giám sát, để nhận dạng các hành động của họ, phát hiện các hành động bất thường và kịp thời đưa ra cảnh báo nếu có [28], [39], [72]. Thực tế cho thấy kỹ thuật IVA đã tỏ ra có nhiều ưu điểm nổi trội và đã đạt được nhiều thành tựu đáng khích lệ. Tuy nhiên, để ứng dụng thành công kỹ thuật IVA vào hệ thống HMS, cần giải quyết những khó khăn về kỹ thuật như sau: - Vấn đề góc quay là thách thức lớn nhất cho bài toán nhận dạng hành động con người sử dụng kỹ thuật IVA [7], [65]. Thực tế thì camera thường đặt ở một vị trí cố định trong khi con người di chuyển tùy ý, vì thế yêu cầu đặt ra là dù ở các góc quay khác nhau thì hiệu quả nhận dạng vẫn phải không bị ảnh hưởng. - Hầu hết các hệ thống sử dụng kỹ thuật IVA đều thực hiện bước xử lý đầu tiên là phân vùng đối tượng con người dựa vào phương pháp trừ nền [33], [127], [141]. Phương pháp trừ nền yêu cầu một mô hình nền tin cậy và phải được cập nhật sao cho thích nghi với cảnh nền động phức tạp, hay thay đổi cũng như điều kiện chiếu sáng trong phòng không đồng nhất. Hơn nữa, cần giải quyết vấn đề bóng đổ do sự chiếu sáng của các nguồn sáng nhân tạo trong phòng tạo ra làm ảnh hưởng đến hình dạng của đối tượng được phân đoạn, dẫn đến kết quả nhận dạng sai [27]. Cuối cùng, vấn đề che khuất giữa các bộ phận cơ thể hay che khuất giữa người và đồ đạc cũng cần giải quyết để đối tượng được phân đoạn chính xác [65]. - Cuối cùng, cần phải nghiên cứu để có thể mô tả hành động sao cho ít bị ảnh hưởng nhất bởi vẻ bên ngoài của con người và vẻ bên ngoài của hành động [68], [93] Vẻ bên ngoài của con người phụ thuộc vào các yếu tố như: bề mặt bước đi, quần áo, giày dép, v.v. Vẻ bề ngoài của hành động cũng thay đổi đa dạng, phụ thuộc vào người thực hiện, thời gian thực hiện, cách thức thực hiện, v.v. Tất cả những điều này đều làm ảnh hưởng đến kết quả nhận dạng. Xuất phát từ bối cảnh trên, đề tài “Phân tích thông minh tín hiệu video hỗ trợ cho hệ thống giám sát chăm sóc sức khỏe” được chọn làm nội dung của luận 3 án với mong muốn góp phần vào lĩnh vực nghiên cứu về kỹ thuật IVA nói chung và ứng dụng IVA vào hệ thống giám sát chăm sóc sức khỏe người cao tuổi nói riêng. 2. Mục tiêu, đối tượng và phạm vi nghiên cứu Luận án được thực hiện nhằm nghiên cứu giải quyết một phần các thách thức kỹ thuật nêu trên, sao cho hệ thống sử dụng kỹ thuật IVA trở nên phù hợp với ứng dụng hỗ trợ chăm sóc sức khỏe cho người cao tuổi. Cụ thể là luận án nhằm hướng đến hai ứng dụng chính như sau: - Thứ nhất là giám sát té ngã, bao gồm hai kịch bản ứng dụng là: (1) phát hiện, cảnh báo té ngã và (2) dự đoán nguy cơ té ngã. Ở đây nguy cơ té ngã được xét là do yếu tố dáng đi bất thường (do bệnh lý xương khớp hoặc tâm thần kinh) gây ra. - Thứ hai là phát hiện các hành động bất thường để hỗ trợ cho dự đoán chứng suy giảm nhận thức nhẹ. Dựa vào mục tiêu nghiên cứu nói trên, luận án tập trung vào hai đối tượng nghiên cứu chính là: - Thứ nhất, các khối xử lý tín hiệu trong hệ thống sử dụng kỹ thuật IVA. - Thứ hai, các ứng dụng của kỹ thuật IVA vào hỗ trợ hệ thống HMS hướng đến phục vụ đối tượng người cao tuổi, gồm phát hiện té ngã, phát hiện dáng đi bất thường và phát hiện hành động bất thường. Xác định mục tiêu và đối tượng nghiên cứu như trên, luận án tập trung vào thực hiện các nhiệm vụ chính như sau: - Thứ nhất, nghiên cứu tổng quan kỹ thuật IVA hỗ trợ cho hệ thống HMS, hướng đến đối tượng người cao tuổi. - Thứ hai, xây dựng các hệ thống HMS trên nền kỹ thuật IVA sao cho phù hợp với ứng dụng hỗ trợ hệ thống HMS. - Thứ ba, nghiên cứu ứng dụng hệ thống xây dựng được vào việc phát hiện các bất thường về sức khỏe người cao tuổi mà ta có thể quan sát bằng mắt gồm tai nạn té ngã, dáng đi bất thường, hành động bất thường. Tất cả các vấn đề nghiên cứu nêu trên đều được giải quyết trong phạm vi các ràng buộc cụ thể như sau: