Tài liệu Mô phỏng quá trình ghi nhớ của hệ thống nơron sinh học [tt]

Nông Thị Hoa MÔ PHỎNG QUÁ TRÌNH GHI NHỚ CỦA H TH Ơ O S C Chuyên ngành: Khoa học máy tính Mã số: 62.48.01.01 TÓM TẮT LUẬN ÁN TIẾ SĨ Hà Nội –2014 THÔNG TIN Công trình được hoàn thành tại: Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội. Người hướng dẫn khoa học: PGS.TS. Bùi Thế Duy Phản biện 1: Phản biện 2: Phản biện 3 Luận án tiến sĩ sẽ được bảo vệ trước hội đồng cấp Đại học Quốc gia chấm luận án tiến sĩ họp tại………………………………………………………… Vào hồi giờ ngày tháng năm Có thể tìm hiểu luận án tại: -Thư viện Quốc gia Việt Nam -Trung tâm Thông tin – Thư viện, Đại học Quốc gia Hà Nội MỞ ĐẦU 1. Tính cấp thiết của luận án Con người được xem là động vật cao cấp nhất nhờ vào khả năng hoạt động đặc biệt của bộ não. Não người phát triển mạnh mẽ và hoàn thiện cho các chức năng như tự điều khiển, lập kế hoạch, lập luận, và suy nghĩ trừu tượng. Các mô hình mô phỏng hoạt động của não người được phát triển để tạo ra các phần mềm máy tính ngày càng thông minh và xử lý thông tin nhanh hơn. Mạng nơ-ron nhân tạo (ANN) là mô hình toán học mô phỏng hiệu quả hoạt động của các nơ-ron sinh học. Trong đó, Bộ nhớ liên kết hai chiều (BAM), Bộ nhớ liên kết mờ (FAM), và Lý thuyết cộng hưởng thích nghi mờ (Fuzzy ART) là ba mạng nơ-ron điển hình mô phỏng quá trình ghi nhớ thông tin. Quá trình học của ba mô hình này chưa tối ưu do hai nguyên nhân: (i) việc gắn trọng số cho các mẫu trong tập huấn luyện còn chưa hợp lý và (ii) luật học lưu trữ chưa triệt để các thông tin học được từ dữ liệu huấn luyện. Hơn nữa, kết quả của quá trình học có ảnh hưởng lớn đến quá trình nhớ lại các mẫu đã lưu. Vì vậy, việc nâng cao chất lượng của quá trình học là hết sức cần thiết để đáp ứng được các yêu cầu ngày càng phức tạp của các ứng dụng thực. 2. Các đóng góp của luận án 1. Đề xuất thuật toán học mới cho BAM để cho quá trình huấn luyện diễn ra nhanh hơn và linh động hơn. Đồng thời, thuật toán hỗ trợ việc cải thiện khả năng lưu trữ và nhớ lại các cặp mẫu không trực giao. 2. Cải tiến luật học của FAM để lưu trữ hiệu quả đồng thời cả nội dung và sự liên kết của các cặp mẫu huấn luyện. Việc cải tiến này giúp nâng cao khả năng nhớ lại từ các mẫu vào có dạng nhiễu phức tạp. 3. Đề xuất hai luật học hiệu quả cho Fuzzy ART với hai ưu điểm gồm học mọi mẫu huấn luyện và giảm ảnh hưởng của các mẫu huấn luyện dị thường. Các kết quả của luận án đã được công bố và chấp nhận công bố trong 2 bài báo ở tạp chí ISI quốc tế, 7 báo cáo trong kỷ yếu có phản biện của hội nghị quốc tế được xuất bản bởi IEEE và Springer, và 2 bài báo ở tạp chí trong nước. 3. Bố cục của luận án Ngoài phần mở đầu và kết luận, luận án được tổ chức như sau. 1 Chương 1 trình bày về bài toán mô phỏng quá trình ghi nhớ thông tin của hệ thống nơron sinh học. Đầu tiên, chúng tôi trình bày các hiểu biết cơ bản nhất về não người và nơ-ron sinh học. Sau đó, các kiến thức quan trọng về luật học của ANN được tổng hợp . Chương 2 cung cấp các kiến thức cơ bản để mô tả các mô hình đã nghiên cứu và cải tiến. Đầu chương, các thao tác của logic mờ và toán học hình thái được trình bày. Tiếp theo, các mô hình thuộc hai nhóm Bộ nhớ liên kết (AM) và Lý thuyết cộng hưởng thích nghi (ART) được thể hiện theo thứ tự phát triển các mô hình. Chương 3 đề xuất một thuật toán học mới để BAM học nhanh và linh động hơn. Các thử nghiệm với các nhiệm vụ nhận dạng mẫu cho thấy BAM cải tiến nhớ lại tốt hơn các BAM khác. Chương 4 thể hiện hai luật học hiệu quả mọi mẫu huấn luyện và một thủ tục tìm giá trị tối ưu cho tham số tốc độ học của Fuzzy ART. Các thực nghiệm trên các bộ dữ liệu chuẩn cho thấy Fuzzy ART với luật học cải tiến nhớ lại các cụm tốt hơn các mô hình khác. Chương 5 trình bày một luật học cải tiến cho FAM để lưu trữ hiệu quả đồng thời cả nội dung và sự liên kết giữa các cặp mẫu. Các thử nghiệm với nhiệm vụ nhận dạng các chữ số và các ảnh từ cơ sở dữ liệu ảnh của hãng Corel cho thấy FAM cải tiến nhớ lại tốt hơn các FAM khác. 2 CHƯƠNG 1. BÀI TOÁN MÔ PHỎNG QUÁ TRÌNH GHI NHỚ THÔNG TIN CỦA HỆ THỐNG NƠ-RON SINH HỌC 1.1 Não người và nơ-ron sinh học 1.1.1 Não người Vỏ não của người là một tầng dày chứa các nơ-ron mà bao phủ hầu hết bộ não. Vỏ não được chia thành bốn "thùy". Mỗi thùy có các vùng vỏ não lớn gắn với một chức năng cụ thể như nhìn, điều khiển chuyển động, ngôn ngữ,.... Một số vùng được mở rộng rất mạnh đặc biệt là vùng chứa ngôn ngữ. 1.1.2 Mạng nơ-ron sinh học Một mạng nơ-ron sinh học là một chuỗi các nơ-ron có kết nối bên trong mà sự kích hoạt của các nơ-ron tạo thành sự truyền tín hiệu giữa các nơ-ron. Nếu tổng các tín hiệu vào trên một nơ-ron vượt quá một ngưỡng nhất định thì nơ-ron gửi đi một tiềm năng hoạt động ở phần gò sợi trục và truyền các tín hiệu điện tử này theo các sợi trục đến các nơ-ron khác. 1.2 Nơ-ron nhân tạo và mạng nơ-ron nhân tạo McCulloch và Pitts đã đề xuất một mô hình tính toán cho một nơ-ron sinh học. Nơ-ron nhân tạo tính tổng trọng số của các tín hiệu vào và tạo ra một tín hiệu ra là 1 nếu tổng trọng số cao hơn một ngưỡng nhất định. Ngược lại, tín hiệu ra là 0. Theo toán học, (1.1) với θ() là một hàm đầu ra, wj là trọng số của tín hiệu vào thứ j, hiệu vào. là ngưỡng, và n là số tín Các nơ-ron nhân tạo đã được tổng quát hóa theo các hàm kích hoạt. Hàm sigmoid được sử dụng thường xuyên nhất có dạng: (1.2) với β là tham số lặp Các nơ-ron nhân tạo kết nối với nhau tạo thành các mạng nơ-ron nhân tạo. 1.3 Mô phỏng quá trình ghi nhớ thông tin của các mạng nơ-ron nhân tạo Một ANN có hai quá trình gồm quá trình học và quá trình nhớ lại. Ba lược đồ học của ANN là học có giám sát, học không giám sát, và lai giữa hai lược đồ học giám sát và học không giám sát. 3 Có bốn kiểu luật học gồm: luật lỗi-làm đúng (error-correction), luật của Boltzmann, luật của Hebb, và luật học cạnh tranh. Đối với luật lỗi-làm đúng, mô hình học có giám sát theo nguyên tắc sau: dùng lỗi do sự chênh lệnh giữa tín hiệu ra thực và tín hiệu ra mong đợi để thay đổi trọng số kết nối sao cho giảm dần được lỗi. Luật học Boltman là một quy tắc học tập ngẫu nhiên mà điều chỉnh trọng số kết nối để trạng thái của các nơ-ron đáp ứng một phân phối xác suất mong đợi. Luật học của Hebb được phát biểu: Nếu tế bào thần kinh ở hai khớp thần kinh được kích hoạt đồng thời và liên tục thì sự liên kết của hai khớp thần kinh sẽ được tăng lên. Luật học cạnh tranh chỉ cho phép một nơ-ron được kích hoạt cung cấp tín hiệu ra ở một thời điểm. CHƯƠNG 2. CƠ SỞ LÝ THUYẾT 2.1 Logic mờ 2.1.1 Định nghĩa Cho X là tập khác rỗng. Một tập mờ A trên X được đặc trưng bằng một hàm thuộcviên với µA(x) thể hiện mức độ thành viên của phần tử x vào tập mờ A đối với mọi x X. 2.1.2 Các phép toán với tập mờ Cho A, B là hai tập mờ trên X. Với mọi x X, Phép giao của hai tập A, B được định nghĩa: (2.1) Phép hợp của hai tập A, B được định nghĩa: (2.2) Phép bù một tập mờ A được định nghĩa: (2.3) Phép nối mờ của A, B là một ánh xạ: (2.4) thỏa mãn C(0, 0) = C(0, 1) = C(1, 0) = 0 và C(1, 1) = 1. Một kết nối mờ (2.5) thỏa mãn T(x, 1) = x với x [0,1] được gọi là triangular norm hay t-norm. 4 Một phân tách mờ là một ánh xạ (2.9) thỏa mãn D(0, 0) = 0 và D(0, 1) = D(1, 0) = D(1, 1) = 1. Một phân tách mờ (2.10) thỏa mãn S(1, x) = x với x [0,1] được gọi là triangular co-norm hay short s-norm. Một thao tác (2.14) được gọi là gợi ý mờ nếu I mở rộng suy diễn thông thường [0, 1] x [0, 1] với I(0, 0) = I(0, 1) = I(1, 1) = 1 và I(1, 0) = 0. 2.2 Toán học hình thái 2.2.1 Lưới đầy đủ Lưới đầy đủ là một tập có thứ tự, từng phần L trong đó mỗi tập con có một chặn trên và chặn dưới trong L. Lớp các tập mờ kế thừa cấu trúc lưới đầy đủ của chu kỳ đơn [0, 1]. 2.2.2 Các thao tác cơ bản của hình thái toán học Phép co rút là một ánh xạ thức sau: từ một lưới đầy đủ L đến một lưới đầy đủ M thỏa mãn công (2.18) Phép giãn nở : L M thỏa mãn công thức sau: (2.19) 2.3 Mô hình AM 2.3.1 Khái niệm về AM AM là một cấu trúc nội dung-địa chỉ mà ánh xạ các mẫu dữ liệu vào sang các mẫu dữ liệu ra. Một cấu trúc nội dung-địa chỉ là một dạng bộ nhớ mà cho phép nhớ lại dữ liệu dựa vào mức độ tương tự giữa mẫu dữ liệu vào và các mẫu đã lưu trong bộ nhớ. 2.3.2 Hoạt động của AM AM hoạt động ở hai dạng gồm tự liên kết và liên kết khác loại. Bộ nhớ ở dạng tự liên kết đưa ra một mẫu đã lưu mà giống nhất với mẫu vào hiện tại. Ở dạng liên kết khác loại, 5 mẫu đưa ra khác hoàn toàn mẫu vào về nội dung, kiểu và định dạng nhưng có liên quan với mẫu đưa vào. AM có hai quá trình là học các cặp mẫu và nhớ lại một mẫu đã lưu từ một mẫu vào. 2.3.2 Một số đặc điểm của AM - Các lỗi và nhiễu chỉ gây ra giảm độ chính xác của MẪU RA - Nếu các mẫu vào trực giao thì nhớ lại đúng - Mẫu dữ liệu thường được biểu diễn ở dạng 2 cực. 2.4 Mô hình BAM 2.4.1 Khái niệm về BAM BAM là một dạng ANN điển hình thể hiện cấu trúc bộ nhớ liên kết với khả năng nhớ lại theo cả hai hướng. BAM là ANN có 2 tầng và có các kết nối 2 chiều. Hình 2.3 mô tả cấu trúc tổng quát của mô hình BAM. Hình 2.1: Cấu trúc tổng quát của mô hình BAM 2.4.2 Quá trình học của BAM Quá trình này học và lưu trữ các liên kết giữa các cặp mẫu Đầu tiên, ma trận trọng số Wk lưu cặp mẫu (Ak,Bk ) theo công thức: (2.20) với Ak là véc tơ có m phần tử và Bk là véc tơ có n phần tử. Tổng quát hóa sự liên kết của p cặp mẫu và lưu trong ma trận trọng số W. (2.21) với α là một hằng số. 6 2.4.3 Quá trình nhớ lại của BAM Cho một mẫu vào X, quá trình nhớ lại diễn ra như sau: Đầu tiên, tổng hợp dữ liệu vào của mỗi nơ-ron theo công thức sau: (2.22) với m là số chiều của X, Inputj là tổng trọng số của các dữ liệu vào của nơ-ron j, Xi là thành phần thứ i của mẫu dữ liệu vào X. Sau đó, xác định dữ liệu ra cho nơ-ron bằng cách dùng hàm đầu ra: (2.23) với θj là ngưỡng của nơ-ron j. Lặp lại quá trình trên cho đến khi thu được cặp (Xf,Yf) không thay đổi. Đây là trạng thái BAM hội tụ và Yf chính là mẫu ra của BAM ứng với mẫu vào X. 2.4.4 Hàm năng lượng của BAM Hàm năng lượng E với mỗi trạng thái (A, B) được tính như sau: (2.24) 2.4.5 Chiến lược học nhiều lần dùng số lần lặp tối thiểu để học một cặp mẫu Y.F. Wang và đồng nghiệp thực hiện học nhiều lần các cặp mẫu bằng cách dùng số lần lặp tối thiểu để học một cặp mẫu (MNTP). Khi đó, Wk được tính theo công thức: (2.25) với qk là số dương thể hiện số lần ít nhất dùng (Ak, Bk) cho việc học mà đảm bảo nhớ lại được (Ak, Bk). 2.5 Bộ nhớ liên kết mờ 2.5.1 Giới thiệu chung Cho một tập các liên kết (Ak, Bk), k=1,..,p xác định một ánh xạ G mà G(Ak)=Bk với mọi k=1,..,p. Hơn nữa, ánh xạ G cần có khả năng chịu nhiễu. Quá trình xác định G được gọi là quá trình học và ánh xạ G được gọi là ánh xạ liên kết (nhớ lại các liên kết). Bộ nhớ liên kết mờ là bộ nhớ liên kết mà các mẫu Ak và Bk là các tập mờ với mọi k=1,...,p. 7 2.5.2 Các FAM của Kosko và sự tổng quát hóa Kosko đưa ra hai mô hình FAM đầu tiên gồm max-min FAM và max-product FAM nên ban đầu FAM chưa dùng sai số θ. Sau đó, Chung và Lee tổng quát hóa FAM thành FAM tổng quát. FAM lưu p cặp mẫu. Cho và Mô hình tổng dùng nơ-ron max-C nên có thể dùng một phép nối mờ như CM, CP, CL. Quá trình học thực hiện như sau: ọ (2.33) Cho mẫu vào x, mẫu ra y được nhớ lại từ mẫu vào x được tính bằng: (2.34) 2.6 Mô hình ART 2.6.1 Cấu trúc của ART Cấu trúc chung của mạng ART được thể hiện trong Hình 2.4. Hình 2.2: Cấu trúc của một ART đơn giản Một mạng ART điển hình có hai tầng: tầng dữ liệu vào (F1) và tầng dữ liệu ra (F2). Tính động của mạng được điều khiển bởi hai hệ thống con: hệ thống chú ý và hệ thống định hướng. 2.6.2 Một số mô hình cải tiến từ ART Họ các mô hình được phát triển từ ART để giải quyết tốt hơn các bài toán thực bao gồm ART 1, ART 2, ART 3, ARTMAP, Fuzzy ART, Fuzzy ARTMAP. 8 2.7 Mô hình Fuzzy ART 2.7. 1 So sánh với ART Fuzzy ART được phát triển từ ART 1 để học các lớp nhận dạng ổn định với cả mẫu vào tương tự và mẫu vào nhị phân. 2.7.2 Thuật toán Fuzzy ART Các tham số của mô hình Fuzzy ART: chọn α> 0, tốc độ học β [0, 1], ngưỡng [0, 1]. Bước 1: Khởi tạo véc tơ trọng số. (2.35) Bước 2: Lựa chọn một cụm chiến thắng. Với mỗi dữ liệu vào I và cụm j, hàm chọn Tj được định nghĩa bởi (2.36) Sự chọn cụm được gắn chỉ số bằng j, với (2.39) Bước 3: Kiểm tra trạng thái của mạng là cộng hưởng hay thiết lập lại. Cộng hưởng xuất hiện nếu (2.40) Sau đó việc học sẽ diễn ra. Thiết lập lại xuất hiện nếu (2.41) Sau đó, giá trị của hàm chọn Tj được thiết lập -1 cho các biểu diễn mẫu vào để ngăn sự lựa chọn lại mẫu vào trong quá trình tìm kiếm. Một chỉ số mới j được chọn bởi Công thức (2.39). Quá trình tìm kiếm tiếp tục cho đến khi j được chọn thỏa mãn Công thức (2. 40). Nếu không có cụm đang tồn tại nào thỏa mãn thì một cụm mới j được sinh ra và đặt Bước 4: Học dữ liệu huấn luyện. Véc tơ trọng số của cụm j được cập nhật bởi: (2.42) 9 2.7.3 Fuzzy ART với mã hóa đầy đủ Moore trình bày vấn đề sinh ra cụm mới của ART tương tự khi một số lớn các mẫu vào có véc tơ trọng số bị co rút. Fuzzy ART tránh sinh các cụm nếu các mẫu vào được chuẩn hóa. CHƯƠNG 3. THUẬT TOÁN HỌC MỚI CHO BỘ NHỚ LIÊN KẾT HAI CHIỀU 3.1 Giới thiệu chung BAM là một ANN mà được mở rộng từ các mạng nơ-ron Hopfiled. BAM có thể thực hiện tìm kiếm sự liên kết theo cả hai chiều. BAM có các ưu điểm gồm nhớ lại một mẫu đã lưu từ một dữ liệu vào có chứa nhiễu hoặc không đầy đủ và hội tụ không điều kiện trong chế độ đồng bộ. 3.2 Quá trình học của một số BAM với chiến lược học nhiều lần Mô hình của Y.F Wang, Cruz, và Mulligan Luật học được thể hiện bởi công thức sau: (3.1) với qi thể hiện số lần huấn luyện cặp (Ai, Bi). Để BAM nhớ lại đúng các cặp mẫu đã lưu, qi cần thỏa mãn điều kiện sau: (3.2) với là sự chênh lệch năng lượng lớn nhất giữa cặp mẫu thứ i và các cặp mẫu khác trong vùng A. Tương tự với là sự chênh lệch năng lượng lớn nhất giữa cặp mẫu thứ i và các cặp mẫu khác trong vùng B. Mô hình của T. Wang và Zhuang Luật học của mô hình được thể hiện bởi công thức sau: (3.3) với số gia trọng số ∆Wij được tính bới công thức sau: (3.4) 10 với S(x)=0 nếu x>0 và S(x)=1 nếu x≤0. Quá trình này lặp lại cho đến khi các giá trị của ma trận trọng số W ổn định Mô hình của Zhuang, Huang, và Chen Ban đầu, là bất kỳ. Khi t>0 thì luật học của nơ-ron i ở vùng A được thể hiện bởi công thức sau: (3.7) với j = 1,…, n. Luật học của của nơ-ron j ở vùng B được thể hiện bởi công thức sau: (3.8) với i = 1,…, m. Quá trình này lặp lại cho đến khi các giá trị của ma trận trọng số W ổn định 3.3 Lý do đề xuất thuật toán học mới Từ việc tổng hợp các nghiên cứu về BAM, tác giả nhận thấy mô hình BAM học nhiều lần sẽ phát huy tốt ưu điểm về phục hồi từ mẫu vào nhiễu. Tuy nhiên, cần phải giảm thời gian học các mẫu mà vẫn giữ được khả năng nhớ lại tốt để đáp ứng cho các ứng dụng thực đòi hỏi thời gian phản hồi ngắn đặc biệt khi số lượng mẫu và kích thước của các mẫu tăng lên. Ngoài ra, BAM cần được cải tiến khả năng lưu trữ và nhớ lại các cặp mẫu không trực giao. 3.4 Thuật toán học mới 3.4.1 Phân tích mối quan hệ giữa MNTP và hàm năng lượng Giả sử BAM học p cặp mẫu. Cặp mẫu (Ai, Bi) được trình bày như sau: và từ công thức (2.24) và (2.25). . Mối quan hệ giữa MNTP và hàm năng lượng được thiết lập Sau dãy các biến đổi, thu được W như sau: 11 (3.11) và Ei được tính bằng: (3.13) Công thức (3.13) thể hiện giá trị tuyệt đối của Ei tỷ lệ thuận với mọi qk của p cặp mẫu (với k=1,…p). Nghĩa là, giá trị tuyệt đối của Ei sẽ giảm nhanh khi một số hay mọi qk cùng giảm đồng thời. 3.4.3 Nội dung thuật toán học mới Một số ký hiệu được dùng trong thuật toán: - qi là MNTP của cặp mẫu thứ i - W là ma trận trọng số chung - Ei là năng lượng ứng với trạng thái (Ai, Bi) Quá trình học được thực hiện qua hai bước sau: Bước 1: Khởi tạo giá trị MNTP của mọi cặp mẫu bằng 1 để thu được ma trận trọng số gốc của BAM. Bước 2: Thực hiện lặp các bước sau cho đến khi |Ei| ≅0 với mọi i=1,…,p và |x| là giá trị tuyệt đối của x. Bước 2.1: Tính W theo công thức (2.25) Bước 2.2: Tính Ei theo công thức (2.24) với i=1,…,p. Bước 2.3: Dựa vào giá trị của Ei để cập nhật qi theo hai luật sau: Luật 1: Nếu |Ei| ≅0 thì không thay đổi qi Luật 2: Nếu |Ei| ≅0 chưa thỏa mãn thì giảm qi xuống h lần để |Ei| giảm xuống sao cho |Ei| ≅0 Ưu điểm của thuật toán học mới Ba lý do chính làm cho thuật toán học mới tốt hơn so với các thuật toán học đã công bố gồm: Sự tăng hay giảm trọng số kết nối được thực hiện bằng phép nhân hoặc phép chia; 12 MNTP của mỗi cặp có thể được thay đổi trong mỗi lần lặp của quá trình học; và năng lượng của mỗi trạng thái ứng với mỗi cặp mẫu tiến đến 0. Vì vậy, BAM cải tiến sẽ có hai ưu điểm gồm (i) quá trình học các cặp mẫu thực hiện nhanh và linh hoạt hơn và (ii) có khả năng lưu và nhớ lại các cặp mẫu không trực giao. 3.5 Kết quả thực nghiệm Các thử nghiệm được làm với ứng dụng nhận dạng mẫu. Các BAM được dùng gồm BAM của Y.F.Wang (WBAM), Zhuang (ZBAM), Tao Wang (TBAM) và BAM cải tiến (FFBAM) ở chế độ tự liên kết. Năm ứng dụng nhận dạng mẫu gồm nhận dạng vân tay, chữ viết tay, phương tiện giao thông, biển hiệu giao thông và tiền xu của Mỹ. Kết quả thực nghiệm cho thấy BAM với thuật toán học mới nhớ lại tốt hơn các BAM khác trong chế độ tự liên kết. Bảng 3.1: Tỷ lệ phần trăm nhận dạng đúng các điểm ảnh trong nhận dạng vân tay WBAM ZBAM TBAM FFBAM 83.370 85.906 85.906 88.007 Bảng 3.2: Tỷ lệ phần trăm nhận dạng đúng các điểm ảnh trong nhận dạng chữ viết tay WBAM ZBAM TBAM FFBAM 75.463 72.964 75.681 75.89 Bảng 3.3: Tỷ lệ phần trăm nhận dạng đúng các điểm ảnh trong nhận dạng biển hiệu giao thông WBAM ZBAM 77.98 TBAM FFBAM 28.303 78.303 78.348 Bảng 3.4: Tỷ lệ phần trăm nhận dạng đúng các điểm ảnh trong nhận dạng tiền xu của Mỹ WBAM ZBAM TBAM FFBAM 85.066 45.992 84.896 13 85.109 Bảng 3.5: Tỷ lệ phần trăm nhận dạng đúng các điểm ảnh trong nhận dạng phương tiện giao thông WBAM ZBAM TBAM FFBAM 88.11 18.96 90.076 90.076 CHƯƠNG 4. HAI LUẬT HỌC HIỆU QUẢ CHO LÝ THUYẾT CỘNG HƯỞNG THÍCH NGHI MỜ 4.1 Giới thiệu chung ART là một ANN mà học các mẫu huấn luyện để hình thành véc tơ trọng số của các cụm. Sau đó, sử dụng véc tơ trọng số đã học được để nhớ lại các cụm tương tự với mẫu vào. Ưu điểm quan trọng nhất của ART là học các mẫu huấn luyện để véc tơ trọng số của cụm được chọn chứa các thông tin từ mẫu huấn luyện hiện tại. 4.2 Một số luật học điển hình của ART và Fuzzy ART Các biến được sử dụng: I là dữ liệu vào hiện tại, W là trọng số của các cụm, và β là tham số học nằm trong khoảng [0, 1]. Capenter và đồng nghiệp đưa ra Fuzzy ART gốc với luật học có dạng: (4.1) với là phép AND của logic mờ. Hầu hết các nghiên cứu khác cũng dùng luật học như công thức (4.1). Ngoài ra, các nghiên cứu này cũng thay đổi hàm đầu ra hay học bổ sung thêm quan hệ giữa các cụm. Kenaya và đồng nghiệp đưa ra Euclidean ART để học với luật học như sau: (4.2) với Xjk là mẫu thứ k trong cụm j và L là số các cụm. Yousuf và Murphey dùng luật học cải tiến sau để cập nhật nhiều cụm thỏa mãn điều kiện về ngưỡng. (4.3) với 14 4.3 Lý do đề xuất luật học cải tiến Dựa vào sự tổng hợp các nghiên cứu về ART và Fuzzy ART, tác giả nhận thấy có một hạn chế như sau: Luật học của ART và Fuzzy ART là chưa hiệu quả do không học dữ liệu mới khi bề mặt biểu diễn các mẫu huấn luyện nằm trên bề mặt biểu diễn các véc tơ trọng số của các cụm. Nghĩa là, Fuzzy ART có thể không học một phần lớn tập dữ liệu huấn luyện. Do đó, nhiều thông tin có ích từ các mẫu huấn luyện đó đã không được luuw trong Fuzzy ART. 4.4 Hai Luật học hiệu quả cho Fuzzy ART 4.4.1 Nội dung của hai luật học Sau khi Fuzzy ART chọn được một cụm chiến thắng, việc học mẫu huấn luyện hiện tại diễn ra. Giả sử, cụm chiến thắng là cụm j. Luật học cải tiến thứ nhất Thực hiện cập nhật trọng số cho cụm j theo công thức dưới đây: (4.4) với là tham số học tốc độ học và |y| là giá trị tuyệt đối của y. Sau khi cập nhật có thể điều chỉnh Wij theo luật sau: Do Wij luôn giảm nên khi Wij<0 thì đặt Wij=0. Luật học cải tiến thứ hai Trước tiên, tính sự tăng giá trị bé nhất (MDI) và sự giảm giá trị bé nhất (MDD) của mẫu huấn luyện hiện tại so với trọng số của cụm chiến thắng theo hai công thức sau: (4.5) (4.6) Khi đó, luật học cải tiến thứ hai được trình bày như sau: (4.7) 4.4.2 Thuật toán tìm giá trị tối ưu cho tham số tốc độ học Một tập con ngẫu nhiên được chọn từ tập dữ liệu ban đầu sao cho số mẫu ở mỗi cụm chênh nhau ít nhất. Tập con này được dùng để kiểm tra khả năng phân cụm ứng với mỗi giá trị của tham số tốc độ học. 15 Nội dung thuật toán gồm các bước sau: Bước 1: Khởi tạo tham số tốc độ học dựa vào kích thước của tập dữ liệu để giảm thời gian tìm giá trị của tham số. Sau đó, tính kết quả phân cụm của tập mẫu con. Bước 2: Làm các bước sau: Bước 2.1: Tăng hoặc giảm giá trị của tham tốc độ số học theo các bước nhảy nhỏ như 5% giá trị của tham tốc độ số học hiện tại. Bước 2.2: Tính kết quả phân cụm của tập mẫu con. Bước 2.3: Kiểm tra kết quả phân cụm của tập mẫu con:  Nếu kết quả phân cụm là tăng hoặc giảm thì làm Bước 2.  Nếu kết quả phân cụm là cao nhất, ổn định thì sang Bước 3. Bước 3: Đưa ra giá trị tối ưu của tham số tốc độ học. 4.4.3 Ưu điểm của hai luật học đề xuất Mọi mẫu huấn luyện đều có một mức độ ảnh hưởng giống nhau đến trọng số của cụm được chọn do tham số học lớn hơn 0 và cố định trong suốt quá trình học. Do đó, mọi dữ liệu trong tập huấn luyện được học hiệu quả. Khi học các tập dữ liệu có các mẫu dị thường, do số lượng mẫu dị thường ít trong khi số lượng mẫu chuẩn nhiều và mỗi mẫu lại có mức độ ảnh hưởng giống nhau nên mức độ ảnh hưởng của các mẫu dị thường đến trọng số của các cụm cũng nhỏ. 4.5 Kết quả thực nghiệm Các tập dữ liệu chuẩn từ cơ sở dữ liệu UCI và Shape được dùng trong các thử nghiệm. Các mô hình được thực thi gồm: Fuzzy ART với luật học cải tiến, Fuzzy ART gốc, K-mean, và Euclidean ART. Dữ liệu của các tập dữ liệu được chuẩn hóa về miền [0,1]. Với mỗi tập dữ liệu, các thử nghiệm con được làm với số lượng mẫu tăng dần. Tỷ lệ phần trăm các mẫu được phân cụm đúng được thể hiện trong bảng tương ứng với tập dữ liệu đó. 4.5.1 Thử nghiệm 1: Dùng luật học cải tiến thứ nhất Chín tập dữ liệu chuẩn được chọn gồm Iris (đặc điểm của hoa lan), Wine (chất lượng của rượu vang), Jain (sự co cụm của người dùng mạng), Glass (các dạng mảnh kính vỡ dùng trong điều tra), Blance-Scale (số liệu dùng trong thử nghiệm tâm lý học), Spiral (phổ của các ảnh màu), và các tập điểm tạo thành các hình dạng đặc biệt (Aggregation, Flame, R15). Bảng 4.11 tổng hợp kết quả từ các kiểm tra con của các thử nghiệm. 16 Bảng 4.1: Sự cải thiện khả năng phân cụm của Fuzzy ART với luật học thứ nhất so với mô hình tốt nhất thứ hai Kiểu tập dữ liệu Sự phân bố số mẫu trong các cụm Số mẫu Số cụm Số thuộc tính Mức độ cải thiện (%) 1 Không đều với độ lêch cao 200-400 2&3 2 21-32.6 2 Không đều với độ lêch trung bình 150 3 9 15.3 3 Không đều với độ lêch trung bình 200-214 7 9 12.6-13.5 4 Không đều với độ lêch cao 500 3 2 9.8 5 Không đều với độ lêch cao 788 7 7 4.8 6 Không đều với độ lêch thấp 120-200 2&3 2&4 2.5-5.3 7 Đều với mọi phân cụm 90-201 2 3&4 1.5-5 8 Không đều với độ lêch trung bình 250 3 2 0.8 Dữ liệu của Bảng 4.11 thể hiện rằng Fuzzy ART cải tiến thích hợp cho các tập dữ liệu nhỏ, phức tạp. 4.5.2 Thử nghiệm 2: Dùng luật học cải tiến thứ hai Chúng tôi chọn 7 tập dữ liệu chuẩn từ cơ sở dữ liệu UCI bao gồm MONKS (các bài toán của Monk), BALANCE-SCALE (số liệu dùng trong thử nghiệm tâm lý học), WDBC (dữ liệu chuẩn đoán bệnh ung thư), WINE-RED (chất lượng rượu vang đỏ), WINE-WHITE (chất lượng rượu vang trắng), và và các tập điểm tạo thành các hình dạng đặc biệt (D31, R15). Bảng 4.20 tổng hợp kết quả từ các kiểm tra con của các thử nghiệm. Bảng 4.2: Sự cải thiện khả năng phân cụm của Fuzzy ART với luật học thứ hai so với mô hình tốt nhất thứ hai trong thử nghiệm 2 Kiểu tập dữ liệu Sự phân bố số mẫu trong các cụm Số mẫu Số cụm Số thuộc tính Mức độ cải thiện (%) 1 Không đều với độ lệch cao 600-1200 3,4 11 15.2-30.2 2 Không đều với độ lệch cao 1000-3000 3,4 11 11.1-30.1 3 Không đều với độ lệch cao 300-625 2,3 4 18-20.8 4 Không đều với độ lệch cao 400-569 2 30 15.6-16.3 5 Không đều với độ lệch cao 4000-4898 5,6 11 2.5-5.7 6 Không đều với độ lệch trung bình 400-459 2 7 2.5-2.6 17 7 Đều với mọi phân cụm 500-1500 5,10,15 2 2.3-3.8 8 Đều với mọi phân cụm 2000-3100 20,25,31 2 1.5-2.4 Kết quả của các kiểm tra con của bảy thử nghiệm cho thấy khả năng của phân cụm của Fuzzy ART với luật học thứ hai cải thiện đáng kể đối với các tập dữ liệu nhỏ có độ phức tạp cao. Đặc biệt, kết quả phân cụm là cao khi tậpdữ liệu có chứa nhiều mẫu. CHƯƠNG 5. LUẬT HỌC CẢI TIẾN CHO BỘ NHỚ LIÊN KẾT MỜ 5.1 Giới thiệu chung FAM là AM mà học và nhớ lại với các mẫu được biểu diễn ở dạng tập mờ. FAM có ưu điểm là nhớ lại các mẫu đã lưu từ các mẫu vào nhiễu hay không đầy đủ. 5.2 Một số mô hình FAM chuẩn FAM lưu p cặp mẫu (Ak, Bk) với Ak có m phần tử và Bk có n phần tử. Mô hình của Kosko và Kong Các ma trận trọng số kết nối Wk của cặp mẫu (Ak, Bk) được tính: (5.1) Ma trận trọng số kết nối W lưu tất cả các cặp mẫu được tính: (5.2) Mô hình của Junbo, Fan, và Yan Các ma trận trọng số kết nối Wk của cặp mẫu (Ak, Bk) được tính: (5.4) Ma trận trọng số kết nối W lưu tất cả các cặp mẫu được tính: (5.5) Mô hình của Chung và Lee Các ma trận trọng số kết nối Wk của cặp mẫu (Ak, Bk) được tính: 18