Tài liệu Nghiên cứu và xây dựng hệ cơ sở dữ liệu đám mây riêng cho tập đoàn bưu chính viễn thông việt nam vnpt

HỌC VIỆN CÔNG NGHỆ BƢU CHÍNH VIỄN THÔNG --------------------------------------- NGUYỄN THÀNH CHÍ LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI - 2019 HỌC VIỆN CÔNG NGHỆ BƢU CHÍNH VIỄN THÔNG --------------------------------------- NGUYỄN THÀNH CHÍ NGHIÊN CỨU VÀ XÂY DỰNG HỆ CƠ SỞ DỮ LIỆU ĐÁM MÂY RIÊNG CHO TẬP ĐOÀN BƢU CHÍNH VIỄN THÔNG VIỆT NAM VNPT CHUYÊN NGÀNH : KHOA HỌC MÁY TÍNH MÃ SỐ : 8.48.01.01 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS. NGUYỄN QUANG HOAN HÀ NỘI – 2019 i LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả nêu trong luận văn là trung thực và chƣa từng đƣợc ai công bố trong bất kỳ công trình nào khác. TÁC GIẢ LUẬN VĂN Nguyễn Thành Chí ii MỤC LỤC LỜI CAM ĐOAN ........................................................................................................i MỤC LỤC .................................................................................................................. ii DANH MỤC CÁC THUẬT NGỮ VIẾT TẮT ..........................................................iv DANH MỤC CÁC BẢNG BIỂU ..............................................................................vi DANH MỤC CÁC HÌNH VẼ.................................................................................. vii MỞ ĐẦU .....................................................................................................................1 Chƣơng 1 – TỔNG QUAN VỀ HỆ CSDL VÀ ĐTĐM ..............................................3 Giới thiệu chƣơng 1 ..................................................................................................3 1.1. Tổng quan về điện toán đám mây, các dịch vụ trên nền điện toán đám mây ....3 1.1.1. Tổng quan về điện toán đám mây .................................................................3 1.1.2. Mô hình dịch vụ trong điện toán đám mây ...................................................5 1.1.3. Các mô hình triển khai điện toán đám mây ..................................................8 1.2 Tổng quan về hệ quản trị cơ sở dữ liệu Oracle .................................................13 1.2.1. Giới thiệu Oracle Database .........................................................................13 1.2.2. Cấu trúc Oracle 12c ....................................................................................13 1.2.3. Các ƣu điểm của Cloud control ..................................................................17 Kết luận chƣơng 1 ...................................................................................................20 Chƣơng 2 – PHÂN TÍCH, ĐÁNH GIÁ HIỆN TRẠNG HỆ THỐNG TẠI TẬP ĐOÀN VNPT ............................................................................................................21 Giới thiệu chƣơng 2 ................................................................................................ 21 2.1. Tình trạng triển khai cơ sở dữ liệu đám mây trên thế giới ..............................21 2.2. Hiện trạng hệ thống tại Tập đoàn VNPT .........................................................23 2.2.1. Mô hình hệ thống ........................................................................................23 2.2.2. Các hệ thống Cơ sở dữ liệu đang đƣợc sử dụng .........................................25 2.3. Phân tích, thiết kế hệ cơ sở dữ liệu điện toán đám mây riêng .........................29 2.3.1. Ƣu điểm ......................................................................................................29 2.3.2. Nhƣợc điểm ................................................................................................ 30 iii 2.3.3. Các phƣơng án cải thiện .............................................................................30 Kết luận chƣơng 2 ...................................................................................................32 Chƣơng 3 – XÂY DỰNG HỆ THỐNG CƠ SỞ DỮ LIỆU ĐÁM MÂY RIÊNG TẠI TẬP ĐOÀN BƢU CHÍNH VIỄN THÔNG ..............................................................33 Giới thiệu chƣơng 3 ................................................................................................ 33 3.1. Giới thiệu .........................................................................................................33 3.1.1. Kiến thức chung về hệ quản trị cơ sở dữ liệu .............................................33 3.1.2. Một số hệ quản trị cơ sở dữ liệu đang đƣợc sử dụng tại Tập đoàn VNPT .35 3.2. Xây dựng hệ thống cơ sở dữ liệu riêng bằng Oracle Cloud Control ...............35 3.2.1. Các thành phần của Oracle Cloud Control .................................................35 3.2.2. Quản trị hệ thống cơ sở dữ liệu sử dụng Oracle Cloud Control .................37 3.2.3. Quy trình xây dựng hệ cơ sở dữ liệu đám mây riêng sử dụng phần mềm Oracle Cloud Control ............................................................................................39 3.3. Thực nghiệm và đánh giá kết quả ....................................................................40 3.3.1. Cài đặt hệ quản trị CSDL và tác tử để quản lý ...........................................40 3.3.2. Kết quả thực hiện tại Tập đoàn VNPT .......................................................52 Kết luận chƣơng 3 ...................................................................................................55 KẾT LUẬN ...............................................................................................................56 TÀI LIỆU THAM KHẢO .........................................................................................57 iv DANH MỤC CÁC THUẬT NGỮ VIẾT TẮT Viết tắt Tiếng Anh Tiếng Việt Agent Tác tử CNTT Công nghệ Thông tin Cloud Đám mây CSDL Cơ sở Dữ liệu DB Database Cơ Sở Dữ Liệu ĐTĐM Cloud computing Điện toán Đám mây IaaS Infrastructure as a service IBM International Business Machines IDC Internet Data Center IEEE Institute of Electrical and Viện kỹ nghệ Điện và Điện tử Electronics Engineers LAN Local Area Network OEM Oracle Enterprise Manager RDBMS Relational Database Management Hệ Quản Trị Cơ Sở Dữ Liệu System Quan Hệ QTCSDL Mạng Cục Bộ Quản trị Cơ sở Dữ liệu v PaaS Platform as a Service SaaS Software as a Service SLA Service Level Agreement SQL Structured Query Language TCP Transmission Control Protocol Giao Thức Điều Khiển Truyền Vận Transmission Control Protocol / Giao Thức Điều Khiển Truyền Internet Protocol Vận / Giao Thức Internet UDP User Datagram Protocol Giao Thức Dữ Liệu Ngƣời Dùng VNPT Vietnam Post and Tập đoàn Bƣu chính Viễn Thông Telecommunication Corporation Việt Nam Virtual Private Network Mạng Riêng Ảo TCP/IP VPN vi DANH MỤC CÁC BẢNG BIỂU Bảng 2. 1: Danh mục các cơ sở dữ liệu tại IDC Nam Thăng Long ..........................25 Bảng 2. 2: Danh mục các cơ sở dữ liệu tại IDC An Đồn ..........................................26 Bảng 2. 3: Danh mục các cơ sở dữ liệu tại IDC Tân Thuận .....................................26 vii DANH MỤC CÁC HÌNH VẼ Hình 1.1: Thành phần điện toán đám mây ..................................................................4 Hình 1.2: Mô hình dịch vụ của điện toán đám mây ....................................................5 Hình 1.3: Phần mềm hoạt động nhƣ dịch vụ ...............................................................6 Hình 1.4: Nền tảng hoạt động nhƣ dịch vụ .................................................................7 Hình 1.5: Hạ tầng hoạt động nhƣ dịch vụ ...................................................................8 Hình 1.6: Mô hình đám mây công cộng......................................................................9 Hình 1.7: Mô hình đám mây riêng ............................................................................10 Hình 1.8: Mô hình đám mây lai ................................................................................ 11 Hình 1.9: Mô hình đám mây cộng đồng ...................................................................12 Hình 1.10: Cấu trúc Oracle 11g ................................................................................14 Hình 1.11: Cấu trúc Oracle 12c .................................................................................15 Hình 1.12: Cấu trúc lƣu trữ Oracle 12c.....................................................................16 Hình 2.2: Mô hình hệ thống tại IDC Nam Thăng Long ............................................24 Hình 2.4: Mô hình hệ thống tại IDC An Đồn............................................................24 Hình 2.6: Mô hình hệ thống tại IDC Tân Thuận .......................................................25 Hình 2.7: Hệ thống theo dõi DB bằng Oracle ...........................................................27 Hình 2.8: SQL Monitor .............................................................................................27 Hình 2.9: Theo dõi thời lƣợng của các câu lệnh .......................................................28 Hình 2.10: Thời điểm bắt đầu / kết thúc câu lệnh .....................................................28 Hình 2.11: Chi tiết câu lệnh SQL ..............................................................................29 Hình 3.1: Các thành phần của Oracle Cloud Control ...............................................36 Hình 3.2: Tải về Oracle Database 12c ......................................................................41 Hình 3.3: Các file đã tải về........................................................................................41 Hình 3.4: Cài đặt trên Windows ................................................................................42 Hình 3.5: Cài đặt và tạo database Oracle ..................................................................42 Hình 3.6: Các bƣớc cài Oracle Database 12c............................................................43 Hình 3.7: Tạo mới một Windows user ......................................................................43 Hình 3.8: Cài đặt plugin ............................................................................................44 viii Hình 3.9: Thiết lập bộ nhớ ........................................................................................44 Hình 3.10: Thiết lập bộ mã hóa .................................................................................45 Hình 3.11: Thiết lập mật khẩu cho ngƣời dùng ........................................................45 Hình 3.12: Triển khai từ EM12C ..............................................................................46 Hình 3.13: Thêm máy mục tiêu thủ thông ................................................................ 46 Hình 3.14: Điền hostname/IP, chọn platform ............................................................47 Hình 3.15: Tạo mới Named Credential .....................................................................47 Hình 3.16: Mở port giữa 2 hệ thống..........................................................................48 Hình 3.17: Deploy Agent ..........................................................................................48 Hình 3.18: Quá trình deploy......................................................................................49 Hình 3.19: Chạy script root.sh ..................................................................................49 Hình 3.20: Add Targets Using Guided Process .........................................................50 Hình 3.21: Nhập tên server vừa deploy agent ...........................................................50 Hình 3.22: EM12 tìm ra các đối tƣợng đang chạy trên server ..................................50 Hình 3.23: Kiểm tra lại thông tin và thêm vào hệ thống ...........................................51 Hình 3.24: Kết quả triển khai tác tử ..........................................................................51 Hình 3.25: Giao diện quản trị các sự cố (Incident Manager) ....................................52 Hình 3.26: Danh sách các cơ sở dữ liệu đƣợc quản lý ..............................................52 Hình 3.27: Quản trị một cơ sở dữ liệu cụ thể ............................................................53 Hình 3.28: Quản lý hiệu năng (Performance) trong thời gian thực ..........................53 Hình 3.29: Cấp phát cơ sở dữ liệu.............................................................................54 Hình 3.30: Tính chi phí trên cơ sở dữ liệu cấp phát ..................................................54 1 MỞ ĐẦU Ngày nay, đối với các công ty, doanh nghiệp, việc quản lý tốt, hiệu quả dữ liệu của riêng công ty cũng nhƣ dữ liệu khách hàng, đối tác là một trong những bài toán đƣợc ƣu tiên hàng đầu và đang không ngừng gây khó khăn cho họ. Để có thể quản lý đƣợc nguồn dữ liệu đó, ban đầu các doanh nghiệp phải đầu tƣ, tính toán rất nhiều loại chi phí nhƣ chi phí cho phần cứng, phần mềm, mạng, chi phí cho quản trị viên, chi phí bảo trì, sửa chữa, Ngoài ra họ còn phải tính toán khả năng mở rộng, nâng cấp thiết bị; phải kiểm soát việc bảo mật dữ liệu cũng nhƣ tính sẵn sàng cao của dữ liệu. Với nỗ lực để giảm thiểu thời gian mà các chuyên gia dữ liệu đáp ứng các yêu cầu của ngƣời dùng với các nhiệm vụ "cơ sở dữ liệu, bản sao, cơ sở dữ liệu, bản sao" liên tục một số tổ chức đang vay mƣợn các khái niệm tự phục vụ từ lĩnh vực điện toán đám mây và chuyển hƣớng tới một mô hình cơ sở dữ liệu là một dịch vụ hoặc DbaaS (database-as-a-service), ở đó những ngƣời dùng có thể chỉ cần "chạy vào đám mây" và lấy một cơ sở dữ liệu khi cần thiết. Đó là một ý tƣởng hấp dẫn đặc biệt với những ngƣời dùng cuối. Những ngƣời phát triển hệ thống và phần mềm thích sự kiểm soát mà họ đã có đƣợc với các khả năng tự phục vụ của DBaaS. Thay vì chờ đợi họ có thể yêu cầu và cung cấp tài nguyên nhanh chóng giữ cho công việc của họ tiếp tục và các ý tƣởng của họ tƣơi mới. Vì những lẽ đó, kết hợp với tình hình thực tế công việc của bản thân, học viên xin chọn đề tài "Nghiên cứu và xây dựng hệ cơ sở dữ liệu đám mây riêng cho tập đoàn Bƣu chính Viễn thông việt nam VNPT" làm đề tài luận văn thạc sĩ của mình. Với đặc trƣng công việc, học viên sẽ nghiên cứu các kiến thức về điện toán đám mây, cơ sở dữ liệu và việc kết hợp cơ sở dữ liệu với điện toán đám mây. Dựa vào kiến thức cá nhân cũng nhƣ đặc thù công việc, học viên sẽ nêu ra các mô hình điện toán đám mây, mô hình cung cấp dịch vụ và đề ra phƣơng án xây 2 dựng hệ cơ sở dữ liệu đám mây riêng. Bên cạnh đó, học viên sẽ tập trung vào việc nghiên cứu, xây dựng hệ thống cơ sở dữ liệu đám mây riêng sử dụng phần mềm của hãng Oracle cho Tập đoàn VNPT, phục vụ trực tiếp cho quá trình công tác. Đề tài nghiên cứu của học viên đƣợc thực hiện tại Tập đoàn VNPT, nơi học viên đang công tác. Về mặt lý luận, học viên sẽ tận dụng các tài liệu hƣớng dẫn sử dụng phần mềm do công ty sản xuất phần mềm cung cấp; vận dụng các kiến thức về hệ thống Công nghệ Thông tin đã học và tích lũy qua tiến trình làm việc; kết hợp với việc trao đổi, thảo luận với giảng viên hƣớng dẫn, chúng ta học, đồng nghiệp và những ngƣời có kiến thức về các vấn đề liên quan. Về mặt thực tiễn, học viên sẽ tiến hành cài đặt phần mềm trên các hệ thống máy tính trong môi trƣờng thử nghiệm dƣới dạng các bài lab, máy ảo; cài đặt các phần mềm trong môi trƣờng thực tế; sẵn sàng đƣa vào sử dụng khi đáp ứng đƣợc yêu cầu và nhiệm vụ; tiến hành quản trị, theo dõi, giám sát, điều khiển, báo cáo trên các hệ thống đã cài đặt và đào tạo, chuyển giao công nghệ. Đây là một đề tài mới, có tính ứng dụng cao, đòi hỏi sự tập trung nghiên cứu cao độ và nền tảng kiến thức vững chắc, cũng nhƣ phƣơng pháp nghiên cứu thích hợp. Dù đã rất cố gắng, song chắc chắn đề tài này vẫn cần nhận đƣợc những lời góp ý của thầy cô. Học viên xin chân thành tiếp thu các ý kiến và trân trọng cảm ơn! 3 Chƣơng 1 – TỔNG QUAN VỀ HỆ CSDL VÀ ĐTĐM Giới thiệu chƣơng 1 Trong chƣơng này, học viên sẽ đề cập ngắn gọn về: Tổng quan về điện toán đám mây, các dịch vụ trên nền điện toán đám mây. Tổng quan về hệ quản trị cơ sở dữ liệu Oracle. + Các thành phần của hệ quản trị cơ sở dữ liệu + Các ƣu điểm của Oracle Cloud Control 1.1. Tổng quan về điện toán đám mây, các dịch vụ trên nền điện toán đám mây 1.1.1. Tổng quan về điện toán đám mây Điện toán đám mây, còn gọi là điện toán máy chủ ảo, là mô hình tính toán sử dụng các công nghệ máy tính và phát triển dựa vào mạng Internet. Thuật ngữ "Điện toán đám mây" ra đời giữa năm 2007 không phải để nói về một trào lƣu mới, mà để khái quát lại các hƣớng phát triển của cơ sở hạ tầng CNTT vốn đã và đang diễn ra từ những năm qua. Quan niệm này có thể đƣợc diễn giải một cách đơn giản: các nguồn tính toán khổng lồ nhƣ các phần cứng (máy chủ ), phần mềm, và các dịch vụ (chƣơng trình ứng dụng), … sẽ nằm tại các máy chủ ảo (đám mây) trên Internet thay vì trong máy tính gia đình và văn phòng (trên mặt đất) để mọi ngƣời kết nối và sử dụng mỗi khi họ cần. Nói cách khác, ở mô hình tính toán này, mọi khả năng liên quan đến công nghệ thông tin đều đƣợc cung cấp dƣới dạng các "dịch vụ", cho phép ngƣời sử dụng truy cập các dịch vụ công nghệ thông tin từ một nhà cung cấp nào đó "trong đám mây" mà không cần phải biết về công nghệ đó, cũng nhƣ không cần quan tâm đến các cơ sở hạ tầng phục vụ công nghệ đó. 4 Theo tổ chức Xã hội máy tính IEEE, “Điện toán đám mây là hình mẫu trong đó thông tin được lưu trữ thường trực tại các máy chủ trên Internet và chỉ được được lưu trữ tạm thời ở các máy khách, bao gồm máy tính cá nhân, trung tâm giải trí, máy tính trong doanh nghiệp, các phương tiện máy tính cầm tay, …". Hình 1.1: Thành phần điện toán đám mây Điện toán đám mây xuất hiện bắt nguồn từ ứng dụng điện toán lƣới trong thập niên 1980, tiếp theo là điện toán theo nhu cầu và phần mềm dịch vụ. 5 1.1.2. Mô hình dịch vụ trong điện toán đám mây Hình 1.2: Mô hình dịch vụ của điện toán đám mây Phần mềm hoạt động nhƣ dịch vụ Phần mềm hoạt động hướng dịch vụ hoặc gọi tắt là Phần mềm dịch vụ, là mô hình triển khai phần mềm, một nhánh của điện toán đám mây, theo đó các nhà cung cấp phần mềm nhƣ là các dịch vụ theo yêu cầu cho khách hàng. Theo định nghĩa của hãng nghiên cứu toàn cầu IDC là: "phần mềm hoạt động trên web, đƣợc quản lý bởi nhà cung cấp và cho phép ngƣời sử dụng truy cập từ xa". 6 Hình 1.3: Phần mềm hoạt động nhƣ dịch vụ Nền tảng hƣớng một dịch vụ Đây cũng là một biến thể của SaaS nhƣng mô hình này là một nhánh của điện toán đám mây (cloud computing), mang đến môi trƣờng phát triển nhƣ một dịch vụ: ngƣời sử dụng xây dựng ứng dụng chạy trên cơ sở hạ tầng của nhà cung cấp và phân phối tới ngƣời sử dụng thông qua máy chủ của nhà cung cấp đó. Ngƣời sử dụng sẽ không hoàn toàn đƣợc tự do vì bị ràng buộc về mă ̣t thiết kế và công nghệ. Một số ví dụ điển hình về PaaS là Force.com của Salesforce.com, Google App Engine, Yahoo Pipes … 7 Hình 1.4: Nền tảng hoạt động nhƣ dịch vụ Hạ tầng hƣớng dịch vụ Infrastructure as a service Là tầng thấp nhất của ĐTĐM, nơi tập hợp các tài sản vật lý nhƣ các phần cứng máy chủ, hệ thống lƣu trữ và các thiết bị mạng, đƣợc chia sẽ và cung cấp dƣới dạng dịch vụ IaaS cho các tổ chức hay doanh nghiệp khác nhau. Cũng giống nhƣ dịch vụ PaaS, ảo hóa là công nghệ đƣợc sử dụng rộng rãi để tạo ra cơ chế chia sẽ và phân phối các nguồn tài nguyên theo yêu cầu. Ví dụ về các dịch vụ IaaS nhƣ IBM BlueHouse, Vmware, Amazon EC2, Microsoft Azure Platform, Sun Parascale Cloud Storage… 8 Hình 1.5: Hạ tầng hoạt động nhƣ dịch vụ 1.1.3. Các mô hình triển khai điện toán đám mây Có 4 mô hình triển khai chính đám mây đó là: Đám mây công cộng, đám mây riêng đám mây lai và đám mây cộng đồng. Đám mây công cộng: Các dịch vụ Cloud đƣợc nhà cung cấp dịch vụ cung cấp cho mọi ngƣời sử dụng rộng rãi. Các dịch vụ đƣợc cung cấp và quản lý bởi một nhà cung cấp dịch vụ và các ứng dụng của ngƣời dùng đều nằm trên hệ thống Cloud. Các tài nguyên trong đám mây sẽ đƣợc cấp phát động, Các dịch vụ đƣợc cung cấp thông qua môi trƣờng internet. Khách hàng sử dụng dịch vụ sẽ đƣợc lợi là chi phí đầu tƣ thấp, giảm thiểu rủi ro do nhà cung cấp dịch vụ đã gánh vác nhiệm vụ quản lý hệ thống, cơ sở hạ tầng, bảo mật ngoài ra đám mây công cộng còn cung cấp khả năng co giãn theo yêu cầu của ngƣời sử dụng. 9 Hình 1.6: Mô hình đám mây công cộng Public Cloud có một trở ngại, đó là vấn đề mất kiểm soát về dữ liệu và vấn đề an toàn dữ liệu. Trong mô hình này mọi dữ liệu đều nằm trên dịch vụ Cloud, do nhà cung cấp dịch vụ Cloud đó bảo vệ và quản lý. Chính điều này khiến cho khách hàng, nhất là các công ty lớn cảm thấy không an toàn đối với những dữ liệu quan trọng của mình khi sử dụng dịch vụ Cloud. Đám mây riêng: Đám mây riêng và các đám mây nội bộ là thuật ngữ đƣợc sử dụng để cập đến điện toán đám mây chạy trên mạng riêng. Trong đó sử dụng thế mạnh của công nghệ ảo hóa để thực hiện việc quản lý các tài nguyên, cơ sở hạ tầng và các dịch vụ trong đám mây riêng đƣợc xây dựng để phục vụ cho một tổ chức (doanh nghiệp) duy nhất. Điều này giúp cho doanh nghiệp có thể chủ động kiểm soát tối đa đối với dữ liệu, bảo mật và chất lƣợng dịch vụ. Doanh nghiệp sở hữu cơ sở hạ tầng và quản lý các ứng dụng đƣợc triển khai trên đó. 10 Hình 1.7: Mô hình đám mây riêng Đám mây riêng có thể đƣợc xây dựng và quản lý bởi chính đội ngũ IT của doanh nghiệp hoặc có thể thuê một nhà cung cấp dịch vụ đảm nhiệm công việc này. Đám mây lai: Ý tƣởng hình thành của đám mây lai đó là việc triển khai đám mây dựa trên ƣu điểm của đám mây riêng và đám mây công cộng. Với đám mây công cộng dễ áp dụng, chi phí thấp nhƣng không an toàn Ngƣợc lại, Private Cloud an toàn hơn nhƣng tốn chi phí và khó áp dụng.