Tài liệu Tìm hiểu mô hình giám sát hệ thống bằng prometheus và grafana

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG CƠ SỞ TẠI THÀNH PHỐ HỒ CHÍ MINH KHOA VIỄN THÔNG II ---------- BÁO CÁO THỰC TẬP TỐT NGHIỆP CHUYÊN NGÀNH: KỸ THUẬT ĐIỆN TƯ-TRUYÊN THÔNG HỆ: ĐẠI HỌC CHÍNH QUY NIÊN KHÓA: 2017-2022 ĐỀ TÀI: TÌM HIỂU MÔ HÌNH GIÁM SÁT HỆ THỐNG BẰNG PROMETHEUS VÀ GRAFANA LỚP: D17CQVT01 Giáo viên hướng dẫẫn: Ths. NGUYỄỄN KHÁNH TOÀN Hồ Chí Minh, tháng 08 năm 2021 HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG CƠ SỞ TẠI THÀNH PHỐ HỒ CHÍ MINH KHOA VIỄN THÔNG II ---------- BÁO CÁO THỰC TẬP TỐT NGHIỆP CHUYÊN NGÀNH: KỸ THUẬT ĐIỆN TƯ-TRUYÊN THÔNG HỆ: ĐẠI HỌC CHÍNH QUY NIÊN KHÓA: 2017-2022 ĐỀ TÀI: GIÁM SÁT HỆ THỐNG BẰNG PROMETHEUS VÀ GRAFANA LỚP: D17CQVT01 Giáo viên hướng dẫẫn: TH.s NGUYỄỄN KHÁNH TOÀN 2 Hồ Chí Minh, tháng 8 năm 2021 Mục Lục LỜI CẢM ƠN.................................................................................................................................................3 CHƯƠNG I : TỔNG QUAN VỀỀ CÔNG TY CỔ PHẦỀN THỀẾ GIỚI DI Đ ỘNG..........................................................4 1. Giới thiệu vềề Công ty Cổ phầền Thềế Giới Di Động..............................................................................4 2. Lịch sử phát triển..............................................................................................................................6 3. Tầềm nhìn, sứ mệnh và giá trị côết lõi.................................................................................................6 3.1. Tầềm nhìn:..................................................................................................................................6 3.2. Sứ mệnh:..................................................................................................................................6 3.3. Gía trị côết lõi:............................................................................................................................6 4. Cơ cầếu tổ chức của công ty (đội ngũ nhần sự)..................................................................................7 5. Những thành tựu đã đạt được.........................................................................................................8 CHƯƠNG II : GIỚI THIỆU TỔNG QUAN VỀỀ HỆ THÔẾNG GIÁM SÁT PROMETHEUS VÀ GRAFANA ....................9 2.1 Tổng quan vềề Prometheus..................................................................................................................9 2.1.1 Prometheus là gì ?...........................................................................................................................9 2.1.2 Một sôế tnh năng của Prometheus..................................................................................................9 2.1.3 Một sôế đặc điểm lưu ý vềề Prometheus............................................................................................9 2.1.4 Kiềến trúc Prometheus ...................................................................................................................10 2.2 Tổng quan vềề Grafana......................................................................................................................11 2.3 Cài đặt Prometheus trền môi trường Linux......................................................................................12 2.4 Cài đặt Grafana trong môi trường linux:..........................................................................................15 CHƯƠNG 3: GIÁM SÁT WINDOWS SERVER VÀ UBUNTU SERVER BẰỀNG PROMETHEUS .............................20 3.1 Giám sát Windows Server băềng Prometheus...................................................................................20 3.2 Giám sát máy Ubuntu Server với Prometheus Node_exporter. .......................................................23 IV. CẦẾU HÌNH PROMETHEUS ALERTMANAGER Đ Ể GỬI CẢNH BÁO QUA EMAIL .........................................27 4.1 Cài đặt Alertmanager........................................................................................................................27 4.2 Cầếu hình Alertmanger gửi cảnh báo qua mail ..................................................................................29 KỀẾT LUẬN....................................................................................................................................................31 3 LỜI CẢM ƠN Qua quá trình thực tập tốt nghiệp tại Ban Quản Trị Server – Công ty cổ phần Thế Giới Di Động, em đã rút ra được nhiều kinh nghiệm thực tế mà khi còn ngồi trên ghế nhà trường em chưa biết được. Em xin gửi lời cảm ơn đến quý thầy cô trong Khoa Viễn thông trường Học viện Công nghệ bưu chính viễn thông cơ sở tại thành phố Hồ Chí Minh. Xin chân thành cảm ơn Thầy Nguyễn Khánh Toàn – giảng viên hướng dẫn thực tập đã hỗ trợ, chỉ dẫn em trong việc giao nhận đề tài cũng như trong quá trình thực tập và viết báo cáo. Bên cạnh đó em xin gửi lời cảm ơn chân thành đến Ban lãnh đạo, các anh, chị tại Ban Quản Trị Server – Công ty cổ phần Thế Giới Di Động đã giúp đỡ và tạo mọi điều kiện thuận lợi giúp em kiện cho em học hỏi, tiếp cận với những trang thiết bị hiện đại và hoàn thành tốt quá trình thực tập. Em cũng xin chân thành cảm ơn sự chỉ bảo nhiệt tình của anh Phạm Đức Hoàng, anh Trương Nguyên Trí – người hướng dẫn trong quá trình thực tập đã giúp em nắm bắt một cách có hệ thống và đầy đủ các kiến thức thực tế mà em không có điều kiện học khi ở trường. Trân trọng cảm ơn ! Sinh viên thực hiện 4 CHƯƠNG I : TỔNG QUAN VỀ CÔNG TY CỔ PHẦN THẾ GIỚI DI ĐỘNG 1. Giới thiệu về Công ty Cổ phần Thế Giới Di Động Thế Giới Di Động tham gia thị trường bán lẻ Laptop từ tháng 12 năm 2006 tại TP.HCM với showroom trưng bày tại 182 Nguyễn Thị Minh Khai Q3, đến nay đã mở rộng thêm các khu vực Hà Nội, Đà Nẵng…. Ngoài ra việc bán hàng qua mạng và giao hàng tận nhà trên phạm vi toàn quốc cũng được triển khai từ đầu năm 2007, hiện nay lượng khách hàng mua hàng Laptop thông qua website www.thegioididong.com và tổng đài 1900.561.292 đã tăng lên đáng kể, trung bình 20 – 30 đơn hàng mỗi ngày. Đây là một kênh bán hàng tiềm năng và là một công cụ hữu hiệu giúp các khách hàng ở những khu vực xa mua được một sản phẩm ưng ý khi không có điều kiện xem trực tiếp sản phẩm. www.thegioididong.com là website thương mại điện tử lớn nhất Việt Nam với số lượng truy cập hơn 500.000 lượt ngày, xếp hạng 25 trong top website tại Việt Nam (theo Alexa) cung cấp thông tin chi tiết về giá cả, tính năng kĩ thuật, … hơn 500 mẫu điện thoại và 100 mẫu Laptop của tất cả các nhãn hiệu chính thức tại Việt Nam. Thế Giới Di Động là đơn vị đi đầu về chất lượng, phong cách phục vụ và đã nhận được nhiều giải thưởng do người tiêu dùng cũng như các đối tác bình chọn trong nhiều năm liền. − Tên đầy đủ: Công ty cổ phần Thế Giới Di Động − Tên tiếng Anh của Công ty: Mobile World JSSC − Mã chứng khoán: MWG − Loại hình hoạt động: Công ty Cổ Phần − Ngày thành lập: tháng 3 năm 2004 − Mã số thuế: 0303217354 − Đại diện pháp luật: Đoàn Văn Hiểu Em − Giám đốc công ty: Trần Kinh Doanh − Logo: Hình tượng con người trong logo chính thức của Công ty cổ phần Thế giới di động được tạo thành bởi các ô vuông nhỏ. Hình ảnh này tượng trưng cho hệ thống rất nhiều các cửa hàng bán lẻ của hãng. Những hình khối tròn trong logo tượng trưng cho mặt trời, quả địa cầu thể hiện cho khát vọng đưa thương hiệu vươn ra toàn cầu 5 Hình 1. 1: Logo của công ty Thế Giới Di Động (Nguồn: https://mwg.vn/cong-ty/gioi-thieu-chung/) − Địa chỉ: 128 Trần Quang Khải, Phường Tân Định, Quận 1, Thành phố Hồ Chí Minh − Văn phòng: Tòa nhà MWG - Lô T2-1.2, Đường D1, Khu Công nghệ Cao, P. Tân Phú, Quận 9 − Website: www.thegioididong.com − Email: [email protected] − Lĩnh vực kinh doanh chính: điện thoại di động, thiết bị số, điện tử tiêu dùng 6 Hình 1. 2: Tòa nhà Thế Giới Di Động - Lô T2-1.2, Đường D1, Khu Công nghệ Cao, P. Tân Phú, Quận 9 (Nguồn: https://vieclam.thegioididong.com/tin-tuc/) 2. Lịch sử phát triển 04/2004, ra quyết định thành lập công ty. 07/2004, website www.thegioididong.com được chính thức ra mắt (các tên miền khác: www.thegioimobi.com, www.thegioimobile.com) 10/2004, tại siêu thị Điện Thoại Di Động - 89A Nguyễn Đình Chiểu siêu thị đầu tiên của hệ thống khai trương với chương trình ra mắt ấn tượng “Đi săn Điện Thoại Di Đông kiểu thổ dân”. 09/2005, khai trương siêu thị thứ 2 của hệ thống, siêu thị ĐTDĐ – 330 Cộng Hoà. Trong năm 2006, khai trương thêm 2 siêu thị mới tại: 26 Phan Đăng Lưu, 182 Nguyễn Thị Minh Khai. Đến nay, các hệ thống siêu thị của công ty không ngừng được mở rộng ra phạm vi toàn quốc, các website luôn được nâng cấp và đầu tư, từng bước gây được tiếng vang trong thị trường Thương mại điện tử Việt Nam. 7 3. Tầm nhìn, sứ mệnh và giá trị cốt lõi 3.1. Tầm nhìn: Với cương vị là một thương hiệu Việt, đang nỗ lực từng ngày để mang đến những sản phẩm, dịch vụ phục vụ tối ưu cho nhu cầu của người Việt, và xa hơn nữa là vươn tầm khu vực, Thế Giới Di Động hướng tới trở thành một tập đoàn bán lẻ đa ngành, hùng mạnh nhất, và đặc biệt trong mảng thương mại điện tử sẽ chiếm vị trí số 1. Cụ thể, công ty sẽ tiếp tục hoàn thành những mục tiêu đề ra trong mảng công nghệ thông tin, góp phần gia tăng thị phần, tiếp tục củng cố ngôi vị số 1 của Thế Giới Di Động trong các lĩnh vực đang kinh doanh. 3.2. Sứ mệnh: Để đạt mục tiêu cốt lõi đã đề ra, Thế Giới Di Động luôn không ngừng nỗ lực, cải tiến để làm hài lòng khách hàng, dù là những khách hàng khó tính nhất. Công ty xây dựng một văn hóa chung là văn hóa “Đặt Khách Hàng làm trọng tâm”, từ mọi cấp bậc, mọi vị trí nhân viên đều có mục tiêu là làm hài lòng và mang đến những trải nghiệm thú vị nhất cho khách hàng. Bên cạnh đó, Thế Giới Di Động cũng luôn đề cao những nỗ lực của nhân viên, công ty mang trên mình sứ mệnh đem đến sự sung túc cho nhân viên thông qua các cơ hội việc làm cực kỳ hấp dẫn tại công ty. Công ty cũng luôn nỗ lực kinh doanh để mang đến mức lợi nhuận cao cho những nhà đầu tư dài hạn và đóng góp vào phúc lợi của cộng đồng. 3.3. Gía trị cốt lõi: Ban giám đốc công ty Thế Giới Di Động nhận ra rằng để một doanh nghiệp phát triển mạnh mẽ, bền vững, bên cạnh những chiến lược kinh doanh nhạy bén, cần phải xây dựng một nền văn hóa riêng đặc thù cho doanh nghiệp của mình. Và một phần quan trọng trong văn hóa đó có sự hiện diện của những giá trị cốt lõi, đây là những diều mà Thế Giới Di Động mong muốn nhân viên của mình sẽ sống và làm theo trong suốt quá trình đồng hành và phát triển của công ty. Và 6 giá trị được lựa chọn là: − Máu lửa với công việc − Tận tâm với khách hàng − Trung thực − Integrity − Nhận trách nhiệm − Tinh thần đội nhóm 8 4. Cơ cấu tổ chức của công ty (đội ngũ nhân sự) Sơ đồ tổ chức công ty Cổ phần Thế Giới Di Động bao gồm nhiều cấp bậc. Đối với riêng từng Khối sẽ có Giám đốc của Khối, tiếp đó là các Trưởng Bộ phận, dưới Trưởng Bộ phận là các nhân viên bao gồm cả Văn phòng miền Bắc, miền Trung, miền Đông và miền Tây. Hình 1. 3: Cơ cấu tổ chức Công ty Thế Giới Di Động 5. Những thành tựu đã đạt được Kể từ khi mới thành lập và đi qua một giai đoạn phát triển nhiều thăng trầm, cho đến nay, Thế Giới Di Động đã chứng minh những nỗ lực không ngừng của mình bằng những thành tích xuất sắc mà công ty đã đạt được. Đối với lĩnh vực kinh doanh thiết bị di động, tính đến thời điểm cuối năm 2019, Thế Giới Di Động tiếp tục khẳng định vị thế dẫn đầu với số lượng siêu thị lên đến con số 996, với mật độ phân bố trải đều trên các tỉnh thành toàn quốc. Không hề kém cạnh, chuỗi Điện Máy Xanh có 1.080 siêu thị và 1.008 là số cửa hàng Bách Hóa Xanh hiện có. Với Doanh thu thuần 2019 đạt mức 102.174 tỷ đồng và Lợi nhuận sau thuế 2019 là 3.836 tỷ đồng, Thế Giới Di Động đã xuất sắc trở thành quán quân trong Top 50 công ty có hoạt động kinh doanh hiệu quả nhất năm 2019. 9 Hình 1. 4: Công ty Thế Giới Di Động nằm trong Top 50 công ty kinh doanh hiệu quả nhất năm 2019 (Nguồn: https://www.thegioididong.com/tin-tuc/) CHƯƠNG II : GIỚI THIỆU TỔNG QUAN VỀ HỆ THỐNG GIÁM SÁT PROMETHEUS VÀ GRAFANA 2.1 Tổng quan về Prometheus. 2.1.1 Prometheus là gì ? Prometheus là một bộ công cụ giám sát và cảnh báo hệ thống mã nguồn mở ban đầu được phát triển bởi công ty SoundCloud. Thành lập vào năm 2012, nhiều công ty và tổ chức đã áp dụng Prometheus vào hệ thống và dự án này có một cộng đồng người dùng và nhà phát triển rất tích cực. 10 Prometheus bây giờ đã trở thành một dự án mã nguồn mở độc lập và được duy trì độc lập với bất kỳ công ty nào. Prometheus có khả năng thu thập thông số/số liệu (metric) từ các mục tiêu được cấu hình theo các khoảng thời gian nhất định, đánh giá các biểu thức quy tắc, hiển thị kết quả và có thể kích hoạt cảnh báo nếu một số điều kiện được thảo mãn yêu cầu. 2.1.2 Một số tính năng của Prometheus.  Mô hình dữ liệu đa chiều – time series được xác định bởi tên của số liệu (metric) và các cặp khóa – giá trị (key/value).  Ngôn ngữ truy vấn linh hoạt.  Hỗ trợ nhiều chế độ biểu đồ.  Nhiều chương trình tích hợp và hỗ trợ bởi bên thứ 3.  Hoạt động cảnh báo vấn đề linh động dễ cấu hình.  Chỉ cần 1 máy chủ là có thể hoạt động được.  Hỗ trợ Push các time series thông qua một gateway trung gian.  Các máy chủ/thiết bị giám sát có thể được phát hiện thông qua service discovery hoặc cấu hình tĩnh. 2.1.3 Một số đặc điểm lưu ý về Prometheus.  Prometheus là 100% mã nguồn mở. Bạn có thể coi mã nguồn tại Git : https://github.com/prometheus/prometheus/  Phần lớn các core tính năng của Prometheus được viết bằng ngôn ngữ Go. Một số còn lại thì được viết bằng Java, Python hoặc Ruby.  Prometheus không dùng để lấy dữ liệu log, thay vì vậy thì Prometheus là dịch vụ giám sát, thu thập và xử lý dữ liệu dạng metric (thông số).  Prometheus sử dụng cơ chế đi lấy (pull) dữ liệu từ máy chủ remote là chính, chứ không sử dụng cơ chế đợi remote đẩy (push) dữ liệu lên ngoại trừ trường hợp sử dụng PushGateway.  Prometheus sử dụng chương trình cảnh báo Alertmanager để xử lý và gửi cảnh báo đi.  Về phần giao diện biểu đồ (đồ thị) thì Prometheus sử dụng mã nguồn Grafana để tích hợp hiển thị.  Metric của Prometheus sử dụng chuẩn OpenMetrics. 11  Prometheus hỗ trợ 3 hình thức cài đặt các thành phần hệ thống gồm : Docker Image, cài đặt từ source với Go và file chương trình chạy sẵn đã được biên dịch sẵn. 2.1.4 Kiến trúc Prometheus . Prometheus thực hiện quá trình lấy các thông số/số liệu (metric) từ các job được chỉ định qua kênh trực tiếp hoặc thông qua dịch vụ Pushgateway trung gian. Sau đấy Prometheus sẽ lưu trữ các dữ liệu thu thập được ở local máy chủ. Tiếp đến sẽ chạy các rule để xử lý các dữ liệu theo nhu cầu cũng như kiểm tra thực hiện các cảnh báo mà bạn mong muốn. Các thành phần trong hệ thống Prometheus:  Máy chủ Prometheus đảm nhận việc lấy dữ liệu và lưu trữ dữ liệu time-series.  Thư việc client cho các ứng dụng.  Push Gateway Prometheus: sử dụng để hỗ trợ các job có thời gian thực hiện ngắn (tạm thời). Đơn giản là các tác vụ công việc này không tồn tại lâu đủ để Prometheus chủ động lấy dữ liệu. Vì vậy là mà các dữ liệu chỉ số (metric) sẽ được đẩy về Push Gateway rồi đẩy về Prometheus Server.  Đa dạng Exporter hỗ trợ giám sát các dịch vụ hệ thống và gửi về Prometheus theo chuẩn Prometheus mong muốn.  AlertManager: dịch vụ quản lý, xử lý các cảnh báo (alert).  Và rất nhiều công cụ hỗ trợ khác,.. 12 2.2 Tổng quan về Grafana Grafana là một giao diện/dashboard theo dõi hệ thống (opensource), hỗ trợ rất nhiều loại dashboard và các loại graph khác nhau để người quản trị dễ dàng theo dõi. Là một nền tảng để xây dựng các analytics và monitoring. Hay nói cách khác là sau khi lấy được metric từ các thiết bị, grafana sẽ sử dụng metric đó để phân tích và tạo ra dashboard mô tả trực quan các metric cần thiết cho việc monitoring ví dụ như cpu, ram, dish, network, iops, session. Việc xây dựng Dashboard nó là một phần quan trọng trong việc monitor của hệ thống. Grafana support rất nhiều giải pháp monitor khác nhau. 2.3 Cài đặt Prometheus trên môi trường Linux Để cài đặt Prometheus đầu tiên chúng ra cài tải phiên bản Prometheus thích hợp về máy. Ta có thể tìm các phiên bản Prometheus tại đây. Ta có thể tải thông qua wget bằng lệnh như sau: $ wget https://github.com/prometheus/prometheus/releases/download/v2.29.0rc.0/prometheus-2.29.0-rc.0.linux-amd64.tar.gz Tiếp theo ta giải nén thư mục: Prometheus – 2.29.0-rc.1.linux-amd64-tar.gz Sau khi giải nén ta thu được thư mục với nội dung: 13 Ở đây có một số file chúng ta cần chú ý như:  prometheus.yml: Đây là file cấu hình của Prometheus, bằng cách chỉnh sửa file này bạn có thể tuỳ chỉnh Prometheus server theo cách của bạn. Các bạn có thể tham khảo thêm tại Prometheus configuration.  prometheus: Là một binary file. Bạn có thể thực thi file này để khởi chạy Prometheus.  promtool: Là một tool giúp bạn kiểm tra các thiết lập cho Prometheus. Tiếp theo ta thiết lập để chạy Prometheus như một service trên môi trường linux. Để bảo mật chúng ta tạo một user và một group để quản lý Prometheus: # sudo useradd –rs /bin/false Prometheus Tiếp theo ta di chuyển các file binary trong thư mục đã giải nén về /usr/local/bin: # sudo cp Prometheus promtool /usr/local/bin Cấp quyền cho user đã tạo đối với Prometheus file: # sudo chown Prometheus:Prometheus /usr/local/bin/Prometheus Tạo một thư mục Prometheus trong /etc và di chuyển các tài nguyên cần thiết: # sudo mkdir /etc/Prometheus # sudo cp –R consoles/ console_libraries/ Prometheus.yml /etc/Prometheus Tạo một thư mục để lưu trữ cho Prometheus: # sudo mkdir –p data/Prometheus Cấp quyền cho các thư mục vừa tạo: # sudo chown –R prometheus:prometheus data/prometheus /etc/prometheus/* Khâu chuẩn bị đã xong,giờ ta tạo một service để chạy Prometheus. Di chuyển đến /lib/system/system và tạo 1 file prometheus.service: # cd /lib/system/system 14 # sudo touch prometheus.service Định nghĩa file Prometheus.service: [Unit] Description=Prometheus Wants=network-online.target After=network-online.target [Service] Type=simple User=prometheus Group=prometheus ExecStart=/usr/local/bin/prometheus \ --confg.fle=/etc/prometheus/prometheus.yml \ --storage.tsdb.path=/data/prometheus \ --web.console.templates=/etc/prometheus/consoles \ --web.console.libraries=/etc/prometheus/console_libraries \ --web.listen-address=0.0.0.0:9090 \ --web.enable-admin-api Restart=always [Install] WantedBy=multiuser.target Khi chương trình service start chương trình prometheus trong thư mục /usr/local/bin sẽ được chạy với các param tương ứng đã được định nghĩa. Ta lưu lại file và thực hiện start service: 15 # sudo systemctl enable prometheus # sudo systemctl start prometheus Check trạng thái service với câu lệnh: #sudo systemctl status prometheus Nếu trạng thái như sau tức là service chúng ta đã khởi chạy thành công: Sau khi service chạy thành công ta truy cập http://192.168.1.2:9090/graph . Mặc định Prometheus sẽ tự monitor chính bản thân nó, chúng ta có thể thực thi các query khác và xem các biểu đồ tương ứng. 2.4 Cài đặt Grafana trong môi trường linux: Bước 1: Cài đặt và cập nhật các phần mềm cần thiết 16 # sudo apt -y install -y apt-transport-https # sudo apt -y install -y software-properties-common wget # sudo wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add – # sudo apt -y install libfontconfig1 - Thực hiện tải xuống Grafana: # wget https://dl.grafana.com/oss/release/grafana-8.1.0.linux-amd64.tar.gz - Giải nén Grafana : # tar -zxvf grafana-8.1.0.linux-amd64.tar.gz - Khởi động Grafana: # sudo systemctl enable grafana-server # sudo systemctl start grafana-server - Kiểm tra lại trạng thái của Grafana, nếu thấy như sau là đúng: # systemctl status grafana-server Bước 2: Đăng nhập vào Grafana: Ta truy cập vào web của Grafana bằng địa chỉ: http://IP_Server:3000 . Tài khoản mặc định ban đầu là admin/admin, sau khi đăng nhập thành công bạn cần khai báo mật khẩu mới 17 Sau khi đăng nhập lần đầu, thực hiện đổi mật khẩu theo gợi ý của giao diện: Sau khi đổi mật khẩu xong, ta vào màn hình mặc định. Tiếp tục bỏ qua các thông báo không cần thiết: 18 Chuyển sang bước khai báo data source Bước 3: Cấu hình data source cho Grafana Trong lab này ta sử dụng Prometheus làm data source Chọn theo số thứ tự ở hình dưới 19 Chọn add data source Chọn data source là prometheus và select Sau khi chọn Prometheus làm data source thì cần khai báo các tham số cơ bản để grafana có thể kết nối. Nhập theo thứ tự hình bên dưới. Do đang cài chung Grafana và Prometheus nên URL sẽ dùng là : http:// IP_Server_Prometheus:9090. 20