Mô tả:
Tìm hiểu về hiệu suất khi sử dụng hadoop
HONEYNET
o
BẢN BÁO CÁO
Đề tài: Kiểm tra tốc độ put của HDFS trên (HDD vs Ram)
GVHD: Thầy Lê Đình Việt Hải
Nhóm: Internship - CNTT2017
TP.HCM. Ngày 29 tháng 12 năm 2017.
1. Tổng quan:
Trong tài liệu này, em seẽ thực hiện đánh giá s ự khác biệt hi ệu suấất c ủa h ệ thốấng Hadoop v ới 2 mố hình
khác nhau như sau:
Mố hình Hadoop Single Mode được cài đặt trên ổ c ứng HDD.
Mố hình Hadoop Single Mode được cài đặt trên phấn vùng đ ược mount t ừ b ộ nh ớ RAM.
Lưu ý:
Do cùng thực hiện trên Single Mode nên kêất nốấi gi ữa DataNode và NameNode seẽ là kêất nối LAN
và ta seẽ khống quan tấm đêấn tốấc đ ộ truyêền nh ận d ữ li ệu c ủa chúng và xem nh ư 2 mố hình là
bằềng nhau.
Ta cũng giả sử như cấấu hình phấền c ứng c ủa 2 mố hình tr ừ phấn vùng l ưu tr ữ là nh ư nhau
2. Test case:
Trong bài Test này, trên 2 mố hình ta seẽ lấền l ượt th ực hi ện cấu l ệnh hadoop fs -put để đẩy các fle từ
máy tnh lên hệ thốấng Hadoop. Các File seẽ có dung l ượng lấền l ượt là 200MB, 400MB, 800MB, 1GB, 2GB
và 4GB. Ta seẽ thực hiện ghi nhận lại tổng th ời gian hoàn thành c ủa cấu l ệnh đó và ghi nh ận l ại kêất qu ả
sau đó so sánh
Cấu lệnh thực thi:
time hadoop fs -put testfile.txt
Cấu lệnh seẽ trả vêề cho ta 3 thống sốấ:
real: đấy là tổng thời gian hoàn thành cấu lệnh, cũng là thống sốấ mà ta quan tấm nhấất.
user: đấy là tổng thời gian sử dụng trong user mode.
sys: đấy là tổng thời gian sử dụng trong kernel mode.
3. Kết quả:
3.1.
Mô hình trên HDD:
Kích cỡ
fle
Thời gian (s)
200MB
Lấền 1
Lấền 2
Lấền 3
Lấền 4
Trung bình
real
3.945
3.936
3.981
3.245
3.777
user
4.500
4.480
5.036
4.323
4.585
sys
0.324
0.420
0.424
0.336
0.376
real
9.296
8.940
8.168
8.243
8.662
user
5.544
6.120
6.276
5.340
5.820
Tốấc độ
(GB/s)
400MB
Thời gian (s)
sys
0.864
0.896
0.916
0.848
0.881
real
13.187
12.130
13.464
12.449
12.808
user
6.496
6.368
6.328
5.968
6.290
sys
1.304
1.272
1.020
1.184
1.195
real
17.480
19.020
16.639
17.220
17.590
user
6.884
8.516
6.540
6.588
7.132
sys
1.476
1.428
1.448
1.544
1.474
real
23.695
22.940
20.573
20.463
21.918
user
7.100
7.246
7.236
7.092
7.169
sys
1.696
1.776
1.712
2.060
1.811
real
66.111
49.258
45.924
44.634
51.482
user
10.164
9.804
9.588
10.136
9.923
sys
4.052
3.796
4.188
4.228
4.066
real
88.432
88.733
72.727
82.904
83.199
user
15.340
14.444
12.704
14.688
14.294
sys
7.716
7.504
6.560
8.504
7.571
Tốấc độ
(GB/s)
Thời gian (s)
600MB
Tốấc độ
(GB/s)
Thời gian (s)
800MB
Tốấc độ
(GB/s)
Thời gian (s)
1GB
Tốấc độ
(GB/s)
Thời gian (s)
2GB
Tốấc độ
(GB/s)
Thời gian (s)
4GB
Tốấc độ
(GB/s)
3.2.
Mô hình trên RAM:
Kích cỡ
fle
Thời gian (s)
200MB
400MB
Tốấc độ
(GB/s)
Thời gian (s)
Lấền 1
Lấền 2
Lấền 3
Lấền 4
Trung bình
real
2.964
2.922
2.800
3.037
2.931
user
5.248
5.004
4.776
5.360
5.097
sys
0.352
0.416
0.460
0.412
0.410
real
3.288
3.308
3.331
3.290
3.304
user
5.760
5.604
5.800
5.668
5.708
sys
0.628
0.716
0.544
0.616
0.626
real
3.750
3.919
3.695
3.690
3.764
user
6.616
6.832
6.356
6.480
6.571
sys
0.804
0.804
0.812
0.824
0.811
real
4.112
4.193
4.259
4.451
4.254
user
6.820
7.056
7.080
7.016
6.993
sys
1.100
1.044
1.056
1.212
1.103
real
4.692
4.728
4.713
4.676
4.702
user
7.680
7.616
7.736
7.244
7.569
sys
1.444
1.404
1.360
1.496
1.426
real
6.614
6.599
6.674
6.496
6.596
user
9.384
9.644
10.696
9.424
9.787
sys
2.676
2.544
2.604
2.676
2.625
real
13.689
10.198
10.359
10.326
11.143
user
15.588
14.300
13.820
13.692
14.350
sys
5.768
4.668
5.136
5.028
5.150
Tốấc độ
(GB/s)
Thời gian (s)
600MB
Tốấc độ
(GB/s)
Thời gian (s)
800MB
Tốấc độ
(GB/s)
Thời gian (s)
1GB
Tốấc độ
(GB/s)
Thời gian (s)
2GB
Tốấc độ
(GB/s)
Thời gian (s)
4GB
Tốấc độ
(GB/s)
3.3.
Bảng so sánh:
Dưới đấy là bảng kêất quả tổng hợp của các bài Test:
Kích cỡ fle
200MB
400MB
Thời gian (s)
Tốấc độ (GB/s)
Thời gian (s)
Tốấc độ (GB/s)
real
real
Trên HDD
Trên RAM
3.777
2.931
0.053
0.068
8.662
3.304
0.046
0.121
600MB
800MB
1GB
2GB
4GB
Thời gian (s)
Tốấc độ (GB/s)
Thời gian (s)
Tốấc độ (GB/s)
Thời gian (s)
Tốấc độ (GB/s)
Thời gian (s)
Tốấc độ (GB/s)
Thời gian (s)
Tốấc độ (GB/s)
real
real
real
real
real
12.808
3.764
0.047
0.159
17.590
4.254
0.045
0.188
21.918
4.702
0.046
0.213
51.482
6.596
0.039
0.303
83.199
11.143
0.048
0.359
4.Nhận xét
Từ kêất quả đo đạc được ta có thể đưa ra các nh ận xét sau:
Nhớ vào hiệu suấất đọc ghi tốấc độ cao của RAM so với HDD, ta thấấy ở tấất c ả các tr ường h ợp thì
Tốấc độ của Mố hình sử dụng RAM đêều nhanh h ơn hẳn.
Với các fle có dung lượng càng lớn, sự chênh lệch càng rõ r ệch. C ụ th ể:
o Với fle 200MB: Tốấc độ của Mố hình RAM gấấp Tốấc đ ộ c ủa Mố hình HDD 1.28 lấền.
o Với fle 400MB seẽ là 2.63 lấền.
o Với fle 600MB seẽ là 3.38 lấền.
o Với fle 800MB seẽ là 4.18 lấền.
o Với fle 1GB seẽ là 4.63 lấền.
o Với fle 2GB seẽ là 7.77 lấền.
o Với fle 4GB seẽ là 7.48 lấền.
HẾẾT
- Xem thêm -