Lectured by Dr. Tran Ngoc MinhDepar

Lectured by Dr. Tran Ngoc Minh
Department of System and Networking
Faculty of Computer Science and Engineering
Chapter 1: Introduction
Faculty of Computer Science and Engineering
Slides from Prof. Mark Claypool
Let’s Get Started!
• Describe a performance study you have
done
– Work or School or …
• Describe a performance study you have
recently read about
– Research paper
– Newspaper article
– Scientific journal
• And list one good thing or one bad thing
about it
Outline
• Objectives (next)
• The Art
• Common Mistakes
• Systematic Approach
• Case Study • Case Study
Objectives (1 of 6)
• Select appropriate evaluation techniques,
performance metrics and workloads for a system.
– Techniques: measurement, simulation, analytic
modeling
– Metrics: criteria to study performance (ex:
response time)
– Workloads: requests by users/applications to the – Workloads: requests by users/applications to the
system
• Example: What performance metrics should you
use for the following systems?
– a) Two disk drives
– b) Two transactions processing systems
– c) Two packet retransmission algorithms
Objectives (2 of 6)
• Conduct performance measurements
correctly
– Need two tools: load generator and monitor
• Example: Which workload would be
appropriate to measure performance for
the following systems?
– a) Utilization on a LAN
– b) Response time from a Web server
– c) Audio quality in a VoIP network
Objectives (3 of 6)
• Use proper statistical techniques to compare
several alternatives
– One run of workload often not sufficient
• Many non-deterministic computer events that effect
performance
– Comparing average of several runs may also not lead
to correct results
• Especially if variance is high
• Example: Packets lost on a link. Which link is
better?
File Size Link A Link B
1000 5 10
1200 7 3
1300 3 0
50 0 1
Objectives (4 of 6)
• Design measurement and simulation experiments to
provide the most information with the least effort.
– Often many factors that affect performance. Separate
out the effects that individually matter.
• Example: The performance of a system depends upon
three factors:
– A) garbage collection technique: G1, G2 none
– B) type of workload: editing, compiling, AI
– C) type of CPU: P2, P4, Sparc
How many experiments are needed? How can the
performance of each factor be estimated?
Objectives (5 of 6)
• Perform simulations correctly
– Select correct language, seeds for random
numbers, length of simulation run, and
analysis
– Before all of that, may need to validate
simulator
• Example: To compare the performance of
two cache replacement algorithms:
– A) how long should the simulation be run?
– B) what can be done to get the same
accuracy with a shorter run?
Objectives (6 of 6)
• Use simple queuing models to analyze the
performance of systems.
• Often can model computer systems by
service rate and arrival rate of load
– Multiple servers – Multiple servers
– Multiple queues
• Example:
– For a given Web request rate, is it more
effective to have 2 single-processor Web
servers or 4 single-processor Web servers?
Outline
• Objectives (done)
• The Art (next)
• Common Mistakes
• Systematic Approach
• Case Study • Case Study
The Art of Performance Evaluation
• Evaluation cannot be produced mechanically
– Requires intimate knowledge of system
– Careful selection of methodology, workload,
tools
• No one correct answer as two performance • No one correct answer as two performance
analysts may choose different metrics or
workloads
• Like art, there are techniques to learn
– how to use them
– when to apply them
Example: Comparing Two Systems
• Two systems, two workloads, measure
transactions per second
Work- WorkSystem load 1 load 2 System load 1 load 2
A 20 10
B 10 20
• Which is better?
Example: Comparing Two Systems
• Two systems, two workloads, measure
transactions per second
Work- WorkSystem load 1 load 2 Average System load 1 load 2 Average
A 20 10 15
B 10 20 15
• They are equally good!
• … but is A better than B?
The Ratio Game
• Take system B as the base
Work- WorkSystem load 1 load 2 Average
A 2 0.5 1.25
System load 1 load 2 Average
A 2 0.5 1.25
B 1 1 1
• A is better!
• … but is B better than A?
Outline
• Objectives (done)
• The Art (done)
• Common Mistakes (next)
• Systematic Approach
• Case Study • Case Study
Common Mistakes (1 of 3)
• Undefined Goals
– There is no such thing as a general model
– Describe goals and then design experiments
– (Don’t shoot and then draw target)
• Biased Goals • Biased Goals
– Don’t show YOUR system better than HERS
– (Performance analysis is like a jury)
• Unrepresentative Workload
– Should be representative of how system will
work “in the wild”
– Ex: large and small packets? Don’t test with
only large or only small
Common Mistakes (2 of 3)
• Wrong Evaluation Technique
– Use most appropriate: m

Kết quả (Việt) 1:

Giảng dạy của tiến sĩ Trần Ngọc MinhVùng hệ thống và mạngKhoa Khoa học máy tính và kỹ thuậtChương 1: giới thiệuKhoa Khoa học máy tính và kỹ thuậtSlide từ giáo sư Mark ClaypoolHãy bắt đầu!• Mô tả một hiệu suất nghiên cứu, bạn có thực hiện-Làm việc hay trường học hoặc...• Mô tả một hiệu suất nghiên cứu, bạn có gần đây, đọc về-Nghiên cứu giấy-Bài viết báo chí-Tạp chí khoa học• Và danh sách một trong những điều tốt hay điều xấu về nóPhác thảo• Mục tiêu (tiếp theo)• Nghệ thuật• Các sai lầm thường gặp• Phương pháp tiếp cận có hệ thống• Nghiên cứu • trường hợp nghiên cứuMục tiêu (1 / 6)• Chọn kỹ thuật thích hợp đánh giá, số liệu hiệu suất và khối lượng công việc cho một hệ thống. -Kỹ thuật: đo lường, mô phỏng, phân tích Mô hình hóa-Số liệu: tiêu chí học hiệu suất (ví dụ: thời gian đáp ứng)-Khối lượng công việc: các yêu cầu của người sử dụng/ứng dụng cho các khối lượng công việc: yêu cầu của người sử dụng/ứng dụng cho các Hệ thống• Ví dụ: những số liệu hiệu suất, bạn nên sử dụng cho các hệ thống?-một) hai ổ đĩa-b) hai giao dịch chế biến hệ thống-c) 2 gói retransmission thuật toánMục tiêu (2 / 6)• Tiến hành đo lường hiệu suất một cách chính xác-Cần hai công cụ: tải máy phát điện và màn hình• Ví dụ: khối lượng công việc mà sẽ thích hợp để đo lường hiệu suất cho Các hệ thống sau?-một) sử dụng trên một mạng LAN-thời gian b) phản ứng từ một máy chủ Web-c) âm thanh chất lượng trong một mạng VoIPMục tiêu (3 / 6)• Sử dụng đúng kỹ thuật thống kê để so sánh một số lựa chọn thay thế-Một chạy thường không đủ khối lượng công việc• Nhiều sự kiện không xác định máy tính hiệu quả hiệu suất-So sánh là chạy một số cũng có thể không dẫnđể kết quả chính xác• Đặc biệt là nếu phương sai cao• Ví dụ: gói dữ liệu mất trên một liên kết. Liên kết đó là tốt hơn?Kích thước liên kết một liên kết B1000 5 101200 7 31300 3 050 0 1Mục tiêu (4 / 6)• Thiết kế đo lường và mô phỏng thí nghiệm để cung cấp những thông tin với nỗ lực ít nhất. -Thường nhiều yếu tố ảnh hưởng đến hiệu suất. Riêng biệt ra hiệu ứng cá nhân quan trọng.• Ví dụ: hiệu suất của một hệ thống phụ thuộc vào ba yếu tố:-A) kỹ thuật bộ sưu tập rác: G1, G2 none-Loại B) khối lượng công việc: chỉnh sửa, biên dịch, AI-C) loại CPU: P2, P4, SparcLàm thế nào nhiều thí nghiệm là cần thiết? Làm thế nào có thể các hiệu suất của mỗi yếu tố được ước tính?Mục tiêu (5 / 6)• Thực hiện mô phỏng một cách chính xác-Chọn đúng ngôn ngữ, hạt giống cho ngẫu nhiên số điện thoại, chiều dài của mô phỏng chạy, và phân tích-Trước khi tất cả đó, có thể cần phải xác nhận Mô phỏng• Ví dụ: để so sánh hiệu suất của hai các thuật toán thay thế bộ nhớ cache:-A) bao lâu nên các mô phỏng được chạy?-B) những gì có thể được thực hiện để có được như vậy độ chính xác với một chạy ngắn hơn?Mục tiêu (6 / 6)• Sử dụng mô hình xếp hàng đơn giản để phân tích các hiệu suất của hệ thống.• Thường xuyên có thể mô hình hệ thống máy tính bằng tốc độ dịch vụ và đến tốc độ tải-Nhiều máy chủ-nhiều máy chủ-Nhiều hàng đợi• Ví dụ:-Đối với một trang Web đưa ra yêu cầu tỷ lệ, là nó nhiều hơn nữa hiệu quả có 2 bộ vi xử lý đơn trang Web Các máy chủ hoặc máy chủ Web đơn-bộ xử lý 4?Phác thảo• Mục tiêu (thực hiện)• Nghệ thuật (tiếp theo)• Các sai lầm thường gặp• Phương pháp tiếp cận có hệ thống• Nghiên cứu • trường hợp nghiên cứuNghệ thuật đánh giá hiệu suất• Đánh giá không thể được sản xuất máy móc-Yêu cầu các kiến thức thân mật của hệ thống-Cẩn thận lựa chọn các phương pháp luận, khối lượng công việc, công cụ• Không ai chính xác trả lời như là hai hiệu suất • không có một câu trả lời đúng như hai hiệu suất Các nhà phân tích có thể lựa chọn các số liệu khác nhau hay khối lượng công việc• Giống như nghệ thuật, có những kỹ thuật để tìm hiểu-làm thế nào để sử dụng chúng-Khi nào thì áp dụng chúngVí dụ: So sánh hai hệ thống• Hai hệ thống, hai khối lượng công việc, đo lường giao dịch mỗi thứ haiLàm việc - WorkSystem tải 1 tải 2 hệ thống tải 1 tải 220 10B 10 20• Đó là tốt hơn?Ví dụ: So sánh hai hệ thống• Hai hệ thống, hai khối lượng công việc, đo lường giao dịch mỗi thứ haiLàm việc - WorkSystem tải 1 tải 2 hệ thống trung bình tải 1 tải trung bình 2MỘT 20 10 15B 10 20 15• Họ là bằng nhau tốt!•... nhưng là một tốt hơn so với B?Trò chơi tỷ lệ• Có hệ thống B là cơ sởLàm việc - WorkSystem tải 1 tải trung bình 20,5 2 1.25Hệ thống tải 1 tải trung bình 20,5 2 1.25B 1 1 1• Một là tốt hơn!•... nhưng B tốt hơn A?Phác thảo• Mục tiêu (thực hiện)• Nghệ thuật (thực hiện)• Sai lầm phổ biến (tiếp theo)• Phương pháp tiếp cận có hệ thống• Nghiên cứu • trường hợp nghiên cứuSai lầm phổ biến (1 / 3)• Undefined mục tiêu-Không có điều như vậy như là một mô hình tổng hợp-Mô tả mục tiêu và sau đó thiết kế thí nghiệm-(Không bắn và sau đó rút ra mục tiêu)• Kiến bàn • thiên vị mục tiêu-Không thấy hệ thống của bạn tốt hơn so với cô ấy-(Phân tích hiệu suất cũng giống như một ban giám khảo)• Khối lượng công việc unrepresentative-Nên có đại diện của làm thế nào hệ thống sẽ làm việc "in the wild"-Ex: gói dữ liệu lớn và nhỏ? Không thử nghiệm với lớn duy nhất hoặc chỉ nhỏSai lầm phổ biến (2 / 3)• Đánh giá sai kỹ thuật-Sử dụng thích hợp nhất: m

Kết quả (Việt) 2:

Giảng dạy của Tiến sĩ Trần Ngọc Minh
Sở Hệ thống và Mạng
Khoa Khoa học Máy tính và Kỹ thuật
Chương 1: Giới thiệu
Khoa Khoa học Máy tính và Kỹ thuật
Slides từ Giáo sư Mark Claypool
Hãy Bắt đầu!
• Mô tả một nghiên cứu hiệu suất mà bạn đã
làm
- Làm việc hoặc trường học hay ...
• Mô tả một nghiên cứu hiệu suất mà bạn đã
vừa đọc về
- giấy nghiên cứu
- bài báo
- tạp chí khoa học
• Và danh sách một điều tốt hay một điều xấu
về nó
Outline
• Mục tiêu (tiếp theo)
• Nghệ thuật
• Những sai lầm
• Phương pháp tiếp cận có hệ thống
• Trường hợp học • Trường hợp nghiên cứu
Mục tiêu (1 trong số 6)
• Chọn các kỹ thuật thích hợp đánh giá,
số liệu hiệu suất và khối lượng công việc cho một hệ thống.
- kỹ thuật: đo lường, mô phỏng, phân tích
mô hình
- số liệu: tiêu chí để nghiên cứu hoạt động (ví dụ:
thời gian đáp ứng)
- khối lượng công việc: yêu cầu bởi người sử dụng / ứng dụng đến - khối lượng công việc: yêu cầu của người sử dụng / ứng dụng cho các
hệ thống
• Ví dụ: hiệu suất gì số liệu bạn cần
? sử dụng cho các hệ thống sau
- a) Hai ổ đĩa
- b) Hai hệ thống xử lý giao dịch
- c) Hai gói truyền lại thuật toán
Mục tiêu (2 trong số 6)
• đo Tiến hành thực hiện
một cách chính xác
- Cần hai công cụ: máy phát điện tải và giám sát
• Ví dụ: những khối lượng công việc sẽ là
thích hợp để đo lường hiệu suất cho
các hệ thống sau?
- a) Sử dụng trên một mạng LAN
- b) thời gian đáp ứng từ một máy chủ Web
- c) chất lượng âm thanh trong một mạng VoIP
Mục tiêu (3 trong số 6)
• Sử dụng kỹ thuật thống kê thích hợp để so sánh
một số lựa chọn thay thế
- một chạy của khối lượng công việc thường không đủ
• Nhiều sự kiện máy tính không xác định đó có hiệu lực
thực hiện
- so sánh trung bình của một số chạy cũng không có thể dẫn
đến kết quả chính xác
• Đặc biệt là nếu đúng là cao
• Ví dụ: Túi bị mất trên một liên kết. Những liên kết là
tốt hơn?
Nộp Kích liên kết Link B
1000 5 10
1200 7 3
1300 3 0
50 0 1
Mục tiêu (4 trong số 6)
• đo lường Thiết kế và thí nghiệm mô phỏng để
cung cấp những thông tin nhất với nỗ lực ít nhất.
- Thường nhiều yếu tố ảnh hưởng đến hiệu suất. Tách
ra khỏi những ảnh hưởng quan trọng cá nhân.
• Ví dụ: Hiệu suất của hệ thống phụ thuộc vào
ba yếu tố:
- A) kỹ thuật thu gom rác thải: G1, G2 không
- B) loại khối lượng công việc: biên tập, biên dịch, AI
- C) Loại CPU : P2, P4, Sparc
bao nhiêu thử nghiệm là cần thiết? Làm thế nào có thể các
hoạt động của từng yếu tố được ước tính?
Mục tiêu (5 trong số 6)
• Thực hiện mô phỏng một cách chính xác
- Chọn ngôn ngữ chính xác, hạt giống ngẫu nhiên
con số, chiều dài tính toán mô phỏng và
phân tích
- Trước khi tất cả điều đó, có thể cần phải xác nhận
giả
• Ví dụ : để so sánh hiệu suất của
hai thuật toán thay thế bộ nhớ cache:
-? A) bao lâu nên các mô phỏng được chạy
- B) những gì có thể được thực hiện để có được cùng một
độ chính xác với một chạy ngắn hơn?
Mục tiêu (6 trong số 6)
• Sử dụng mô hình xếp hàng đơn giản để phân tích
hiệu suất của hệ thống.
• thường có thể mô hình hệ thống máy tính bằng
tỷ lệ dịch vụ và tốc độ đến tải
- nhiều máy chủ - nhiều máy chủ
- nhiều hàng đợi
• Ví dụ:
- Đối với một tỷ lệ yêu cầu web nào đó, là nó nhiều hơn
hiệu quả để có 2 đơn xử lý Web
server hoặc 4 máy chủ Web xử lý đơn?
Outline
• Mục tiêu (thực hiện)
• Nghệ thuật (tiếp theo)
• Những sai lầm
• Phương pháp tiếp cận có hệ thống
• Trường hợp nghiên cứu • Nghiên cứu tình huống
The Art of Đánh giá hiệu suất
• Đánh giá không thể được sản xuất một cách máy móc
- Yêu cầu kiến thức thân mật của hệ thống
- Cẩn thận lựa chọn các phương pháp, khối lượng công việc,
công cụ
• Không có một câu trả lời chính xác là hai hoạt động • Không có một câu trả lời chính xác là hai thực hiện
phân tích có thể chọn các chỉ số khác nhau hoặc
khối lượng công việc
• Giống như nghệ thuật, có các kỹ thuật học
- làm thế nào để sử dụng chúng
- khi để áp dụng chúng
Ví dụ: So sánh hai hệ thống
• hai hệ thống, hai khối lượng công việc, biện pháp
giao dịch mỗi giây
tải Work- WorkSystem 1 tải 2 hệ thống tải 1 tải 2
A 20 10
B 10 20
• đó là tốt hơn?
Ví dụ: So sánh hai hệ thống
• hai hệ thống , hai khối lượng công việc, biện pháp
giao dịch mỗi giây
tải Work- WorkSystem 1 tải 2 Hệ thống trung bình tải 1 tải 2 bình
A 20 10 15
B 10 20 15
• Họ đều tốt như nhau!
• ... nhưng là A tốt hơn B?
Tỉ số game
• Đưa hệ thống B như là cơ sở
Work- WorkSystem tải 1 tải 2 bình
A 2 0,5 1,25
hệ thống tải 1 tải 2 bình
A 2 0,5 1,25
B 1 1 1
• A là tốt hơn!
• ... nhưng là B hơn A?
Outline
• Mục tiêu (done )
• Nghệ thuật (thực hiện)
• Những sai lầm (tiếp theo)
• Phương pháp tiếp cận có hệ thống
• Trường hợp nghiên cứu • Nghiên cứu tình huống
sai lầm thường gặp (1 of 3)
• Mục tiêu không xác định
- không có những điều như một mô hình chung
- mô tả các mục tiêu và sau đó thiết kế các thí nghiệm
- (Đừng bắn và sau đó rút ra mục tiêu)
• Mục tiêu Biased • Mục tiêu thiên vị
- không hiển thị hệ thống BẠN hơn HERS
- (hiệu suất phân tích là giống như một bồi thẩm đoàn)
• Khối lượng công việc không đại diện
- nên là đại diện của thế hệ thống sẽ
làm việc "trong hoang dã "
- Ex: các gói tin lớn và nhỏ? Đừng thử nghiệm với
chỉ lớn hay chỉ nhỏ
sai lầm thường gặp (2 of 3)
• Kỹ thuật đánh giá sai
- Sử dụng thích hợp nhất: m