Lectured by Dr. Tran Ngoc MinhDepar

Lectured by Dr. Tran Ngoc Minh
Department of System and Networking
Faculty of Computer Science and Engineering
Chapter 1: Introduction
Faculty of Computer Science and Engineering
Slides from Prof. Mark Claypool
Let’s Get Started!
• Describe a performance study you have
done
– Work or School or …
• Describe a performance study you have
recently read about
– Research paper
– Newspaper article
– Scientific journal
• And list one good thing or one bad thing
about it
Outline
• Objectives (next)
• The Art
• Common Mistakes
• Systematic Approach
• Case Study • Case Study
Objectives (1 of 6)
• Select appropriate evaluation techniques,
performance metrics and workloads for a system.
– Techniques: measurement, simulation, analytic
modeling
– Metrics: criteria to study performance (ex:
response time)
– Workloads: requests by users/applications to the – Workloads: requests by users/applications to the
system
• Example: What performance metrics should you
use for the following systems?
– a) Two disk drives
– b) Two transactions processing systems
– c) Two packet retransmission algorithms
Objectives (2 of 6)
• Conduct performance measurements
correctly
– Need two tools: load generator and monitor
• Example: Which workload would be
appropriate to measure performance for
the following systems?
– a) Utilization on a LAN
– b) Response time from a Web server
– c) Audio quality in a VoIP network
Objectives (3 of 6)
• Use proper statistical techniques to compare
several alternatives
– One run of workload often not sufficient
• Many non-deterministic computer events that effect
performance
– Comparing average of several runs may also not lead
to correct results
• Especially if variance is high
• Example: Packets lost on a link. Which link is
better?
File Size Link A Link B
1000 5 10
1200 7 3
1300 3 0
50 0 1
Objectives (4 of 6)
• Design measurement and simulation experiments to
provide the most information with the least effort.
– Often many factors that affect performance. Separate
out the effects that individually matter.
• Example: The performance of a system depends upon
three factors:
– A) garbage collection technique: G1, G2 none
– B) type of workload: editing, compiling, AI
– C) type of CPU: P2, P4, Sparc
How many experiments are needed? How can the
performance of each factor be estimated?
Objectives (5 of 6)
• Perform simulations correctly
– Select correct language, seeds for random
numbers, length of simulation run, and
analysis
– Before all of that, may need to validate
simulator
• Example: To compare the performance of
two cache replacement algorithms:
– A) how long should the simulation be run?
– B) what can be done to get the same
accuracy with a shorter run?
Objectives (6 of 6)
• Use simple queuing models to analyze the
performance of systems.
• Often can model computer systems by
service rate and arrival rate of load
– Multiple servers – Multiple servers
– Multiple queues
• Example:
– For a given Web request rate, is it more
effective to have 2 single-processor Web
servers or 4 single-processor Web servers?
Outline
• Objectives (done)
• The Art (next)
• Common Mistakes
• Systematic Approach
• Case Study • Case Study
The Art of Performance Evaluation
• Evaluation cannot be produced mechanically
– Requires intimate knowledge of system
– Careful selection of methodology, workload,
tools
• No one correct answer as two performance • No one correct answer as two performance
analysts may choose different metrics or
workloads
• Like art, there are techniques to learn
– how to use them
– when to apply them
Example: Comparing Two Systems
• Two systems, two workloads, measure
transactions per second
Work- WorkSystem load 1 load 2 System load 1 load 2
A 20 10
B 10 20
• Which is better?
Example: Comparing Two Systems
• Two systems, two workloads, measure
transactions per second
Work- WorkSystem load 1 load 2 Average System load 1 load 2 Average
A 20 10 15
B 10 20 15
• They are equally good!
• … but is A better than B?
The Ratio Game
• Take system B as the base
Work- WorkSystem load 1 load 2 Average
A 2 0.5 1.25
System load 1 load 2 Average
A 2 0.5 1.25
B 1 1 1
• A is better!
• … but is B better than A?
Outline
• Objectives (done)
• The Art (done)
• Common Mistakes (next)
• Systematic Approach
• Case Study • Case Study
Common Mistakes (1 of 3)
• Undefined Goals
– There is no such thing as a general model
– Describe goals and then design experiments
– (Don’t shoot and then draw target)
• Biased Goals • Biased Goals
– Don’t show YOUR system better than HERS
– (Performance analysis is like a jury)
• Unrepresentative Workload
– Should be representative of how system will
work “in the wild”
– Ex: large and small packets? Don’t test with
only large or only small
Common Mistakes (2 of 3)
• Wrong Evaluation Technique

Kết quả (Việt) 1:

Giảng dạy của tiến sĩ Trần Ngọc MinhVùng hệ thống và mạngKhoa Khoa học máy tính và kỹ thuậtChương 1: giới thiệuKhoa Khoa học máy tính và kỹ thuậtSlide từ giáo sư Mark ClaypoolHãy bắt đầu!• Mô tả một hiệu suất nghiên cứu, bạn có thực hiện-Làm việc hay trường học hoặc...• Mô tả một hiệu suất nghiên cứu, bạn có gần đây, đọc về-Nghiên cứu giấy-Bài viết báo chí-Tạp chí khoa học• Và danh sách một trong những điều tốt hay điều xấu về nóPhác thảo• Mục tiêu (tiếp theo)• Nghệ thuật• Các sai lầm thường gặp• Phương pháp tiếp cận có hệ thống• Nghiên cứu • trường hợp nghiên cứuMục tiêu (1 / 6)• Chọn kỹ thuật thích hợp đánh giá, số liệu hiệu suất và khối lượng công việc cho một hệ thống. -Kỹ thuật: đo lường, mô phỏng, phân tích Mô hình hóa-Số liệu: tiêu chí học hiệu suất (ví dụ: thời gian đáp ứng)-Khối lượng công việc: các yêu cầu của người sử dụng/ứng dụng cho các khối lượng công việc: yêu cầu của người sử dụng/ứng dụng cho các Hệ thống• Ví dụ: những số liệu hiệu suất, bạn nên sử dụng cho các hệ thống?-một) hai ổ đĩa-b) hai giao dịch chế biến hệ thống-c) 2 gói retransmission thuật toánMục tiêu (2 / 6)• Tiến hành đo lường hiệu suất một cách chính xác-Cần hai công cụ: tải máy phát điện và màn hình• Ví dụ: khối lượng công việc mà sẽ thích hợp để đo lường hiệu suất cho Các hệ thống sau?-một) sử dụng trên một mạng LAN-thời gian b) phản ứng từ một máy chủ Web-c) âm thanh chất lượng trong một mạng VoIPMục tiêu (3 / 6)• Sử dụng đúng kỹ thuật thống kê để so sánh một số lựa chọn thay thế-Một chạy thường không đủ khối lượng công việc• Nhiều sự kiện không xác định máy tính hiệu quả hiệu suất-So sánh là chạy một số cũng có thể không dẫnđể kết quả chính xác• Đặc biệt là nếu phương sai cao• Ví dụ: gói dữ liệu mất trên một liên kết. Liên kết đó là tốt hơn?Kích thước liên kết một liên kết B1000 5 101200 7 31300 3 050 0 1Mục tiêu (4 / 6)• Thiết kế đo lường và mô phỏng thí nghiệm để cung cấp những thông tin với nỗ lực ít nhất. -Thường nhiều yếu tố ảnh hưởng đến hiệu suất. Riêng biệt ra hiệu ứng cá nhân quan trọng.• Ví dụ: hiệu suất của một hệ thống phụ thuộc vào ba yếu tố:-A) kỹ thuật bộ sưu tập rác: G1, G2 none-Loại B) khối lượng công việc: chỉnh sửa, biên dịch, AI-C) loại CPU: P2, P4, SparcLàm thế nào nhiều thí nghiệm là cần thiết? Làm thế nào có thể các hiệu suất của mỗi yếu tố được ước tính?Mục tiêu (5 / 6)• Thực hiện mô phỏng một cách chính xác-Chọn đúng ngôn ngữ, hạt giống cho ngẫu nhiên số điện thoại, chiều dài của mô phỏng chạy, và phân tích-Trước khi tất cả đó, có thể cần phải xác nhận Mô phỏng• Ví dụ: để so sánh hiệu suất của hai các thuật toán thay thế bộ nhớ cache:-A) bao lâu nên các mô phỏng được chạy?-B) những gì có thể được thực hiện để có được như vậy độ chính xác với một chạy ngắn hơn?Mục tiêu (6 / 6)• Sử dụng mô hình xếp hàng đơn giản để phân tích các hiệu suất của hệ thống.• Thường xuyên có thể mô hình hệ thống máy tính bằng tốc độ dịch vụ và đến tốc độ tải-Nhiều máy chủ-nhiều máy chủ-Nhiều hàng đợi• Ví dụ:-Đối với một trang Web đưa ra yêu cầu tỷ lệ, là nó nhiều hơn nữa hiệu quả có 2 bộ vi xử lý đơn trang Web Các máy chủ hoặc máy chủ Web đơn-bộ xử lý 4?Phác thảo• Mục tiêu (thực hiện)• Nghệ thuật (tiếp theo)• Các sai lầm thường gặp• Phương pháp tiếp cận có hệ thống• Nghiên cứu • trường hợp nghiên cứuNghệ thuật đánh giá hiệu suất• Đánh giá không thể được sản xuất máy móc-Yêu cầu các kiến thức thân mật của hệ thống-Cẩn thận lựa chọn các phương pháp luận, khối lượng công việc, công cụ• Không ai chính xác trả lời như là hai hiệu suất • không có một câu trả lời đúng như hai hiệu suất Các nhà phân tích có thể lựa chọn các số liệu khác nhau hay khối lượng công việc• Giống như nghệ thuật, có những kỹ thuật để tìm hiểu-làm thế nào để sử dụng chúng-Khi nào thì áp dụng chúngVí dụ: So sánh hai hệ thống• Hai hệ thống, hai khối lượng công việc, đo lường giao dịch mỗi thứ haiLàm việc - WorkSystem tải 1 tải 2 hệ thống tải 1 tải 220 10B 10 20• Đó là tốt hơn?Ví dụ: So sánh hai hệ thống• Hai hệ thống, hai khối lượng công việc, đo lường giao dịch mỗi thứ haiLàm việc - WorkSystem tải 1 tải 2 hệ thống trung bình tải 1 tải trung bình 2MỘT 20 10 15B 10 20 15• Họ là bằng nhau tốt!•... nhưng là một tốt hơn so với B?Trò chơi tỷ lệ• Có hệ thống B là cơ sởLàm việc - WorkSystem tải 1 tải trung bình 20,5 2 1.25Hệ thống tải 1 tải trung bình 20,5 2 1.25B 1 1 1• Một là tốt hơn!•... nhưng B tốt hơn A?Phác thảo• Mục tiêu (thực hiện)• Nghệ thuật (thực hiện)• Sai lầm phổ biến (tiếp theo)• Phương pháp tiếp cận có hệ thống• Nghiên cứu • trường hợp nghiên cứuSai lầm phổ biến (1 / 3)• Undefined mục tiêu-Không có điều như vậy như là một mô hình tổng hợp-Mô tả mục tiêu và sau đó thiết kế thí nghiệm-(Không bắn và sau đó rút ra mục tiêu)• Kiến bàn • thiên vị mục tiêu-Không thấy hệ thống của bạn tốt hơn so với cô ấy-(Phân tích hiệu suất cũng giống như một ban giám khảo)• Khối lượng công việc unrepresentative-Nên có đại diện của làm thế nào hệ thống sẽ làm việc "in the wild"-Ex: gói dữ liệu lớn và nhỏ? Không thử nghiệm với lớn duy nhất hoặc chỉ nhỏSai lầm phổ biến (2 / 3)• Đánh giá sai kỹ thuật