Use most appropriate: model, simula

Use most appropriate: model, simulation,
measurement
– (Don’t have a hammer and see everything as a
nail)
• Inappropriate Level of Detail • Inappropriate Level of Detail
– Can have too much! Ex: modeling disk
– Can have too little! Ex: analytic model for
congested router
• No Sensitivity Analysis
– Analysis is evidence and not fact
– Need to determine how sensitive results are
to settings
Common Mistakes (3 of 3)
• Improper Presentation of Results
– It is not the number of graphs, but the
number of graphs that help make decisions
• Omitting Assumptions and Limitations
– Ex: may assume most traffic TCP, whereas – Ex: may assume most traffic TCP, whereas
some links may have significant UDP traffic
– May lead to applying results where
assumptions do not hold
Outline
• Objectives (done)
• The Art (done)
• Common Mistakes (done)
• Systematic Approach (next)
• Case Study • Case Study
A Systematic Approach
1. State goals and define boundaries
2. Select performance metrics
3. List system and workload parameters
4. Select factors and values
5. Select evaluation techniques 5. Select evaluation techniques
6. Select workload
7. Design experiments
8. Analyze and interpret the data
9. Present the results. Repeat.
State Goals and Define Boundaries
• Just “measuring performance” or “seeing
how it works” is too broad
– Ex: goal is to decide which ISP provides
better throughput
• Definition of system may depend upon goals • Definition of system may depend upon goals
– Ex: if measuring CPU instruction speed,
system may include CPU + cache
– Ex: if measuring response time, system may
include CPU + memory + … + OS + user
workload
Select Metrics
• Criteria to compare performance
• In general, related to speed, accuracy
and/or availability of system services
• Ex: network performance
– Speed: throughput and delay – Speed: throughput and delay
– Accuracy: error rate
– Availability: data packets sent do arrive
• Ex: processor performance
– Speed: time to execute instructions
List Parameters
• List all parameters that affect performance
• System parameters (hardware and
software)
– Ex: CPU type, OS type, …
• Workload parameters • Workload parameters
– Ex: Number of users, type of requests
• List may not be initially complete, so have
working list and let grow as progress
Select Factors to Study
• Divide parameters into those that are to
be studied and those that are not
– Ex: may vary CPU type but fix OS type
– Ex: may fix packet size but vary number of
connections
• Select appropriate levels for each factor • Select appropriate levels for each factor
– Want typical and ones with potentially high
impact
– For workload often smaller (1/2 or 1/10
th
)
and larger (2x or 10x) range
– Start small or number can quickly overcome
available resources!
Select Evaluation Technique
• Depends upon time, resources and desired
level of accuracy
• Analytic modeling
– Quick, less accurate
• Simulation • Simulation
– Medium effort, medium accuracy
• Measurement
– Typical most effort, most accurate
• Note, above are all typical but can be
reversed in some cases!
Select Workload
• Set of service requests to system
• Depends upon measurement technique
– Analytic model may have probability of
various requests
– Simulation may have trace of requests from – Simulation may have trace of requests from
real system
– Measurement may have scripts impose
transactions
• Should be representative of real life
Design Experiments
• Want to maximize results with minimal
effort
• Phase 1:
– Many factors, few levels
– See which factors matter – See which factors matter
• Phase 2:
– Few factors, more levels
– See where the range of impact for the
factors is
Analyze and Interpret Data
• Compare alternatives
• Take into account variability of results
– Statistical techniques
• Interpret results.
– The analysis does not provide a conclusion – The analysis does not provide a conclusion
– Different analysts may come to different
conclusions
Present Results
• Make it easily understood
• Graphs
• Disseminate (entire methodology!)
"The job of a scientist is not merely to see: it isto see, "The job of a scientist is not merely to see: it isto see,
understand, and communicate. Leave out any of these
phases, and you're not doing science. If you don'tsee,
but you do understand and communicate, you're a
prophet, not a scientist. If you don't understand,but
you do see and communicate, you're a reporter, not a
scientist. If you don't communicate, but you do see and
understand, you're a mystic, not a scientist."
Outline
• Objectives (done)
• The Art (done)
• Common Mistakes (done)
• Systematic Approach (done)
• Case Study (next) • Case Study (next)
Case Study
• Consider remote pipes (rpipe) versus
remote procedure calls (rpc)
– rpc is like procedure call but procedure is
handled on remote server

Kết quả (Việt) 1:

Sử dụng thích hợp nhất: mô hình, mô phỏng, đo lường-(Không có một cái búa và nhìn thấy mọi thứ như là một móng tay)• Không phù hợp mức độ chi tiết • không phù hợp mức độ chi tiết-Có thể có quá nhiều! Ví dụ: mô hình hóa đĩa-Có thể có quá ít! Ví dụ: phân tích mô hình cho tắc nghẽn router• Không có phân tích độ nhạy-Phân tích là bằng chứng và không thực tế-Cần phải xác định làm thế nào nhạy cảm với kết quả là để cài đặtSai lầm phổ biến (3 / 3)• Trình bày không đúng cách của các kết quả-Nó không phải là số lượng các đồ thị, nhưng các số lượng các đồ thị giúp đưa ra quyết định• Bỏ qua giả định và hạn chế-Ví dụ: có thể giả định hầu hết giao thông TCP, trong khi-ví dụ: có thể giả định hầu hết giao thông TCP, trong khi một số liên kết có thể đáng kể lưu lượng truy cập UDP-Có thể dẫn đến việc áp dụng các kết quả mà giả định không giữPhác thảo• Mục tiêu (thực hiện)• Nghệ thuật (thực hiện)• Những sai lầm phổ biến (thực hiện)• Phương pháp tiếp cận có hệ thống (tiếp theo)• Nghiên cứu • trường hợp nghiên cứuMột cách tiếp cận có hệ thống1. nhà nước mục tiêu và xác định ranh giới2. chọn số liệu hiệu suất3. danh sách các tham số hệ thống và khối lượng công việc4. chọn các yếu tố và các giá trị5. chọn đánh giá kỹ thuật 5. Kỹ thuật chọn đánh giá6. chọn khối lượng công việc7. thiết kế các thử nghiệm8. phân tích và giải thích các dữ liệu9. trình bày kết quả. Lặp lại.Nhà nước mục tiêu và xác định ranh giới• Chỉ "đo lường hiệu suất" hoặc "nhìn thấy làm thế nào nó hoạt động"là quá rộng-Ex: mục tiêu là để quyết định mà ISP cung cấp tốt hơn thông qua• Định nghĩa của hệ thống có thể phụ thuộc vào mục tiêu • định nghĩa của hệ thống có thể phụ thuộc vào mục tiêu-Ví dụ: Nếu đo CPU tốc độ hướng dẫn, Hệ thống có thể bao gồm CPU + bộ nhớ cache-Ví dụ: Nếu đo thời gian phản ứng, Hệ thống có thể bao gồm CPU + bộ nhớ +... + hệ điều hành + người dùng khối lượng công việcChọn số liệu• Tiêu chuẩn để so sánh hiệu suất• Nhìn chung, liên quan đến tốc độ, độ chính xác và/hoặc sẵn có của dịch vụ hệ thống• Ví dụ: mạng lưới hoạt động-Tốc độ: băng thông và sự chậm trễ-tốc độ: băng thông và sự chậm trễ-Độ chính xác: tỷ lệ lỗi-Tình trạng sẵn có: gói dữ liệu được gửi đến• Ví dụ: bộ vi xử lý hiệu suất-Tốc độ: thời gian để thực hiện hướng dẫnDanh sách tham số• Danh sách tất cả các thông số ảnh hưởng đến hiệu suất• Các thông số hệ thống (phần cứng và phần mềm)-Ex: Loại CPU, loại hệ điều hành...• Khối lượng công việc thông số • khối lượng công việc thông số-Ex: Số lượng người dùng, loại yêu cầu• Danh sách có thể không hoàn thành Ban đầu, vì vậy có danh sách làm việc và để phát triển như tiếnChọn các yếu tố để nghiên cứu• Phân chia các thông số vào những người đang đến được nghiên cứu và những người mà không phải là-Ví dụ: có thể thay đổi loại CPU nhưng sửa chữa các loại hệ điều hành-Ví dụ: có thể khắc phục kích thước gói tin nhưng khác nhau số kết nối• Chọn mức độ thích hợp cho mỗi yếu tố • chọn các mức độ thích hợp cho mỗi yếu tố-Muốn tiêu biểu và những người có khả năng cao tác động-Đối với các khối lượng công việc thường nhỏ hơn (1/2 hoặc 1/10th) và lớn hơn (2 x hoặc 10 x) phạm vi-Bắt đầu nhỏ hoặc số có thể nhanh chóng khắc phục nguồn lực sẵn có!Select Evaluation Technique• Depends upon time, resources and desired level of accuracy• Analytic modeling– Quick, less accurate• Simulation • Simulation– Medium effort, medium accuracy• Measurement– Typical most effort, most accurate• Note, above are all typical but can be reversed in some cases!Select Workload• Set of service requests to system• Depends upon measurement technique– Analytic model may have probability of various requests– Simulation may have trace of requests from – Simulation may have trace of requests from real system– Measurement may have scripts impose transactions• Should be representative of real lifeDesign Experiments• Want to maximize results with minimal effort• Phase 1:– Many factors, few levels– See which factors matter – See which factors matter• Phase 2:– Few factors, more levels– See where the range of impact for the factors isAnalyze and Interpret Data• Compare alternatives• Take into account variability of results– Statistical techniques• Interpret results. – The analysis does not provide a conclusion – The analysis does not provide a conclusion– Different analysts may come to different conclusionsPresent Results• Make it easily understood• Graphs• Disseminate (entire methodology!)"The job of a scientist is not merely to see: it isto see, "The job of a scientist is not merely to see: it isto see, understand, and communicate. Leave out any of these phases, and you're not doing science. If you don'tsee, but you do understand and communicate, you're a prophet, not a scientist. If you don't understand,but you do see and communicate, you're a reporter, not a scientist. If you don't communicate, but you do see and understand, you're a mystic, not a scientist."Outline• Objectives (done)• The Art (done)• Common Mistakes (done)• Systematic Approach (done)• Case Study (next) • Case Study (next)Case Study• Consider remote pipes (rpipe) versus remote procedure calls (rpc)– rpc is like procedure call but procedure is handled on remote server