Use most appropriate: model, simula

Use most appropriate: model, simulation,
measurement
– (Don’t have a hammer and see everything as a
nail)
• Inappropriate Level of Detail • Inappropriate Level of Detail
– Can have too much! Ex: modeling disk
– Can have too little! Ex: analytic model for
congested router
• No Sensitivity Analysis
– Analysis is evidence and not fact
– Need to determine how sensitive results are
to settings
Common Mistakes (3 of 3)
• Improper Presentation of Results
– It is not the number of graphs, but the
number of graphs that help make decisions
• Omitting Assumptions and Limitations
– Ex: may assume most traffic TCP, whereas – Ex: may assume most traffic TCP, whereas
some links may have significant UDP traffic
– May lead to applying results where
assumptions do not hold
Outline
• Objectives (done)
• The Art (done)
• Common Mistakes (done)
• Systematic Approach (next)
• Case Study • Case Study
A Systematic Approach
1. State goals and define boundaries
2. Select performance metrics
3. List system and workload parameters
4. Select factors and values
5. Select evaluation techniques 5. Select evaluation techniques
6. Select workload
7. Design experiments
8. Analyze and interpret the data
9. Present the results. Repeat.
State Goals and Define Boundaries
• Just “measuring performance” or “seeing
how it works” is too broad
– Ex: goal is to decide which ISP provides
better throughput
• Definition of system may depend upon goals • Definition of system may depend upon goals
– Ex: if measuring CPU instruction speed,
system may include CPU + cache
– Ex: if measuring response time, system may
include CPU + memory + … + OS + user
workload
Select Metrics
• Criteria to compare performance
• In general, related to speed, accuracy
and/or availability of system services
• Ex: network performance
– Speed: throughput and delay – Speed: throughput and delay
– Accuracy: error rate
– Availability: data packets sent do arrive
• Ex: processor performance
– Speed: time to execute instructions
List Parameters
• List all parameters that affect performance
• System parameters (hardware and
software)
– Ex: CPU type, OS type, …
• Workload parameters • Workload parameters
– Ex: Number of users, type of requests
• List may not be initially complete, so have
working list and let grow as progress
Select Factors to Study
• Divide parameters into those that are to
be studied and those that are not
– Ex: may vary CPU type but fix OS type
– Ex: may fix packet size but vary number of
connections
• Select appropriate levels for each factor • Select appropriate levels for each factor
– Want typical and ones with potentially high
impact
– For workload often smaller (1/2 or 1/10
th
)
and larger (2x or 10x) range
– Start small or number can quickly overcome
available resources!
Select Evaluation Technique
• Depends upon time, resources and desired
level of accuracy
• Analytic modeling
– Quick, less accurate
• Simulation • Simulation
– Medium effort, medium accuracy
• Measurement
– Typical most effort, most accurate
• Note, above are all typical but can be
reversed in some cases!
Select Workload
• Set of service requests to system
• Depends upon measurement technique
– Analytic model may have probability of
various requests
– Simulation may have trace of requests from – Simulation may have trace of requests from
real system
– Measurement may have scripts impose
transactions
• Should be representative of real life
Design Experiments
• Want to maximize results with minimal
effort
• Phase 1:
– Many factors, few levels
– See which factors matter – See which factors matter
• Phase 2:
– Few factors, more levels
– See where the range of impact for the
factors is
Analyze and Interpret Data
• Compare alternatives
• Take into account variability of results
– Statistical techniques
• Interpret results.
– The analysis does not provide a conclusion – The analysis does not provide a conclusion
– Different analysts may come to different
conclusions
Present Results
• Make it easily understood
• Graphs
• Disseminate (entire methodology!)
"The job of a scientist is not merely to see: it isto see, "The job of a scientist is not merely to see: it isto see,
understand, and communicate. Leave out any of these
phases, and you're not doing science. If you don'tsee,
but you do understand and communicate, you're a
prophet, not a scientist. If you don't understand,but
you do see and communicate, you're a reporter, not a
scientist. If you don't communicate, but you do see and
understand, you're a mystic, not a scientist."
Outline
• Objectives (done)
• The Art (done)
• Common Mistakes (done)
• Systematic Approach (done)
• Case Study (next) • Case Study (next)
Case Study
• Consider remote pipes (rpipe) versus
remote procedure calls (rpc)
– rpc is like procedure call but procedure is
handled on remote server

Kết quả (Việt) 1:

Sử dụng thích hợp nhất: mô hình, mô phỏng, đo lường-(Không có một cái búa và nhìn thấy mọi thứ như là một móng tay)• Không phù hợp mức độ chi tiết • không phù hợp mức độ chi tiết-Có thể có quá nhiều! Ví dụ: mô hình hóa đĩa-Có thể có quá ít! Ví dụ: phân tích mô hình cho tắc nghẽn router• Không có phân tích độ nhạy-Phân tích là bằng chứng và không thực tế-Cần phải xác định làm thế nào nhạy cảm với kết quả là để cài đặtSai lầm phổ biến (3 / 3)• Trình bày không đúng cách của các kết quả-Nó không phải là số lượng các đồ thị, nhưng các số lượng các đồ thị giúp đưa ra quyết định• Bỏ qua giả định và hạn chế-Ví dụ: có thể giả định hầu hết giao thông TCP, trong khi-ví dụ: có thể giả định hầu hết giao thông TCP, trong khi một số liên kết có thể đáng kể lưu lượng truy cập UDP-Có thể dẫn đến việc áp dụng các kết quả mà giả định không giữPhác thảo• Mục tiêu (thực hiện)• Nghệ thuật (thực hiện)• Những sai lầm phổ biến (thực hiện)• Phương pháp tiếp cận có hệ thống (tiếp theo)• Nghiên cứu • trường hợp nghiên cứuMột cách tiếp cận có hệ thống1. nhà nước mục tiêu và xác định ranh giới2. chọn số liệu hiệu suất3. danh sách các tham số hệ thống và khối lượng công việc4. chọn các yếu tố và các giá trị5. chọn đánh giá kỹ thuật 5. Kỹ thuật chọn đánh giá6. chọn khối lượng công việc7. thiết kế các thử nghiệm8. phân tích và giải thích các dữ liệu9. trình bày kết quả. Lặp lại.Nhà nước mục tiêu và xác định ranh giới• Chỉ "đo lường hiệu suất" hoặc "nhìn thấy làm thế nào nó hoạt động"là quá rộng-Ex: mục tiêu là để quyết định mà ISP cung cấp tốt hơn thông qua• Định nghĩa của hệ thống có thể phụ thuộc vào mục tiêu • định nghĩa của hệ thống có thể phụ thuộc vào mục tiêu-Ví dụ: Nếu đo CPU tốc độ hướng dẫn, Hệ thống có thể bao gồm CPU + bộ nhớ cache-Ví dụ: Nếu đo thời gian phản ứng, Hệ thống có thể bao gồm CPU + bộ nhớ +... + hệ điều hành + người dùng khối lượng công việcChọn số liệu• Tiêu chuẩn để so sánh hiệu suất• Nhìn chung, liên quan đến tốc độ, độ chính xác và/hoặc sẵn có của dịch vụ hệ thống• Ví dụ: mạng lưới hoạt động-Tốc độ: băng thông và sự chậm trễ-tốc độ: băng thông và sự chậm trễ-Độ chính xác: tỷ lệ lỗi-Tình trạng sẵn có: gói dữ liệu được gửi đến• Ví dụ: bộ vi xử lý hiệu suất-Tốc độ: thời gian để thực hiện hướng dẫnDanh sách tham số• Danh sách tất cả các thông số ảnh hưởng đến hiệu suất• Các thông số hệ thống (phần cứng và phần mềm)-Ex: Loại CPU, loại hệ điều hành...• Khối lượng công việc thông số • khối lượng công việc thông số-Ex: Số lượng người dùng, loại yêu cầu• Danh sách có thể không hoàn thành Ban đầu, vì vậy có danh sách làm việc và để phát triển như tiếnChọn các yếu tố để nghiên cứu• Phân chia các thông số vào những người đang đến được nghiên cứu và những người mà không phải là-Ví dụ: có thể thay đổi loại CPU nhưng sửa chữa các loại hệ điều hành-Ví dụ: có thể khắc phục kích thước gói tin nhưng khác nhau số kết nối• Chọn mức độ thích hợp cho mỗi yếu tố • chọn các mức độ thích hợp cho mỗi yếu tố-Muốn tiêu biểu và những người có khả năng cao tác động-Đối với các khối lượng công việc thường nhỏ hơn (1/2 hoặc 1/10th) và lớn hơn (2 x hoặc 10 x) phạm vi-Bắt đầu nhỏ hoặc số có thể nhanh chóng khắc phục nguồn lực sẵn có!Kỹ thuật chọn đánh giá• Phụ thuộc vào thời gian, nguồn lực và mong muốn mức độ chính xác• Phân tích mô hình-Nhanh chóng, ít chính xác hơn• Mô phỏng • mô phỏng-Vừa nỗ lực, độ chính xác vừa• Đo lường-Điển hình nỗ lực nhất, chính xác nhất• Lưu ý, ở trên tất cả điển hình nhưng có thể đảo ngược trong một số trường hợp!Chọn khối lượng công việc• Đặt dịch vụ yêu cầu hệ thống• Phụ thuộc vào kỹ thuật đo lường-Phân tích mô hình có thể có khả năng yêu cầu khác nhau-Mô phỏng có thể có dấu vết của các yêu cầu từ-mô phỏng có thể có dấu vết của các yêu cầu từ thực tế hệ thống-Đo lường có thể có kịch bản áp đặt giao dịch• Nên có đại diện của cuộc sống thựcThiết kế thí nghiệm• Muốn tối đa hóa kết quả với tối thiểu nỗ lực• Các giai đoạn 1:-Nhiều yếu tố, vài cấp độ-Xem các yếu tố quan trọng-xem những yếu tố quan trọng• Các giai đoạn 2:-Vài yếu tố, mức độ-Thấy nơi phạm vi tác động đối với các yếu tốPhân tích và giải thích các dữ liệu• So sánh lựa chọn thay thế• Đưa vào tài khoản biến thiên của kết quả-Kỹ thuật thống kê• Giải thích kết quả. -Phân tích không cung cấp một kết luận-phân tích không cung cấp một kết luận-Khác nhau các nhà phân tích có thể đến khác nhau kết luậnKết quả hiện tại• Làm cho nó dễ hiểu• Đồ thị• Phổ biến (phương pháp toàn bộ!)"Công việc của một nhà khoa học không phải là chỉ đơn thuần là để xem: nó việcvăn thấy," công việc của một nhà khoa học không phải là chỉ đơn thuần là để xem: nó cho thấy việcvăn, hiểu và giao tiếp. Bỏ qua bất kỳ của những giai đoạn, và bạn không phải làm khoa học. Nếu bạn don'tsee, nhưng bạn hiểu và giao tiếp, bạn là một nhà tiên tri, không phải là một nhà khoa học. Nếu bạn không hiểu, nhưng bạn nhìn thấy và giao tiếp, bạn là một phóng viên, không một nhà khoa học. Nếu bạn không giao tiếp, nhưng bạn thấy và Tìm hiểu, bạn là một thần bí, không phải là một nhà khoa học."Phác thảo• Mục tiêu (thực hiện)• Nghệ thuật (thực hiện)• Những sai lầm phổ biến (thực hiện)• Phương pháp tiếp cận có hệ thống (thực hiện)• Nghiên cứu trường hợp (tiếp theo) • nghiên cứu trường hợp (tiếp theo)Trường hợp nghiên cứu• Xem xét đường ống từ xa (rpipe) so với cuộc gọi thủ tục từ xa (rpc)-rpc như cuộc gọi thủ tục nhưng thủ tục xử lý trên máy chủ từ xa

Kết quả (Việt) 2:

Sử dụng thích hợp nhất: mô hình, mô phỏng,
đo lường
- (Không có một cái búa và thấy mọi thứ như một
móng)
• không phù hợp Mức độ chi tiết không phù hợp • Mức độ chi tiết
- Có thể có quá nhiều! Ex: mô hình đĩa
- có thể có quá ít! Ex: mô hình phân tích cho
bộ định tuyến tắc nghẽn
• Không phân tích độ nhạy
- Phân tích bằng chứng và không thực tế
- Cần xác định kết quả nhạy cảm là
để thiết lập
sai lầm thường gặp (3 trong số 3)
• Trình bày không đúng cách Kết quả
- Nó không phải là số của đồ thị, nhưng các
số đồ thị giúp đưa ra quyết định
• Bỏ giả định và hạn chế
- Ex: có thể giả nhất TCP giao thông, trong khi - Ex: có thể giả nhất TCP giao thông, trong khi
một số liên kết có thể có lưu lượng UDP đáng kể
- có thể dẫn đến việc áp dụng kết quả mà
các giả định không giữ
Outline
• Mục tiêu (thực hiện)
• Nghệ thuật (thực hiện)
• Những sai lầm (thực hiện)
• Phương pháp tiếp cận có hệ thống (tiếp theo)
• Nghiên cứu • Nghiên cứu tình huống
một cách tiếp cận có hệ thống
1. Mục tiêu Nhà nước và xác định ranh giới
2. Chọn chỉ số hiệu suất
3. Danh sách hệ thống và khối lượng công việc thông số
4. Chọn các yếu tố và giá trị
5. Chọn các kỹ thuật đánh giá 5. Chọn các kỹ thuật đánh giá
6. Chọn khối lượng công việc
7. Thí nghiệm thiết kế
8. Phân tích và giải thích các dữ liệu
9. Trình bày kết quả. Lặp lại.
Mục tiêu Nhà nước và xác định ranh giới
• Chỉ cần "để đo lường hiệu suất" hoặc "nhìn thấy
như thế nào nó hoạt động" là quá rộng
- Ex: Mục tiêu là để quyết định ISP cung cấp
tốt hơn thông
• Xác định hệ thống có thể phụ thuộc vào các mục tiêu • Xác định hệ thống có thể phụ thuộc vào mục tiêu
- Ex: nếu đo tốc độ lệnh CPU,
hệ thống có thể bao gồm CPU + bộ nhớ cache
- Ex: nếu đo thời gian phản ứng, hệ thống có thể
bao gồm CPU + bộ nhớ + ... + OS + sử dụng
khối lượng công việc
Chọn Số liệu
• Các tiêu chí để so sánh hiệu suất
• Nhìn chung, liên quan đến tốc độ, độ chính xác
và / hoặc sẵn có của hệ thống dịch vụ
• Ex: hiệu suất mạng
- tốc độ: thông lượng và sự chậm trễ - tốc độ: thông lượng và sự chậm trễ
- độ chính xác: tỷ lệ lỗi
- sẵn có: các gói dữ liệu được gửi làm đến
• Ex: hiệu suất xử lý
- tốc độ: thời gian để thực hiện hướng dẫn
Danh sách thông số
• Danh sách tất cả các thông số ảnh hưởng đến hiệu suất
• Hệ thống thông số (phần cứng và
phần mềm)
- Ví dụ: loại CPU, loại hệ điều hành, ...
• Workload thông số • Workload thông số
- Ex: số người dùng, loại yêu cầu
• Danh sách có thể không ban đầu hoàn chỉnh, do đó có
danh sách làm việc và để phát triển như tiến
Chọn yếu tố để học
• các thông số Chia thành những người là để
được nghiên cứu và những người không được
- Ex: có thể thay đổi loại CPU nhưng khắc phục loại OS
- Ex: có thể sửa chữa kích thước gói tin nhưng khác nhau số lượng
các kết nối
• Chọn mức độ thích hợp cho từng yếu tố • Chọn mức độ thích hợp cho từng yếu tố
- Muốn điển hình và những người thân với khả năng cao
tác động
- đối với khối lượng công việc thường nhỏ (1/2 hoặc 1/10
thứ
)
và lớn hơn (2x hoặc 10x) phạm vi
- Bắt đầu nhỏ hoặc số có thể nhanh chóng vượt qua những
nguồn lực sẵn có!
Chọn Kỹ thuật Đánh giá
• Tùy thuộc vào thời gian, nguồn lực và mong muốn
mức độ chính xác
• mô hình phân tích
- Quick, kém chính xác
• mô phỏng • mô phỏng
- nỗ lực trung bình, trung bình chính xác
• đo lường
- điển hình nỗ lực nhất, chính xác nhất
• Lưu ý, ở trên là tất cả các điển hình nhưng có thể được
đảo ngược trong một số trường hợp!
Chọn Workload
• Thiết lập các yêu cầu dịch vụ vào hệ thống
• Tùy thuộc vào kỹ thuật đo lường
- mô hình phân tích có thể có xác suất của
các yêu cầu khác nhau
- mô phỏng có thể có dấu vết của các yêu cầu từ - mô phỏng có thể có dấu vết của các yêu cầu từ
hệ thống thực
- đo lường có thể có các kịch bản áp đặt
các giao dịch
• nên đại diện của cuộc sống thực
Thiết kế thí nghiệm
• Bạn muốn tối đa hóa kết quả với ít
nỗ lực
• Giai đoạn 1:
- có nhiều yếu tố, mức độ ít
- Xem những yếu tố quan trọng - Xem mà yếu tố quan trọng
• Giai đoạn 2:
- Rất ít các yếu tố, nhiều cấp độ
- Xem nơi phạm vi tác động của
các yếu tố được
phân tích và phân tích các dữ liệu
• So sánh các lựa chọn thay thế
• Đi vào biến động tài khoản của kết quả
- kỹ thuật thống kê
. • Giải thích các kết quả
- phân tích không cung cấp một kết luận - phân tích không cung cấp một kết luận
- nhà phân tích khác nhau có thể đến với nhau
kết luận
kết quả hiện tại
• làm cho nó dễ hiểu
• Đồ thị
• Phổ biến (toàn bộ phương pháp luận!)
"công việc của một nhà khoa học không chỉ đơn thuần là để xem: nó Isto thấy, "công việc của một nhà khoa học không chỉ đơn thuần là để xem: nó Isto thấy,
hiểu, và giao tiếp. Viết ra bất kỳ của các
giai đoạn, và bạn không làm khoa học. Nếu bạn don'tsee,
nhưng bạn hiểu và giao tiếp, bạn là một
nhà tiên tri, không phải là một nhà khoa học. Nếu bạn không hiểu, nhưng
bạn không nhìn thấy và giao tiếp, bạn là một phóng viên, không phải là một
nhà khoa học. Nếu bạn không giao tiếp, nhưng bạn không nhìn thấy và
hiểu, bạn là một nhà thần bí, không phải là một nhà khoa học. "
Outline
• Mục tiêu (thực hiện)
• Nghệ thuật (thực hiện)
• Những sai lầm (thực hiện)
• Phương pháp tiếp cận có hệ thống (thực hiện)
• trường hợp nghiên cứu (tiếp theo) • trường hợp nghiên cứu (tiếp theo)
trường hợp nghiên cứu
• Hãy xem xét ống từ xa (rpipe) so với
các cuộc gọi thủ tục từ xa (RPC)
- rpc giống như cuộc gọi thủ tục nhưng thủ tục được
xử lý trên máy chủ từ xa