Guide toEvaluating the Effectivenes

Guide to
Evaluating the Effectiveness of Strategies for
Preventing Work Injuries:
How to Show Whether a Safety Intervention Really Works
Lynda S. Robson, Harry S. Shannon, Linda M. Goldenhar, Andrew R. Hale
DEPARTMENT OF HEALTH AND HUMAN SERVICES
Public Health Service
Centers for Disease Control and Prevention
National Institute for Occupational Safety and Health
April 2001
ii
DISCLAIMER
Mention of any company name or product does not constitute endorsement by the
National Institute for Occupational Safety and Health.
This document is in the public domain and may be freely copied or reprinted.
Copies of this and other NIOSH documents are available from NIOSH.
For information about occupational safety and health topics contact NIOSH at:
1-800-35-NIOSH (1-800-356-4674)
Fax: [phone]
E-mail: [e-mail]
www.cdc.gov/niosh
National Institute for Occupational Safety and Health
Publications Dissemination
4676 Columbia Parkway
Cincinnati, OH 45226-1998
For information about the Institute For Work & Health and its research:
416-927-2027
Fax: [phone]
E-mail: [e-mail]
www.iwh.on.ca
DHHS (NIOSH) Publication No. 2001-119
Table of Contents
Acknowledgements ................................................................................................................................. ix
Preface ........................................................................................................................................................ xi
Information About Authors....................................................................................................................... xiii
Chapter 1 Introduction: Safety Intervention Effectiveness Evaluation ................................... 1
1.1 What is a safety intervention? ........................................................................................ 1
1.2 Effectiveness evaluation .................................................................................................. 2
1.3 Overview of the evaluation process and the guide .................................................... 2
1.4 Other types of evaluations .............................................................................................. 3
Chapter 2 Planning Right from the Start ....................................................................................... 5
2.1 Introduction ...................................................................................................................... 6
2.2 Defining the scope of the evaluation ............................................................................. 6
2.3 Who should be involved with the evaluation? ............................................................ 6
2.3.1 Evaluation committee ......................................................................................................... 6
2.3.2 Internal vs. external evaluators .......................................................................................... 7
2.3.3 Technical or methodological expertise ................................................................................. 7
2.4 Models to assist planning ...................................................................................................... 8
2.4.1 Conceptual models .............................................................................................................. 8
2.4.2 Program logic models .......................................................................................................... 10
2.5 Quantitative vs. qualitative methods for collecting evaluation data ........................ 11
2.6 Choosing the evaluation design ........................................................................................... 12
2.6.1 Strength of evidence provided by different evaluation designs ........................................... 13
2.6.2 Ethical considerations ......................................................................................................... 14
2.7 Practical tips ...................................................................................................................... 14
2.7.1 Time management ............................................................................................................... 14
2.7.2 Dealing with reaction to interim results ............................................................................. 14
2.7.3 Intervention diary ............................................................................................................... 14
2.7.4 Getting cooperation of workplace parties ............................................................................ 15
2.8 Summary ........................................................................................................................... 15
Chapter 3 Before-and-after design: A simple evaluation design ............................................. 17
3.1 Introduction ...................................................................................................................... 18
3.2 Design terminology ......................................................................................................... 18
3.3 Non-experimental designs .............................................................................................. 18
3.4 Before-and-after design ................................................................................................... 19
iii
3.5 Threats to internal validity of before-and-after designs ......................................... 19
3.5.1 History threat ...................................................................................................................... 20
3.5.2 Instrumentation/reporting threat ....................................................................................... 22
3.5.3 Regression-to-the-mean threat ............................................................................................ 23
3.5.4 Testing threat ...................................................................................................................... 24
3.5.5 Placebo and Hawthorne threats .......................................................................................... 25
3.5.6 Maturation threat ............................................................................................................... 26
3.5.7 Dropout threat ..................................................................................................................... 26
3.6 Summary 27
Chapter 4 Quasi-experimental and experimental designs: more powerful
evaluation designs ........................................................................................................... 29
4.1 Introduction ...................................................................................................................... 30
4.2 Quasi-experimental designs ........................................................................................... 30
4.2.1 Strategy #1: Add a control group (e.g., pre-post with non-randomized control) ............... 30
4.2.2 Strategy #2: take more measurements (time series designs) ............................................... 32
4.2.3 Strategy #3: Stagger the introduction of the intervention (e.g., multiple baseline ...........
design across groups) .................................................................................................... 33
4.2.4 Strategy #4: Reverse the intervention ............................................................................... 35
4.2.5 Strategy #5: Measure multiple outcomes .......................................................................... 35
4.3 Experimental designs ...................................................................................................... 37
4.3.1 Experimental designs with “before” and “after” measurements ....................................... 37
4.3.2 Experimental designs with “after”-only measurements .................................................... 39
4.4 Threats to internal validity in designs with control groups ....................................... 40
4.4.1 Selection threats .................................................................................................................. 40
4.4.2 Selection interaction threats ................................................................................................ 40
4.4.3 Diffusion or contamination threat .................................................................................... 41
4.4.4 Rivalry or resentment threat ............................................................................................... 41
4.5 Summary ........................................................................................................................... 42
Chapter 5 Study sample: Who should be in your intervention and evaluation? ................... 43
5.1 Introduction ...................................................................................................................... 44
5.2 Some definitions ............................................................................................................... 44
5.3 Choosing people, groups or workplaces for the study sample ................................ 44
5.3.1 How to choose a (simple) random sample ........................................................................... 45
5.3.2 How to choose a stratified random sample .......................................................................... 47
5.4 Randomization - forming groups in experimental designs ....................................... 48
5.4.1 Why randomize? ................................................................................................................. 48
5.4.2 Randomized block design and matching ............................................................................. 49
5.5 Forming groups in quasi-experimental designs .........

Kết quả (Việt) 2:

Hướng dẫn
Đánh giá hiệu quả của các chiến lược cho
Phòng chống Thương tích làm việc:
Làm thế nào để hiển thị dù một can thiệp an toàn thực sự làm việc
Lynda S. Robson, Harry S. Shannon, Linda M. Goldenhar, Andrew R. Hale
SỞ Y TẾ VÀ DỊCH VỤ NHÂN
Dịch vụ Y tế Công cộng
Trung tâm Kiểm Soát và Ngừa Bệnh
Viện Quốc gia về An toàn và Sức khỏe Lao
Tháng tư 2001
ii
KHUYẾN
Mention của bất kỳ tên công ty hoặc sản phẩm không cấu thành sự chứng thực bởi
Viện Quốc gia về An toàn lao động và vệ.
Tài liệu này thuộc phạm vi công cộng và có thể được sao chép một cách tự do hay tái bản.
Bản sao này và các văn NIOSH khác có sẵn từ NIOSH.
Để biết thông tin về chủ đề an toàn và sức khỏe nghề nghiệp liên hệ với NIOSH tại:
1-800-35-NIOSH (1-800-356-4674)
Fax: [phone]
E -mail: [e-mail]
www.cdc.gov/niosh
Viện Quốc gia về An toàn và Sức khỏe Lao
ấn phẩm phổ biến
4676 Columbia Parkway
Cincinnati, OH 45.226-1.998
Để biết thông tin về Viện Đối Work & Y tế và nghiên cứu của mình:
416-927- 2027
Fax: [phone]
E-mail: [e-mail]
www.iwh.on.ca
DHHS (NIOSH) xuất bản số 2001-119
Mục lục
Lời cảm ơn ix
Lời nói đầu xi
Information About xiii
Chương 1 Giới thiệu: An toàn hiệu quả can thiệp đánh giá ................................... 1
1.1 an toàn là gì can thiệp? .................................................. ...................................... 1
1.2 đánh giá hiệu quả ........ .................................................. ........................................ 2
1.3 Tổng quan về quá trình đánh giá và hướng dẫn .................................................. .. 2
1.4 Các loại đánh giá .......................................... .................................................. .. 3
Chương 2 Kế hoạch phải từ Start ........................................ ............................................... 5
2.1 Giới thiệu 6
2.2 Xác định phạm vi đánh giá .......................................... ................................... 6
2.3 Ai nên tham gia với các đánh giá? .................................................. .......... 6
ban 2.3.1 Đánh giá 6
2.3.2 Nội vs đánh giá bên ngoài ......................................... ................................................. 7
2.3.3 Kỹ thuật hoặc phương pháp chuyên môn ........................................... ...................................... 7
2.4 Mô hình hỗ trợ lập kế hoạch 8
2.4.1 mô hình khái niệm 8
2.4.2 mô hình logic của Chương trình 10
2.5 Định lượng so với các phương pháp định tính thu thập dữ liệu đánh giá ........................ 11
2.6 Lựa chọn thiết kế đánh giá ......... .................................................. ................................ 12
2.6.1 Sức mạnh của bằng chứng được cung cấp bởi các thiết kế khác nhau ...... đánh giá ..................................... 13
2.6.2 cân nhắc đạo đức 14
2.7 lời khuyên thiết thực 14
2.7.1 Quản lý thời gian 14
2.7.2 Đối phó với phản ứng với kết quả tạm thời ........................................ ..................................... 14
2.7.3 Can thiệp nhật ký 14
2.7.4 Bắt hợp tác của các bên tại nơi làm việc ......................................... ................................... 15
2.8 Tóm tắt 15
Chương 3 Trước và sau khi thiết kế: Một thiết kế đơn giản đánh giá .................................... ......... 17
3.1 Giới thiệu 18
3.2 Thiết kế các thuật ngữ 18
3.3 thiết kế Non-nghiệm ............................................ .................................................. 18
3.4 Thiết kế Trước và sau .......................................... .................................................. ....... 19
iii
3.5 Các mối đe dọa đến tính hợp lệ của nội bộ trước và sau khi thiết kế ............................. ............ 19
mối đe dọa 3.5.1 Lịch sử 20
3.5.2 Instrumentation / mối đe dọa báo cáo .......................................... ............................................. 22
3.5.3 Regression -để-the-trung bình mối đe dọa ........................................... ................................................. 23
3.5.4 Kiểm tra mối đe dọa 24
3.5.5 Placebo và Hawthorne mối đe dọa .......................................... ................................................ 25
3.5 Cây trưởng thành mối đe dọa 0,6 26
mối đe dọa 3.5.7 Dropout 26
3.6 Tóm tắt 27
Chương 4 thiết kế Quasi-nghiệm và thực nghiệm: mạnh hơn
thiết kế đánh giá 29
4.1 Giới thiệu 30
4.2 thiết kế Quasi-nghiệm ............................................ ............................................... 30
4.2. 1 Chiến lược # 1: Thêm một nhóm kiểm soát (ví dụ, trước khi đăng bài với kiểm soát không ngẫu nhiên) ............... 30
4.2.2 Chiến lược # 2: lấy số đo hơn (chuỗi thời gian thiết kế) ............................................... 32
4.2.3 Chiến lược 3: tách rời sự ra đời của các can thiệp (ví dụ, nhiều cơ sở ...........
thiết kế giữa các nhóm) ................. .................................................. ................................. 33
4.2.4 Chiến lược # 4: Đảo ngược sự can thiệp ...... .................................................. ....................... 35
4.2.5 Chiến lược # 5: Đo nhiều kết quả ................ .................................................. ........ 35
4.3 thiết kế thực nghiệm 37
4.3.1 thiết kế thực nghiệm với "trước" và "sau khi" đo ................................... .... 37
4.3.2 thiết kế thực nghiệm với "sau khi" đo -only ................................. ................... 39
4.4 Các mối đe dọa đến giá trị bên trong các thiết kế với các nhóm kiểm soát .................... ................... 40
4.4.1 Lựa chọn các mối đe dọa 40
4.4.2 Lựa chọn các mối đe dọa tương tác ........................................... .................................................. ... 40
4.4.3 Diffusion hoặc ô nhiễm đe dọa ....................................... ............................................. 41
4.4.4 Sự cạnh tranh hoặc oán giận đe dọa ............................................... ................................................ 41
4.5 tóm lược 42
Chương 5 mẫu học: Ai nên được can thiệp và đánh giá của bạn? ................... 43
5.1 Giới thiệu 44
5.2 Một số định nghĩa 44
5.3 Lựa chọn người, nhóm người hoặc nơi làm việc cho các mẫu nghiên cứu ................................ 44
5.3.1 Làm thế nào để chọn một (đơn giản) mẫu ngẫu nhiên ........................................... ................................ 45
5.3.2 Làm thế nào để lựa chọn một mẫu ngẫu nhiên phân tầng ....... .................................................. ................. 47
5.4 Randomization - nhóm hình thành trong thiết kế thử nghiệm ........................ ............... 48
5.4.1 Tại sao ngẫu nhiên? 48
5.4.2 khối ngẫu nhiên và thiết kế phù hợp ......................................... .................................... 49
5.5 Hình thành các nhóm trong thiết kế bán ngẫu ..... ....