Clinical versus Statistical Predict

Clinical versus Statistical Prediction
In 1954, Meehl published his so-called “disturbing little book” Clinical versus Statistical Prediction: A Theoretical Analysis and a Review of the Evidence (Meehl, 1954). In it, Meehl summarizes twenty empirical studies and finds that clinicians (who provide expert judgments) are usually outperformed by actuarial methods (statistical prediction models). Meehl (1986) states, based on an updated set of reviewed studies, that “When you are pushing 90 investigations, predicting everything from the outcomes of football games to the diagnosis of liver disease and when you can hardly come up with a half dozen studies showing even a weak tendency in favour of the clinician, it is time to draw a practical conclusion.” A more recent meta-analysis, extending the studies summarized by Meehl, is provided in Grove, Zald et al. (2000). That study found that “… mechanical predictions of human behaviors are equal or superior to clinical prediction methods for a wide range of circumstances.” Dawes, Faust and Meehl (1989) emphasize the following two factors that underlie the superiority of statistical models: i) Models are consistent; the same input always leads to the same conclusion, while experts are inconsistent. ii) Models ensure that variables contribute to a conclusion based on their actual predictive power and relationship to the criterion of interest. Experts have problems in distinguishing between valid and invalid variables, due, among other things, to poor and misleading feedback about the accuracy of judgment. The importance of the two factors is also supported by a substantial amount of independent empirical evidence, e.g., by studies on the “the dilution effect” in expert judgment (Wallner & Zimbelman, 2003). Transferring Meehl’s recommendation “it is time to draw a practical conclusion” naïvely to the context of software effort estimation, we are exhorted to use models and to stop using expert judgment when estimating software development effort. There are, however, at least two issues that may make this type of conclusion premature in the context of software development:
5
• The performance of an estimation model depends on the properties of the relationships it attempts to model. In the domain of software development effort estimation, the validity of basic model assumptions, e.g., the stability of an effort-size relationship (Kitchenham 1992; Dolado 2001), are contentious, and may have lower validity than the essential assumptions made when using models in other domains. In medicine, for example, the assumption of stable underlying (biology-based) relationships may be more plausible than in software development contexts where the technology, the types of software produced, and the production methods, change frequently. • Dawes, Faust and Meehl (1989) specify that a condition for a fair comparison is that both the model and the expert base their predictions on the same input data. This condition is typically not met in the field settings for software development effort estimation. In fact, to meet this condition we may have to remove some of the information typically used by the experts in field settings, i.e., create a situation that in many ways would be perceived as unfair, and deviate from the natural setting of effort estimation.

Kết quả (Việt) 1:

Lâm sàng so với thống kê dự đoán Năm 1954, Meehl xuất bản của mình như vậy gọi là "lo ngại cuốn sách nhỏ" lâm sàng so với thống kê dự đoán: một lý thuyết phân tích và xem xét các bằng chứng (Meehl, 1954). Trong đó, Meehl tóm tắt hai mươi nghiên cứu thực nghiệm và thấy bác sĩ lâm sàng (người cung cấp chuyên gia bản án) thường được tốt hơn bằng các phương pháp actuarial (thống kê dự đoán mô hình). Kỳ Meehl (1986), dựa trên một bộ Cập Nhật xem xét nghiên cứu, "khi bạn đang đẩy mạnh điều tra 90, dự đoán tất cả mọi thứ từ kết quả của trò chơi bóng đá cho việc chẩn đoán của bệnh gan và khi bạn khó có thể đi lên với một nửa tá các nghiên cứu đang hiện thậm chí là một xu hướng yếu ủng hộ các bác sĩ, nó là thời gian để vẽ một kết luận thực tế." Gần meta-phân tích, mở rộng các nghiên cứu tóm tắt của Meehl, được cung cấp ở Grove, Zald et al. (2000). Nghiên cứu tìm thấy rằng "... các dự đoán cơ khí của hành vi của con người là bằng hoặc vượt trội so với các phương pháp dự đoán lâm sàng cho một loạt các tình huống." Dawes, Faust và Meehl (1989) nhấn mạnh sau hai yếu tố làm cơ sở cho các ưu thế của thống kê các mô hình: i) mô hình được phù hợp; cùng nhập luôn luôn dẫn đến cùng một kết luận, trong khi các chuyên gia là không phù hợp. II) mô hình đảm bảo rằng các biến đóng góp đến một kết luận dựa trên quyền lực tiên đoán thực tế và mối quan hệ với các tiêu chí quan tâm của họ. Các chuyên gia có vấn đề trong phân biệt giữa biến hợp lệ và không hợp lệ, do, trong số những thứ khác, để người nghèo và gây hiểu nhầm thông tin phản hồi về sự chính xác của bản án. Tầm quan trọng của hai yếu tố cũng được hỗ trợ bởi một số lượng đáng kể của độc lập bằng chứng thực nghiệm, ví dụ, nghiên cứu trên những "pha loãng tác dụng" theo nhận định chuyên gia (Wallner & Zimbelman, 2003). Chuyển giao của Meehl giới thiệu "đó thời gian để rút ra một kết luận thực tế" naïvely với bối cảnh phần mềm nỗ lực ước tính, chúng tôi đang exhorted để sử dụng các mô hình và để ngăn chặn bằng cách sử dụng chuyên gia phán xét khi ước tính nỗ lực phát triển phần mềm. Có, Tuy nhiên, ít nhất hai vấn đề mà có thể làm cho loại kết thúc sớm trong bối cảnh phát triển phần mềm: 5• Hiệu suất của một mô hình tính toán phụ thuộc vào tính chất của các mối quan hệ đó nỗ lực để mô hình. Trong phạm vi dự toán nỗ lực phát triển phần mềm, hiệu lực của các mô hình cơ bản giả định, ví dụ, sự ổn định của quan hệ nỗ lực-kích thước (Kitchenham 1992; Dolado năm 2001), tranh cãi, và có thể có hiệu lực thấp hơn so với các giả định thiết yếu được thực hiện khi sử dụng các mô hình trong các lĩnh vực khác. Trong y học, ví dụ, giả định ổn định cơ bản (sinh học-based) mối quan hệ có thể chính đáng hơn trong bối cảnh phát triển phần mềm mà công nghệ, các loại phần mềm, sản xuất, và các phương pháp sản xuất, thay đổi thường xuyên. • Dawes, Faust và Meehl (1989) chỉ ra rằng một điều kiện để so sánh công bằng là các mô hình và các chuyên gia cơ sở của dự báo trên cùng một dữ liệu đầu vào. Tình trạng này thường không đáp ứng trong các thiết lập trường đối với dự toán nỗ lực phát triển phần mềm. Trong thực tế, để đáp ứng các điều kiện này, chúng tôi có thể phải loại bỏ một số thông tin thường được sử dụng bởi các chuyên gia trong lĩnh vực thiết lập, tức là, tạo ra một tình huống mà trong nhiều cách nào được coi như là không công bằng, và đi chệch từ thiết lập tự nhiên của dự toán nỗ lực.

Kết quả (Việt) 2:

Lâm sàng so với thống kê Dự đoán
trong năm 1954, Meehl công bố cái gọi là "Cuốn sách gây rối nhỏ" của ông lâm sàng so với dự báo thống kê: Phân tích lý luận và nhận xét của các bằng chứng (Meehl, 1954). Trong đó, Meehl tóm tắt hai mươi nghiên cứu thực nghiệm và thấy rằng các bác sĩ (người cung cấp bản án chuyên gia) thường tốt hơn bằng các phương pháp tính toán bảo hiểm (các mô hình dự báo thống kê). Meehl (1986) tiểu bang, dựa trên một bộ cập nhật các nghiên cứu xem xét, rằng "Khi bạn đang đẩy 90 điều tra, dự đoán tất cả mọi thứ từ các kết quả của trò chơi bóng đá để chẩn đoán bệnh gan và khi bạn khó có thể đến với một nửa tá nghiên cứu cho thấy ngay cả một xu hướng yếu trong lợi của các bác sĩ, đó là thời gian để vẽ một kết luận thực tế. "một phân tích gần đây hơn, mở rộng các nghiên cứu tổng kết của Meehl, được cung cấp tại Grove, Zald et al. (2000). Nghiên cứu này cho thấy rằng "... dự đoán cơ của hành vi con người là bằng hoặc tốt hơn các phương pháp dự đoán lâm sàng đối với một loạt các tình huống." Dawes, Faust và Meehl (1989) nhấn mạnh hai yếu tố sau làm nền tảng cho tính ưu việt của mô hình thống kê: i) mô hình này phù hợp; cùng một đầu vào luôn luôn dẫn đến cùng một kết luận, trong khi các chuyên gia là không phù hợp. ii) Mô hình đảm bảo rằng các biến góp phần vào một kết luận dựa trên sức mạnh tiên đoán thực tế của họ và mối quan hệ với các tiêu chí quan tâm. Các chuyên gia có vấn đề trong việc phân biệt giữa các biến hợp lệ và không hợp lệ, do, trong số những thứ khác, để phản hồi kém và sai lệch về tính chính xác của bản án. Tầm quan trọng của hai yếu tố này cũng được hỗ trợ bởi một số lượng đáng kể các bằng chứng thực nghiệm độc lập, ví dụ như, bởi các nghiên cứu về "hiệu ứng pha loãng" trong phán đoán chuyên gia (Wallner & Zimbelman, 2003). Chuyển giới thiệu Meehl của "đó là thời gian để vẽ một kết luận thực tế" ngây thơ với bối cảnh của ước lượng nỗ lực phần mềm, chúng ta đang hô hào để sử dụng các mô hình và ngừng sử dụng phán đoán chuyên gia khi ước lượng nỗ lực phát triển phần mềm.
Tuy nhiên, ít nhất là hai vấn đề mà có thể làm cho loại này kết luận sớm trong bối cảnh phát triển phần mềm: 5
• Việc thực hiện một mô hình dự toán phụ thuộc vào tính chất của các mối quan hệ nó cố gắng để mô hình. Trong lĩnh vực phần mềm dự toán nỗ lực phát triển, tính hợp lệ của các giả định mô hình cơ bản, ví dụ như, sự ổn định của một mối quan hệ nỗ lực kích thước (Kitchenham 1992; Dolado 2001), đang tranh cãi, và có thể có giá trị thấp hơn so với các giả định cần thiết được thực hiện khi sử dụng mô hình trong các lĩnh vực khác. Trong y học, ví dụ, giả thiết về cơ bản các mối quan hệ (sinh học-based) ổn định có thể là đáng tin cậy hơn trong bối cảnh phát triển phần mềm mà các công nghệ, các loại phần mềm được sản xuất, và các phương pháp sản xuất, thay đổi thường xuyên. • Dawes, Faust và Meehl (1989) xác định rằng một điều kiện để so sánh công bằng là cả hai mô hình và các cơ sở chuyên gia dự đoán của họ trên các dữ liệu đầu vào cùng. Tình trạng này thường không được gặp trong các thiết lập hiện trường cho dự toán phần mềm nỗ lực phát triển. Trong thực tế, để đáp ứng điều kiện này, chúng ta có thể phải loại bỏ một số thông tin thường được sử dụng bởi các chuyên gia trong lĩnh vực thiết lập, tức là tạo ra một tình huống mà trong nhiều cách sẽ được coi là không công bằng,

Kết quả (Việt) 3:

Với dự báo thống kê lâm sàng1954, Meehl xuất bản. Nó còn được gọi là "phiền toái nhỏ với vở" lâm sàng: một bằng chứng thống kê dự đoán lý thuyết phân tích và review (Mir, 1954).Ở đây, Meehl tổng kết 20 người trong thực nghiệm, tìm ra các bác sĩ (ai cung cấp chuyên gia đánh giá (thống kê) thường hơn phương pháp dự đoán mẫu).Mir (1986) đã chỉ ra, dựa trên một bộ xem xét tình dục trong nghiên cứu mới nhất, "khi anh đẩy 90 dự đoán kết quả điều tra, trận đấu bóng đá để chẩn đoán bệnh gan, tất cả mọi thứ, khi anh không thể đưa ra những nghiên cứu cho thấy, các bác sĩ ủng hộ xu hướng yếu hơn, đó là thời gian gần đây đã đưa ra kết luận tập trung tập luyện." phân tích tổng hợp. Meehl nghiên cứu mở rộng, thiết lập ở Grove, Zadeh et al.(2000).Nghiên cứu đã phát hiện ra "... Máy móc và dự đoán hành vi của con người là bằng hoặc hơn dự đoán của Pháp lâm sàng scope Quảng trường hợp.", Faust và Mir (1989) nhấn mạnh hai yếu tố đã dựa vào các mô hình thống kê tính ưu việt của: 1) mô hình phù hợp; cùng nhập sẽ dẫn đến cùng một kết luận chính xác, mặc dù các chuyên gia thống nhất.Mẫu biến giúp đảm bảo đưa ra một kết luận dựa trên dự đoán khả năng thực sự của họ, và lợi nhuận của mối quan hệ tiêu chuẩn.Các chuyên gia ở phân biệt hiệu quả và không hợp lệ giữa biến vấn đề, vì, ngoại trừ những ngoại, với phán đoán sai lầm càng chính xác càng tốt và lệch lạc tình dục thông tin phản hồi.Đó là hai yếu tố quan trọng cũng được trải nghiệm nhiều bằng chứng độc lập, như hỗ trợ, thông qua sự xét đoán của hiệu ứng pha loãng với "chuyên gia nghiên cứu (2003 Werner và Zimbelman,).Sẽ Meehl khuyên "là phù hợp thực tế khi đưa ra kết luận rằng" phần mềm đó ước tính khối lượng công việc của Chúa trời cuốn dưới nền, chúng ta hãy sử dụng mô hình và ngừng sử dụng chuyên gia đánh giá ước lượng công việc phát triển phần mềm.Tuy nhiên, có ít nhất 2 câu hỏi, có thể sẽ khiến cho loại này kết luận sớm làm nền, phát triển phần mềm:5.Một ước tính hiệu suất của mô hình phụ thuộc vào tính chất của nó cố gắng mô hình quan hệ.Ước tính khối lượng công việc trong lĩnh vực phát triển phần mềm, mô hình cơ bản cho rằng hiệu quả, ví dụ, một nỗ lực lớn của mối quan hệ ổn định (Kitchenham 1992; dolado 2001), đã gây nhiều tranh cãi, và có thể có hiệu quả hơn khi sử dụng chế độ cơ bản cho rằng mức độ trong lĩnh vực khác.Ví dụ, trong y học, ổn định (sinh học là nền tảng cho cơ sở của) có mối quan hệ có thể là giả thuyết hợp lý hơn trong một môi trường phát triển phần mềm hơn trong công nghệ phần mềm, kiểu cách, và sản xuất, thường thay đổi.-, Faust và Mir (1989) được xác định như một cách công bằng hơn, một điều kiện là, người mẫu và theo dự đoán của các chuyên gia, trong cùng một dữ liệu đầu vào.Trường hợp này thường không ở trong lĩnh vực phát triển phần mềm cài đặt thực hiện những tính toán khối lượng công việc.Trên thực tế, để thỏa mãn tình thế này, chúng ta có thể phải gỡ bỏ một số thường dùng trong lĩnh vực thông tin chuyên gia thiết lập ở hiện trường, i.e., tạo ra một tình huống trong nhiều cách, sẽ bị coi là không công bằng, và nỗ lực của tự nhiên được ước tính.