4.3.2 When to Use Expert Judgment a

4.3.2 When to Use Expert Judgment and Models
Table 2 compares the average accuracy of the model-based estimates with the average accuracy of the expert
judgment-based estimates for each study relative to the model calibration levels: low, medium and high, as described in
Section 2.4. Some studies provide “mixed evidence”, e.g., Study 2 found that one model with a low level of calibration
was more accurate, and another with the same level of calibration was less accurate, than the average accuracy of the
experts. Note that some of the studies do not report enough information for us to decide on the calibration level of the
models, and so are not included in Table 2. When the level of calibration is not reported, we only reported our
assessment (qualified guess) in Table 2 when this assessment was confirmed by one of the authors of the paper
reporting the study. One study may provide more than one result.
Table 2: Evidence on the Relationship between accuracy and the level of model calibration
Low Calibration Medium Calibration High Calibration
The model is less
accurate than the
average expert
Studies 1, 5, 6, and 7 Study 9 Studies 6, and10
The model is more
accurate than the
average expert
Study 14 Studies 8, and 15 Studies 9, 12, 14, and 16
“Mixed evidence” Study 2 No studies Studies 7, 11, and 13
Table 2 suggests a weak connection between how well models perform relative to experts and the level of
model calibration, i.e., models should be calibrated to the situation in which it is used to compete with expert judgment.
The studies which provide counterevidence of the connection between the calibration level and performance are Studies
2 and 14 . A discussion with the author of Study 14 suggests that a possible reason for the model’s performing well in
1
spite of the low calibration may have been that the set of projects that led to the construction of the estimation model
was similar to the set of projects on which the model was applied, i.e., that the model was reasonably well-calibrated to
the organizational context “by accident”. The “mixed evidence” of the models with a low level of calibration in Study 2
is caused mainly by one expert who provided extremely inaccurate estimates, which does not provide strong
counterevidence for the proposed connection. Interestingly, Table 2 suggests that the proportion of studies evaluating
models with high calibration is higher for the most recent studies, i.e., there seems to have been a shift from general
estimation models towards more situation-tailored models. This may explain the trend of improved model accuracy
over the years that is suggested by Table 1.
The level of contextual information, i.e., the amount of information possessed only by the experts, was derived
from the study design description. The authors of the papers describing the study were given the opportunity to correct
our assessment of the contextual information. Table 3 summarizes this information and compares the average accuracy
of the models with the average accuracy of the experts for each study.
Table 3: Evidence on the Relationship between accuracy and theexistence of contextual information
Same information given to models
and expert
Experts provided with more
information than the models
The model is less accurate than
the average expert
Studies 2, 6, and 11 Studies 1, 3, 5, 7, 9, 10, and 13
The model is more accurate than
the average expert
Study 12 Studies 4, 8, 14, 15, and 16
As can be seen, the majority of the studies were based on providing different inputs to the experts than to the
models, which is what actually happens in real life software development contexts. Only four studies provided the same
information to the models and the experts. Hence, it is difficult to draw conclusions about the importance of contextual
information for the relative estimation performance of experts and models based on Table 3 alone. It is interesting to
note that in three of the four studies the experts were more accurate than the models, even when they possessed the
same information.
The importance of contextual information for the accuracy of the expert judgment-based effort estimates may
be better illustrated by a comparison of the average accuracy (MAPE) of expert estimation-based effort estimates in the
studies where the experts did not have contextual information (Studies 2, 6, 11 and 12), and the subset of the other
studies that reported the MAPE (Studies 7, 8, 9, 10, 13, 14, 15, and 16). When the experts were given the same input as
the models, the average MAPE is 157%. When the experts are given additional contextual information, the average
MAPE is 36%. The two groups of studies may not be completely comparable, i.e., there may be differences in the
estimation complexity, but the big difference in accuracy nevertheless suggests that the performance of the experts
improves substantially with contextual information.
Few of the studies report results regarding the accuracy by type of estimat

Kết quả (Việt) 1:

4.3.2 khi sử dụng bản án chuyên gia và các mô hìnhBảng 2 so sánh chính xác trung bình của các mô hình dựa trên ước tính với độ chính xác trung bình của các chuyên giabản án dựa trên các ước tính cho từng nghiên cứu liên quan đến mức độ cân chỉnh mô hình: thấp, Trung bình và cao, như mô tả trongPhần 2.4. Một số nghiên cứu cung cấp "hỗn hợp bằng chứng", ví dụ, nghiên cứu 2 thấy rằng một mô hình với một mức độ thấp của chuẩnchính xác hơn, và khác với cùng một mức độ hiệu chuẩn là ít chính xác hơn, so với trung bình là tính chính xác của cácCác chuyên gia. Lưu ý rằng một số các nghiên cứu không báo cáo đầy đủ thông tin để chúng tôi quyết định về mức độ hiệu chỉnh cácCác mô hình, và do đó không được bao gồm trong bảng 2. Khi mức độ hiệu chuẩn không được báo cáo, chúng tôi chỉ báo cáo của chúng tôiđánh giá (đủ tiêu chuẩn đoán) trong bảng 2 khi đánh giá này đã được xác nhận bởi một trong những tác giả của giấybáo cáo nghiên cứu. Một nghiên cứu có thể cung cấp nhiều hơn một kết quả.Bảng 2: Bằng chứng về mối quan hệ giữa độ chính xác và mức độ của mô hình chuẩn Thấp hiệu chuẩn hiệu chuẩn trung bình cao hiệu chuẩnCác mô hình nhỏchính xác hơn so với cácchuyên gia trung bìnhNghiên cứu 1, 5, 6 và 7 học 9 nghiên cứu 6, and10Các mô hình nhiều hơnchính xác hơn so với cácchuyên gia trung bìnhNghiên cứu nghiên cứu 14 8 và 15 nghiên cứu 9, 12, 14 và 16"Hỗn hợp bằng chứng" nghiên cứu 2 không có nghiên cứu nghiên cứu 7, 11 và 13Bảng 2 cho thấy một kết nối yếu giữa tốt như thế nào mô hình thực hiện tương ứng với mức độ và các chuyên giaMô hình chuẩn, ví dụ, mô hình nên được hiệu chỉnh với tình hình trong đó nó được sử dụng để cạnh tranh với chuyên gia bản án.Các nghiên cứu mà cung cấp counterevidence kết nối giữa các chuẩn mực và hiệu suất của những nghiên cứu2 và 14. Một cuộc thảo luận với tác giả của nghiên cứu 14 gợi ý rằng một lý do có thể cho các mô hình của thực hiện tốt trong 1mặc dù các hiệu chuẩn thấp có thể đã là rằng các thiết lập của dự án đó đã dẫn tới việc xây dựng các mô hình dự toántương tự như các thiết lập của dự án mà trên đó các mô hình đã được áp dụng, ví dụ, rằng các mô hình là hợp lý tốt định cỡ đểbối cảnh tổ chức "do tai nạn". "Chứng cứ hỗn hợp" của các mô hình với một mức độ thấp của chuẩn trong nghiên cứu 2là do chủ yếu là một trong những chuyên gia cung cấp cực kỳ chính xác ước tính, mà không cung cấp mạnh mẽcounterevidence cho kết nối được đề xuất. Điều thú vị, bảng 2 cho thấy rằng tỷ lệ nghiên cứu đánh giáMô hình với cao hiệu chuẩn là cao hơn cho các nghiên cứu gần đây nhất, tức là, dường như là một sự thay đổi từ tướngước lượng các mô hình theo hướng nhiều hơn các mô hình phù hợp với tình hình. Điều này có thể giải thích các xu hướng của mô hình cải tiến độ chính xáctrong những năm qua được đề xuất bởi bảng 1.Mức độ thông tin theo ngữ cảnh, tức là, số lượng thông tin sở hữu bởi các chuyên gia, xuất phát từtừ mô tả thiết kế nghiên cứu. Các tác giả của các bài báo mô tả các nghiên cứu đã được trao cơ hội để sửa chữachúng tôi đánh giá các thông tin theo ngữ cảnh. 3 Bảng tóm tắt các thông tin này và so sánh tính chính xác trung bìnhCác mô hình với độ chính xác trung bình của các chuyên gia cho mỗi học.Bảng 3: Các bằng chứng về mối quan hệ giữa độ chính xác và theexistence các thông tin theo ngữ cảnhCùng một thông tin được trao cho các mô hìnhvà chuyên giaCác chuyên gia cung cấp nhiều hơn nữathông tin hơn so với các mô hìnhCác mô hình là ít chính xác hơnCác chuyên gia bìnhNghiên cứu nghiên cứu 2, 6 và 11 1, 3, 5, 7, 9, 10 và 13Các mô hình là chính xác hơnCác chuyên gia bìnhNghiên cứu nghiên cứu 12 4, 8, 14, 15 và 16Có thể nhìn thấy, phần lớn các nghiên cứu đã dựa vào việc cung cấp các đầu vào khác nhau để các chuyên gia hơn đến cácCác mô hình, đó là những gì thực sự xảy ra trong bối cảnh phát triển phần mềm thực tế đời sống. Các nghiên cứu chỉ có bốn cung cấp cùngthông tin cho các mô hình và các chuyên gia. Do đó, nó là khó khăn để rút ra kết luận về tầm quan trọng của ngữ cảnhthông tin cho hiệu suất tương đối dự toán của các chuyên gia và các mô hình dựa trên bàn 3 một mình. Nó là thú vị đểlưu ý rằng trong ba bốn học các chuyên gia đã chính xác hơn so với các mô hình, ngay cả khi họ sở hữu nhữngthông tin tương tự.Tầm quan trọng của thông tin theo ngữ cảnh cho độ chính xác của các ước tính của chuyên gia nỗ lực dựa trên bản án có thểtốt hơn được minh họa bởi một so sánh của tính chính xác trung bình (MAPE) của chuyên gia nỗ lực dựa trên dự toán ước tính trong cácCác nghiên cứu mà các chuyên gia đã không có thông tin theo ngữ cảnh (học 2, 6, 11 và 12), và tập hợp con của người khácnghiên cứu báo cáo MAPE (nghiên cứu 7, 8, 9, 10, 13, 14, 15 và 16). Khi các chuyên gia đã đưa ra các đầu vào tương tự nhưCác mô hình, MAPE trung bình là 157%. Khi các chuyên gia được giao bổ sung thông tin theo ngữ cảnh, Trung bìnhMAPE là 36%. Hai nhóm nghiên cứu có thể không hoàn toàn tương tự, tức là, có thể có sự khác biệt trong cácdự toán phức tạp, nhưng sự khác biệt lớn trong chính xác Tuy nhiên cho thấy rằng hiệu suất của các chuyên giacải thiện đáng kể với các thông tin theo ngữ cảnh.Vài người trong số các kết quả báo cáo nghiên cứu liên quan đến tính chính xác của loại estimat

Kết quả (Việt) 2:

4.3.2 Khi sử dụng Expert án và mô hình
Bảng 2 so sánh độ chính xác trung bình của các đánh giá dựa trên mô hình với độ chính xác trung bình của các chuyên gia
ước tính phán xét dựa trên cho mỗi nghiên cứu tương đối với các mức mô hình hiệu chuẩn: thấp, trung bình và cao, như được mô tả trong
phần 2.4. Một số nghiên cứu cung cấp "bằng chứng hỗn hợp", ví dụ như nghiên cứu 2 cho thấy một mô hình với một mức độ thấp hiệu chuẩn
là chính xác hơn, và khác với cùng một mức độ hiệu chuẩn là kém chính xác hơn so với độ chính xác trung bình của các
chuyên gia. Lưu ý rằng một số các nghiên cứu không báo cáo đầy đủ thông tin để chúng tôi quyết định mức chuẩn của
mô hình, và do đó không có trong Bảng 2. Khi mức độ hiệu chuẩn không được báo cáo,
chúng tôi chỉ báo cáo của chúng tôi đánh giá (đoán đủ điều kiện) trong Bảng 2 khi đánh giá này đã được xác nhận bởi một trong những tác giả của bài báo
cáo nghiên cứu. Một nghiên cứu có thể cung cấp nhiều hơn một kết quả.
Bảng 2: Bằng chứng về mối quan hệ giữa độ chính xác và mức độ của mô hình chuẩn
thấp Calibration Medium Hiệu chuẩn cao hiệu chuẩn
Mô hình này là ít
chính xác hơn so với
trung bình chuyên gia
nghiên cứu 1, 5, 6, và 7 nghiên cứu 9 Khoa học 6, and10
Mô hình này là nhiều hơn
chính xác hơn các
chuyên gia trung bình
nghiên cứu 14 nghiên cứu 8, và 15 nghiên cứu 9, 12, 14, và 16
"bằng chứng hỗn hợp" nghiên cứu 2 Không có nghiên cứu nghiên cứu 7, 11,
và 13 Bảng 2 cho thấy một kết nối yếu giữa các mô hình tốt như thế nào thực hiện tương đối so với các chuyên gia và mức độ của
mô hình chuẩn, tức là, mô hình này cần được hiệu chỉnh với tình hình ở đó nó được sử dụng để cạnh tranh với các phán đoán của chuyên gia.
Các nghiên cứu trong đó cung cấp counterevidence của kết nối giữa mức độ hiệu chuẩn và hiệu suất nghiên cứu
2 và 14. Một cuộc thảo luận với các tác giả của nghiên cứu 14 cho thấy rằng một lý do có thể cho các mô hình hoạt động tốt trong
1
bất chấp những chuẩn thấp có thể đã được rằng tập hợp các dự án dẫn đến việc xây dựng các mô hình dự toán
tương tự như các thiết lập của dự án mà các mô hình đã được áp dụng, ví dụ, rằng các mô hình đã được khá tốt, hiệu chuẩn cho
các bối cảnh tổ chức "bởi tai nạn".
Các "bằng chứng hỗn hợp" của các mô hình với một mức độ thấp hiệu chuẩn trong nghiên cứu 2 chủ yếu là do một chuyên gia đã cung cấp dự toán cực kỳ chính xác, mà không cung cấp mạnh mẽ
counterevidence cho kết nối được đề xuất. Điều thú vị là, Bảng 2 cho thấy tỷ lệ các nghiên cứu đánh giá
các mô hình với hiệu chuẩn cao là cao hơn cho các nghiên cứu gần đây nhất, tức là, có vẻ như đã được một sự thay đổi từ tổng quát
mô hình ước lượng đối với nhiều mô hình tình-phù hợp. Điều này có thể giải thích các xu hướng cải thiện độ chính xác mô hình
trong những năm qua được đề xuất bởi Bảng 1.
Các mức độ thông tin theo ngữ cảnh, tức là, số lượng thông tin ám chỉ bởi các chuyên gia, có nguồn gốc
từ mô tả thiết kế nghiên cứu.
Các tác giả của bài báo mô tả nghiên cứu được trao cơ hội để sửa chữa chúng tôi đánh giá các thông tin theo ngữ cảnh. Bảng 3 tóm tắt các thông tin này và so sánh độ chính xác trung bình
của các loại máy có độ chính xác trung bình của các chuyên gia cho từng nghiên cứu.
Bảng 3: Bằng chứng về mối quan hệ giữa độ chính xác và theexistence thông tin theo ngữ cảnh
thông tin tương tự cho mô hình
và chuyên gia
Các chuyên gia cung cấp nhiều
thông tin hơn so với các mô hình
mô hình là ít chính xác hơn so với
các chuyên gia trung bình
nghiên cứu 2, 6, và 11 nghiên cứu 1, 3, 5, 7, 9, 10, và 13
mô hình này là chính xác hơn
các chuyên gia trung bình
nghiên cứu 12 nghiên cứu 4, 8, 14, 15, và 16
Như có thể thấy,
phần lớn các nghiên cứu được dựa vào việc cung cấp các đầu vào khác nhau để các chuyên gia hơn là các mô hình, đó là những gì thực sự xảy ra trong cuộc sống thực bối cảnh phát triển phần mềm. Chỉ có bốn nghiên cứu được cung cấp cùng một
thông tin để các mô hình và các chuyên gia. Do đó, rất khó để rút ra kết luận về tầm quan trọng của ngữ cảnh
thông tin để thực hiện ước lượng tương đối của các chuyên gia và các mô hình dựa trên Bảng 3 một mình. Nó là thú vị để
lưu ý rằng trong ba bốn nghiên cứu của các chuyên gia là chính xác hơn các mô hình, ngay cả khi họ sở hữu
thông tin tương tự.
Tầm quan trọng của thông tin theo ngữ cảnh về tính chính xác của các ước lượng nỗ lực phán đoán dựa trên các chuyên gia có thể
được minh họa tốt hơn bằng cách so sánh độ chính xác trung bình (MAPE) dự nỗ lực ước tính dựa trên chuyên môn trong
nghiên cứu nơi các chuyên gia đã không có thông tin theo ngữ cảnh (Nghiên cứu 2, 6, 11 và 12), và các tập hợp con của các
nghiên cứu đã báo cáo MAPE (nghiên cứu 7, 8, 9, 10, 13, 14, 15, và 16). Khi các chuyên gia đã đưa ra các đầu vào giống như
các mô hình, các MAPE trung bình là 157%. Khi các chuyên gia cung cấp thông tin theo ngữ cảnh bổ sung, trung bình
MAPE là 36%. Hai nhóm nghiên cứu có thể không hoàn toàn có thể so sánh, ví dụ, có thể có sự khác biệt về
độ phức tạp tính toán,
nhưng sự khác biệt lớn về độ chính xác vẫn cho thấy rằng hiệu suất của các chuyên gia cải thiện đáng kể với các thông tin theo ngữ cảnh.
Rất ít các nghiên cứu báo cáo kết quả về tính chính xác của loại estimat