The Sample with the Built-in Bias 1

The Sample with the Built-in Bias 15
polled did not reply. To destroy this survey completely, we
have only to note the reasonable possibility that most of the
90 per cent threw away the questionnaire because they had
no conversions to report.
Employing this assumption and using the same figure -
181,000 - as Dr Poling did for the total number of Protestant
ministers with pastoral charges, we can make our own projection.
Since he went to 25,000 out of 181,000 and found
51,361 conversions, asking everybody should have produced
a conversion total of 370,000 or so.
Our crude methods have produced a very dubious figure,
but it is at least as worthy of trust as the one that was
published nationally - one that is eleven times as big as
ours and therefore far more exciting.
As for Mr O's confident 'allowances . . . for error', well, if
he has discovered a method to compensate for errors of unknown
magnitude, the world of statistics will be grateful.
With this background, let us work over a news report -
from some years back when it represented even more
money than it does now - that 'the average Yale man, Class
of '24, makes $25,111 a year'.
Well, good for him!
But wait a minute. What does this impressive figure
mean? Is it, as it appears to be, evidence that if you send
your boy to Yale, or, for all I know, Oxbridge, you won't
have to work in your old age and neither will he?
Two things about the figure stand out at first suspicious
glance. It is surprisingly precise. It is quite improbably salubrious.
There is small likelihood that the average income of any
far-flung group is ever going to be known down to the
dollar. It is not particularly probable that you know your
own income for last year so precisely as that unless it was all
derived from salary. And $25,000 incomes are not often

16 How to Lie with Statistics
all salary; people in that bracket are likely to have wellscattered
investments.
Furthermore, this lovely average is undoubtedly calculated
from the amounts the Yale men said they earned.
Even if they had the honour system in New Haven in '24, we
cannot be sure that it works so well after a quarter of a
century that all these reports are honest ones. Some people
when asked their incomes exaggerate out of vanity or optimism.
Others minimize, especially, it is to be feared, on
income-tax returns; and having done this may hesitate to
contradict themselves on any other paper. Who knows what
the revenuers may see? It is possible that these two tendencies,
to boast and to understate, cancel each other out,
but it is unlikely. One tendency may be far stronger than the
other, and we do not know which one.
We have begun then to account for a figure that common
sense tells us can hardly represent the truth. Now let us put


The Sample with the Built-in Bias 17
our finger on the likely source of the biggest error, a source
that can produce $25,111 as the 'average income' of some
men whose actual average may well be nearer half that
amount.
The report on the Yale men comes from a sample. We can
be pretty sure of that because reason tells us that no one can
get hold of all the living members of that class of '24. There
are bound to be many whose addresses are unknown
twenty-five years later.
And, of those whose addresses are known, many will not
reply to a questionnaire, particularly a rather personal one.
With some kinds of mail questionnaire, a five or ten per cent
response is quite high. This one should have done better than
that, but nothing like one hundred per cent.
So we find that the income figure is based on a sample
composed of all class members whose addresses are known
and who replied to the questionnaire. Is this a representative
sample? That is, can this group be assumed to be equal in
income to the unrepresented group, those who cannot be
reached or who do not reply?
Who are the little lost sheep down in the Yale rolls as
'address unknown'? Are they the big-income earners - the
Wall Street men, the corporation directors, the manufacturing
and utility executives? No; the addresses of the
rich will not be hard to come by. Many of the most prosperous
members of the class can be found through Who's Who
in America and other reference volumes even if they have
neglected to keep in touch with the alumni office. It is a
good guess that the lost names are those of the men who,
twenty-five years or so after becoming Yale bachelors of
arts, have not fulfilled any shining promise. They are clerks,
mechanics, tramps, unemployed alcoholics, barely surviving
writers and artists . . . people of whom it would take half a
dozen or more to add up to an income of $25,1 1 1. These men

18 How to Lie with Statistics
do not so often register at class reunions, if only because
they cannot afford the trip.
Who are those who chucked the questionnaire into the
nearest wastebasket? We cannot be so sure about these, but
it is at least a fair guess that many of them are just not
making enough money to brag about. They are a little like
the fellow who found a note clipped to his first pay cheque
suggesting that he consider the amount of his salary
confidential and not material for the interchange of office
confidences. 'Don't worry,' he told the boss. 'I'm just as
ashamed of it as you are.'
It becomes pretty clear that the sample has omitted two
groups most likely to depress the average. The $25,1 1 1 figure
is beginning to explain itself. If it is a true figure for anything
it is one merely for that special group of the class of
'24 whose addresses are known and who are willing to stand
up and tell how much they earn. Even that requires an assumption
that the gentlemen are telling the truth.
Such an assumption is not to be made lightly. Experience
from one breed of sampling study, that called market research,
suggests that it can hardly ever be made at all. A
house-to-house survey purporting to study magazine readership
was once made in which a key question was: What
magazine does your household read? When the results were
tabulated and analysed it appeared that a great many people
loved Harper's, which if not highbrow is at least upper
middlebrow, and not very many read True Story, which is
very lowbrow indeed. Yet there were publishers' figures
around at the time that showed very clearly that True Story
had more millions of circulation than Harper's had hundreds
of thousands. Perhaps we asked the wrong kind of people,
the designers of the survey said to themselves. But no, the
questions had been asked in all sorts of neighbourhoods all
around the country. The only reasonable conclusion then

Kết quả (Việt) 1:

Mẫu với thiên vị được xây dựng trong 15được hỏi không trả lời. Để tiêu diệt cuộc khảo sát này hoàn toàn, chúng tôicó chỉ cần lưu ý khả năng hợp lý rằng hầu hết các90 phần trăm đã ném đi các câu hỏi vì họ cókhông có chuyển đổi để báo cáo.Sử dụng giả định này và sử dụng cùng một con số -181,000 - như tiến sĩ Poling đã làm cho tổng số tin lànhbộ trưởng với chi phí mục vụ, chúng tôi có thể làm cho chiếu riêng của chúng tôi.Kể từ khi ông đã đi để 25.000 trong số 181,000 và tìm thấy51,361 chuyển đổi, yêu cầu tất cả mọi người nên đã sản xuấtmột tổng số chuyển đổi của 370.000, hay như vậy.Các phương pháp thô đã sản xuất một con số rất đáng ngờ,nhưng nó là ít nhất là xứng đáng tin cậy là một trong đó làĐược đăng trên toàn quốc - một trong đó là mười một lần là lớn nhưchúng ta và hơn do đó rất nhiều thú vị.Đối với ông O tự tin 'phụ cấp... cho lỗi', nếuông đã phát hiện ra một phương pháp để bù đắp cho lỗi chưa biếtđộ lớn, thế giới của số liệu thống kê sẽ được biết ơn.Với nền tảng này, hãy để chúng tôi làm việc trên một báo cáo tin tức-từ một vài năm trở lại khi nó đại diện cho hơntiền hơn nó bây giờ - nào đó ' người đàn ông trung bình Yale, lớp' 24, làm cho $25,111 một năm '.Vâng, tốt cho anh ta!Nhưng chờ một phút. Những gì hiện con số ấn tượng nàycó nghĩa là? Là nó, vì nó sẽ xuất hiện để, bằng chứng cho thấy rằng nếu bạn gửicậu bé của bạn để Yale, hoặc, cho tất cả tôi biết, Oxbridge, bạn sẽ khôngphải làm việc trong tuổi già của bạn và không sẽ ông?Hai điều về con số nổi bật ban đầu đáng ngờtrong nháy mắt. Nó là đáng ngạc nhiên chính xác. Nó là khá improbably hợp vệ sinh.Có là khả năng nhỏ mà thu nhập trung bình của bất kỳxa nhóm bao giờ sẽ được gọi xuống để cácđô-la. Nó không phải là đặc biệt là có thể xảy ra rằng bạn biết của bạncó thu nhập cho cuối năm như vậy chính xác như thế trừ khi nó là tất cảbắt nguồn từ tiền lương. Và $25.000 thu nhập không thường xuyên16 làm thế nào để nói dối với số liệu thống kêTất cả tiền lương; người trong khung rằng có khả năng có wellscatteredđầu tư.Hơn nữa, không nghi ngờ gì tính toán này là đáng yêutừ số tiền những người đàn ông Yale nói họ kiếm được.Ngay cả khi họ có hệ thống danh dự tại New Haven trong ' 24, chúng tôikhông thể chắc chắn rằng nó hoạt động rất tốt sau khi một phần tư của mộtthế kỷ rằng tất cả các báo cáo này là người trung thực. Một số ngườiKhi được hỏi thu nhập của họ exaggerate ra khỏi bàn trang điểm hoặc lạc quan.Những người khác giảm thiểu, đặc biệt là, nó là để được sợ, trêntrả về thuế thu nhập; và có thực hiện điều này có thể ngần ngạimâu thuẫn với chính mình trên bất kỳ giấy khác. Những người hiểu biết những gìCác revenuers có thể thấy? Có thể rằng những xu hướng hai,tự hào và đủ, hủy bỏ nhaunhưng nó không. Một trong những xu hướng có thể đến nay mạnh hơn cáckhác, và chúng tôi không biết mà một trong những.Chúng tôi đã bắt đầu sau đó vào tài khoản cho một con số phổ biến đócảm giác cho chúng ta khó có thể đại diện cho sự thật. Bây giờ chúng ta hãy đặtMẫu với thiên vị được xây dựng trong 17ngón tay của chúng tôi về nguồn lỗi lớn nhất, một nguồn, có khả năngmà có thể tạo ra $25,111 như 'thu nhập bình quân' của một sốngười đàn ông mà là thực tế cũng có thể gần một nửa màsố tiền.Báo cáo về những người đàn ông Yale đến từ một mẫu. Chúng tôi có thểkhá chắc chắn về điều đó vì lý do cho chúng ta biết rằng không ai có thểcó được giữ của tất cả các thành viên sống của lớp đó của ' 24. Cóchắc chắn sẽ nhiều địa chỉ có được không rõhai mươi lăm năm sau đó.Và, những người có địa chỉ được biết đến, nhiều người sẽ khôngtrả lời một câu hỏi, đặc biệt là một trong những thay vì cá nhân.Với một số loại câu hỏi thư, 5 hoặc 10 phần trămphản ứng là khá cao. Điều này nên đã làm tốt hơnvậy, nhưng không có gì giống như một trăm phần trăm.Do đó chúng tôi tìm thấy những con số thu nhập được dựa trên một mẫubao gồm tất cả các thành viên lớp có địa chỉ được biết đếnvà người trả lời các câu hỏi. Đây có phải là một đại diệnmẫu? Có nghĩa là, nhóm này có thể được giả định là bình đẳng trongthu nhập cho nhóm unrepresented, những người không thểđạt hoặc những người không trả lời?Ai là chiên lạc mất chút xuống ở Yale cuộn như'không rõ địa chỉ'? Họ là đối với người có thu nhập lớn - cácNgười đàn ông Wall Street, giám đốc công ty cổ phần, sản xuấtvà giám đốc điều hành Tiện ích? No; Các địa chỉ của cácgiàu sẽ không được khó để đi qua. Nhiều người trong số thịnh vượng nhấtCác thành viên của các lớp học có thể được tìm thấy qua Who's Whoở Mỹ và tập tài liệu tham khảo khác ngay cả khi họ cóbỏ rơi để giữ liên lạc với văn phòng cựu sinh viên. Nó là mộtđoán tốt mất tên là những người đàn ông người,hai mươi lăm năm hoặc lâu hơn sau khi trở thành bằng cử nhân đại học Yale củanghệ thuật, đã không hoàn thành bất kỳ lời hứa sáng. Họ là nhân viên,cơ học, tramps, người nghiện rượu thất nghiệp, hiếm khi còn sống sót nhấtnhà văn và nghệ sĩ... những người trong số họ, nó sẽ mất một nửa mộttá hoặc nhiều hơn để thêm lên đến một thu nhập của $25,1 1 1. Những người đàn ông18 làm thế nào để nói dối với số liệu thống kêlàm không nên thường xuyên đăng ký tại lớp reunions, nếu chỉ vìhọ không có khả năng chuyến đi.Ai là những người chucked các câu hỏi vào cácgần nhất wastebasket? Chúng tôi không thể như vậy chắc chắn về này, nhưngnó là ít nhất một đoán hợp lý mà nhiều người trong số họ chỉ khônglàm cho đủ tiền để lời khoe khoang về. Họ là một giống như ítđồng những người tìm thấy một lưu ý cắt bớt để chi phiếu trả tiền đầu tiên của mìnhgợi ý rằng ông xem xét số lượng tiền lương của ôngbí mật và không vật chất để trao đổi văn phòngtâm sự. 'Đừng lo lắng,' ông nói với ông chủ. ' Tôi cũng giống nhưxấu hổ về nó vì bạn.'Nó trở nên khá rõ ràng rằng mẫu đã bỏ qua haiNhóm có nhiều khả năng để làm suy giảm trung bình. $25,1 1 1 con sốđang bắt đầu để giải thích chính nó. Nếu nó là một con số đúng cho bất cứ điều gìnó là một chỉ đơn thuần là cho rằng nhóm đặc biệt của các lớp học của' 24 có địa chỉ được biết đến và những người sẵn sàng để đứnglên và cho biết bao nhiêu họ kiếm được. Thậm chí là đòi hỏi một giả địnhrằng các quý ông đang nói sự thật.Một giả định là phải được thực hiện nhẹ. Kinh nghiệmtừ một trong những giống của nghiên cứu, gọi là nghiên cứu thị trường, lấy mẫucho thấy rằng nó có thể hầu như không bao giờ được thực hiện ở tất cả. Akhảo sát từng purporting để nghiên cứu độc giả tạp chíđã được thực hiện một lần trong một câu hỏi quan trọng là: những gìtạp chí hộ gia đình của bạn đọc? Khi các kết quả đãtabulated và phân tích nó xuất hiện mà một nhiều người tuyệt vờiyêu Harper, mà nếu không trí thức là ít trênmiddlebrow, và không phải rất nhiều người đọc câu chuyện có thật, đó làrất lowbrow thực sự. Chưa có là nhà xuất bản số liệuxung quanh thành phố lúc đó cho thấy rất rõ ràng rằng câu chuyện có thậtcó thêm các hàng triệu lưu thông hơn của Harper có hàng trămcủa hàng ngàn. Có lẽ chúng tôi yêu cầu các loại sai trái của mọi người,Các nhà thiết kế của cuộc khảo sát nói cho chính mình. Nhưng không có, cáccâu hỏi đã được yêu cầu trong tất cả các loại khu vực lân cận tất cảtrên khắp đất nước. Kết luận chỉ hợp lý sau đó

Kết quả (Việt) 2:

Các mẫu với Built-in Bias 15
được hỏi không trả lời. Để tiêu diệt cuộc khảo sát này hoàn toàn, chúng ta
chỉ cần lưu ý về khả năng hợp lý rằng hầu hết các
90 phần trăm đã ném đi những câu hỏi bởi vì họ đã
không có chuyển đổi báo cáo.
Sử dụng giả thiết này và sử dụng các con số tương tự -
181.000 - như Dr poling đã làm cho tổng số Lành
bộ trưởng có phí mục vụ, chúng tôi có thể làm cho chiếu riêng của chúng tôi.
Kể từ khi ông đã đi đến 25.000 trong số 181.000 và tìm thấy
51.361 chuyển đổi, yêu cầu tất cả mọi người nên đã sản xuất
tổng cộng chuyển đổi 370.000 hay như vậy.
phương pháp thô của chúng tôi đã sản xuất rất đáng ngờ con số,
nhưng ít nhất nó là xứng đáng với sự tin tưởng như một trong đó đã được
công bố trên toàn quốc - một trong đó là mười một lần lớn như
. chúng ta và do đến nay thú vị hơn
Đối với tự tin 'phụ cấp của ông O. . . cho lỗi ', tốt, nếu
ông đã khám phá ra một phương pháp để bù đắp cho lỗi không rõ
độ lớn, thế giới của thống kê sẽ được biết ơn.
Với nền tảng này, chúng ta hãy làm việc trên một bản báo cáo tin tức -
từ một số năm trở lại khi nó đại diện cho nhiều hơn
tiền so với hiện tại - đó là người đàn ông trung bình Yale, Class
của '24, làm cho $ 25,111 một năm ".
Vâng, tốt cho anh ta!
Nhưng chờ một phút. Không con số ấn tượng này những gì
có ý nghĩa? Là nó, vì nó dường như là, bằng chứng cho thấy nếu bạn gửi cho
cậu bé của bạn để Yale, hoặc, đối với tất cả tôi biết, Oxbridge, bạn sẽ không
phải làm việc trong tuổi già của bạn và không phải sẽ anh?
Hai điều về các con số đứng hiện tại nghi ngờ đầu tiên
trong nháy mắt. Đó là chính xác đáng ngạc nhiên. Nó là khá không chắc hợp vệ sinh.
Có khả năng nhỏ mà thu nhập trung bình của bất kỳ
nhóm xa là bao giờ sẽ được gọi xuống đến
đồng đô la. Nó không phải là đặc biệt có thể xảy ra mà bạn biết bạn
có thu nhập riêng cho năm cuối cùng để chính xác như rằng trừ khi nó đã được tất cả
bắt nguồn từ tiền lương. Và $ 25,000 thu nhập không thường xuyên 16 Làm thế nào để nói dối với kê tất cả tiền lương; người trong khung có khả năng có wellscattered đầu tư. Hơn nữa, trung bình này đáng yêu chắc chắn là tính toán từ các số những người đàn ông Yale cho biết họ kiếm được. Ngay cả nếu họ đã có hệ thống danh dự tại New Haven trong '24, chúng ta không thể chắc chắn rằng nó hoạt động rất tốt sau một phần tư thế kỷ mà tất cả các báo cáo này là những người trung thực. Một số người khi được hỏi thu nhập của họ nói hết ra khỏi hư không hay lạc quan. Những người khác hạn chế tối đa, đặc biệt, nó là đáng sợ, trên lợi nhuận thu thuế; và khi đã thực hiện điều này có thể ngần ngại mâu thuẫn cứ vào bất kỳ giấy tờ khác. Ai biết được những gì các revenuers có thể thấy? Có thể là hai xu hướng này, để tự hào và để bớt, triệt tiêu lẫn nhau, nhưng nó là không thể. Một xu hướng có thể còn mạnh hơn khác, và chúng tôi không biết cái nào. Chúng tôi đã bắt đầu sau đó để chiếm một con số phổ biến ý nghĩa cho chúng ta khó có thể đại diện cho sự thật. Bây giờ chúng ta hãy đặt Các mẫu với Built-in Bias 17 ngón tay của chúng tôi trên các nguồn có khả năng của các lỗi lớn nhất, một nguồn có thể sản xuất 25.111 $ là "thu nhập trung bình" của một số người đàn ông mà thực tế trung bình cũng có thể được gần một nửa số tiền. Các báo cáo về những người đàn ông Yale xuất phát từ một mẫu. Chúng tôi có thể được khá chắc chắn về điều đó vì lý do nói với chúng ta rằng không ai có thể có được giữ của tất cả các thành viên sống động của một lớp học của '24. Có được ràng buộc để được nhiều có địa chỉ rõ hai mươi lăm năm sau đó. Và, những người có địa chỉ được biết đến, nhiều người sẽ không trả lời một câu hỏi, đặc biệt là một thay cá nhân. Với một số loại email câu hỏi, một năm hay mười phần trăm trả lời là khá cao. Điều này nên đã làm tốt hơn so với điều đó, nhưng không có gì giống như một trăm phần trăm. Vì vậy, chúng ta thấy rằng các con số thu nhập được dựa trên một mẫu gồm tất cả các thành viên trong lớp có địa chỉ được biết đến và những người trả lời các câu hỏi. Đây có phải là một đại diện mẫu? Đó là, nhóm này có thể được giả định là bình đẳng trong thu nhập cho các nhóm người thay mặt, những người không thể đạt hoặc những người không trả lời? ít cừu bị mất đang xuống ở Yale Ai cuộn như 'chỉ chưa biết? Họ là những người có thu lớn thu nhập - những người đàn ông ở phố Wall, Giám đốc công ty, sản xuất điều hành và các tiện ích? Không; các địa chỉ của người giàu sẽ không khó để đi qua. Nhiều người trong số những người giàu có nhất thành viên của lớp có thể được tìm thấy qua Ai là Ai ở Mỹ và khối lượng tài liệu tham khảo khác ngay cả khi họ đã bị bỏ quên để giữ liên lạc với các văn phòng cựu sinh viên. Nó là một đoán tốt mà tên bị mất là của những người đàn ông, hai mươi lăm năm sau khi trở thành cử nhân Đại học Yale của nghệ thuật, chưa thực hiện bất kỳ lời hứa sáng. Họ là những nhân viên, cơ khí, tramps, nghiện rượu thất nghiệp, hầu như không còn tồn tại các nhà văn và nghệ sĩ. . . người trong đó nó sẽ mất một nửa tá hoặc hơn để thêm lên đến một thu nhập từ $ 25,1 1 1. Những người đàn ông 18 Làm thế nào để nói dối với thống kê không quá thường xuyên đăng ký tại họp lớp, nếu chỉ vì họ không đủ tiền cho chuyến đi. những người bỏ bớt các câu hỏi vào là ai sọt rác gần nhất? Chúng ta không thể chắc chắn về những, nhưng nó là ít nhất một đoán công bằng mà nhiều người trong số họ chỉ là không kiếm đủ tiền để khoe khoang. Họ là một chút giống như các đồng nghiệp đã tìm thấy một lưu ý cắt bớt để kiểm tra lương đầu tiên của ông cho rằng ông xem xét số tiền lương của mình liệu bí mật và không cho việc trao đổi văn phòng tâm sự. "Đừng lo lắng," ông nói với các ông chủ. "Tôi chỉ là xấu hổ về nó như bạn. " Nó trở nên khá rõ ràng rằng mẫu đã bỏ qua hai nhóm có nhiều khả năng làm giảm mức trung bình. Các con số $ 25,1 1 1 đang bắt đầu để giải thích bản thân. Nếu nó là một con số thực sự cho bất cứ điều gì nó là một trong những chỉ cho nhóm đặc biệt của lớp của '24 có địa chỉ được biết đến và những người sẵn sàng đứng lên và nói với bao nhiêu họ kiếm được. Ngay cả đòi hỏi một giả định rằng các quý ông đang nói sự thật. một giả định như vậy không phải là để được thực hiện nhẹ nhàng. Kinh nghiệm từ một giống chó của nghiên cứu lấy mẫu, mà gọi là nghiên cứu thị trường, cho thấy rằng nó có thể hầu như không bao giờ được thực hiện ở tất cả. Một cuộc khảo sát nhà-to-nhà có nội dung nghiên cứu của tạp chí độc giả đã từng được thực hiện, trong đó một câu hỏi quan trọng là: Những gì tạp chí Gia đình quý vị đọc? Khi kết quả được lập bảng kê và phân tích nó xuất hiện rằng rất nhiều người lớn yêu Harper, mà nếu không phải là trí thức ít nhất trên middlebrow, và không phải là rất nhiều đọc True Story, đó là rất ít học thực sự. Tuy nhiên, có những con số của nhà xuất bản trên tại thời điểm đó cho thấy rất rõ rằng, True Story đã có nhiều triệu lưu thông hơn Harper đã có hàng trăm ngàn. Có lẽ chúng tôi hỏi những loại sai lầm của con người, các nhà thiết kế của cuộc khảo sát nói với bản thân mình. Nhưng không, những câu hỏi đã được hỏi trong tất cả các loại của các khu phố tất cả trên khắp đất nước. Các chỉ kết luận hợp lý rồi