When automation fails, it often doe

When automation fails, it often does so without warning. This is
a situation I have documented very thoroughly in my other books
and many of my papers, as have many other people in the field of
safety and automation. When the failure occurs, the human is “out
of the loop.” This means that the person has not been paying much
attention to the operation, and it takes time for the failure to be
noticed and evaluated, and then to decide how to respond.
In an airplane, when the automation fails, there is usually considerable
time for the pilots to understand the situation and respond.
Airplanes fly quite high: over 10 km (6 miles) above the
earth, so even if the plane were to start falling, the pilots might
have several minutes to respond. Moreover, pilots are extremely
well trained. When automation fails in an automobile, the person
might have only a fraction of a second to avoid an accident. This
would be extremely difficult even for the most expert driver, and
most drivers are not well trained.
In other circumstances, such as ships, there may be more time
to respond, but only if the failure of the automation is noticed. In
one dramatic case, the grounding of the cruise ship Royal Majesty in
1997, the failure lasted for several days and was only detected in the
postaccident investigation, after the ship had run aground, causing
several million dollars in damage. What happened? The ship’s location
was normally determined by the Global Positioning System
(GPS), but the cable that connected the satellite antenna to the navigation
system somehow had become disconnected (nobody ever
discovered how). As a result, the navigation system had switched
from using GPS signals to “dead reckoning,” approximating the
ship’s location by estimating speed and direction of travel, but the
design of the navigation system didn’t make this apparent. As a result,
as the ship traveled from Bermuda to its destination of Boston,
it went too far south and went aground on Cape Cod, a peninsula
jutting out of the water south of Boston. The automation had performed
flawlessly for years, which increased people’s trust and reliance
upon it, so the normal manual checking of location or careful
perusal of the display (to see the tiny letters “dr” indicating “dead
reckoning” mode) were not done. This was a huge mode error failure. Design Principles for Dealing with Error
People are flexible, versatile, and creative. Machines are rigid, precise,
and relatively fixed in their operations. There is a mismatch
between the two, one that can lead to enhanced capability if used
properly. Think of an electronic calculator. It doesn’t do mathematics
like a person, but can solve problems people can’t. Moreover,
calculators do not make errors. So the human plus calculator is a
perfect collaboration: we humans figure out what the important
problems are and how to state them. Then we use calculators to
compute the solutions.
Difficulties arise when we do not think of people and machines
as collaborative systems, but assign whatever tasks can be automated
to the machines and leave the rest to people. This ends up
requiring people to behave in machine like fashion, in ways that
differ from human capabilities. We expect people to monitor machines,
which means keeping alert for long periods, something we
are bad at. We require people to do repeated operations with the
extreme precision and accuracy required by machines, again something
we are not good at. When we divide up the machine and
human components of a task in this way, we fail to take advantage
of human strengths and capabilities but instead rely upon areas
where we are genetically, biologically unsuited. Yet, when people
fail, they are blamed.
What we call “human error” is often simply a human action that
is inappropriate for the needs of technology. As a result, it flags a
deficit in our technology. It should not be thought of as error. We
should eliminate the concept of error: instead, we should realize
that people can use assistance in translating their goals and plans
into the appropriate form for technology.
Given the mismatch between human competencies and technological
requirements, errors are inevitable. Therefore, the best
designs take that fact as given and seek to minimize the opportunities
for errors while also mitigating the consequences. Assume
that every possible mishap will happen, so protect against them.
Make actions reversible; make errors less costly. Here are key design
principles:

Kết quả (Việt) 1:

Khi tự động hóa không thành công, nó thường xuyên như vậy mà không có cảnh báo. Điều này làmột tình huống tôi có tài liệu rất kỹ lưỡng trong cuốn sách của tôivà nhiều giấy tờ của tôi, vì có nhiều người khác trong lĩnh vựcan toàn và tự động hóa. Khi thất bại xảy ra, con người là "outvòng." Điều này có nghĩa rằng những người đã không trả tiền nhiềuchú ý đến các hoạt động, và phải mất thời gian cho sự thất bại đểnhận thấy và đánh giá, và sau đó quyết định làm thế nào để trả lời.Trong máy bay, khi tự động hóa không thành công, đó là thường đáng kểthời gian cho các phi công để hiểu tình hình và trả lời.Máy bay bay khá cao: trên 10 km (6 dặm) ở trên cáctrái đất, do đó, ngay cả khi máy bay đã bắt đầu rơi xuống, các phi công có thểcó một vài phút để trả lời. Hơn nữa, các phi công đang vô cùngđược đào tạo tốt. Khi tự động hóa thất bại trong một ô tô, ngườicó thể có chỉ một phần nhỏ của một giây để tránh xảy ra tai nạn. Điều nàysẽ là vô cùng khó khăn ngay cả đối với trình điều khiển đặt chuyên gia, vàHầu hết các trình điều khiển cũng không được đào tạo.Trong trường hợp khác, chẳng hạn như tàu, có thể có nhiều thời gian hơnđể đáp ứng, nhưng chỉ nếu sự thất bại của tự động hóa được nhận thấy. Ởmột trường hợp mạnh mẽ, nền tảng cruise tàu Royal Majesty trongnăm 1997, sự thất bại kéo dài trong nhiều ngày và chỉ được phát hiện trong cácpostaccident điều tra, sau khi tàu đã chạy bị mắc cạn, gây ramột vài triệu đô la thiệt hại. Điều gì đã xảy ra? Vị trí của tàubình thường được xác định bởi hệ thống định vị toàn cầu(GPS), nhưng cáp kết nối ăng-ten truyền hình vệ tinh với các menuHệ thống bằng cách nào đó đã trở thành bị ngắt kết nối (không ai bao giờphát hiện ra như thế nào). Kết quả là, Hệ thống chuyển hướng có chuyển sangtừ việc sử dụng tín hiệu GPS để "dead reckoning," số cácvị trí của con tàu bằng cách ước tính tốc độ và hướng của du lịch, nhưng cácthiết kế hệ thống dẫn đường không làm cho rõ ràng. Kết quả là,Khi con tàu đi du lịch từ Bermuda của nó đến Boston,nó đã đi quá xa về phía Nam và đã bị mắc cạn trên Cape Cod, một bán đảonhô ra khỏi nước về phía nam của Boston. Tự động hóa đã thực hiệnhoàn hảo trong năm, giúp gia tăng niềm tin và sự tin cậy của người dânkhi nó, vì vậy bình thường bằng tay kiểm tra vị trí hoặc cẩn thậnsự nhìn chăm chú của màn hình (để xem các chữ cái nhỏ "tiến sĩ" chỉ ra "chếtReckoning"chế độ) đã không được thực hiện. Đây là một lỗi lớn chế độ thất bại. Nguyên tắc thiết kế để đối phó với lỗiNgười là linh hoạt, linh hoạt và sáng tạo. Máy là cứng nhắc, chính xác,và tương đối cố định trong các hoạt động của họ. Đó là một không phù hợpgiữa hai, một trong đó có thể dẫn đến tăng cường khả năng nếu được sử dụngđúng cách. Hãy suy nghĩ của một máy tính điện tử. Nó không làm toánthích một người, nhưng có thể giải quyết vấn đề người có thể không. Hơn nữa,máy tính bỏ túi không có làm lỗi. Vì vậy, con người cộng với máy tính là mộthoàn thiện nghiên cứu khoa học: con người chúng ta tìm ra những gì là quan trọngvấn đề đang có và làm thế nào để nhà nước họ. Sau đó chúng tôi sử dụng máy tính đểtính toán các giải pháp.Những khó khăn nảy sinh khi chúng tôi không nghĩ rằng con người và máyHệ thống hợp tác, nhưng chỉ định bất kỳ công việc có thể được tự độngđể máy và rời khỏi phần còn lại cho người dân. Điều này kết thúcyêu cầu người dân cư xử trong máy như thời trang, theo những cách màkhác với khả năng của con người. Chúng tôi hy vọng mọi người theo dõi các máy móc,có nghĩa là giữ cảnh báo trong thời gian dài, một cái gì đó chúng tôirất xấu. Chúng tôi yêu cầu người dân để làm các hoạt động lặp đi lặp lại với cáccực kỳ chính xác và độ chính xác theo yêu cầu của máy, một lần nữa một cái gì đóchúng tôi là không tốt. Khi chúng tôi chia lên các máy tính vàthành phần nhân công việc bằng cách này, chúng ta không tận dụng lợi thếsức mạnh của con người và khả năng, nhưng thay vào đó dựa vào các khu vựcnơi mà chúng tôi đang biến đổi gen, sinh học không đáp. Tuy nhiên, khi mọi ngườikhông, họ đang đổ lỗi.Những gì chúng tôi gọi là "lỗi của con người" thường là chỉ đơn giản là một hành động của con người màlà không thích hợp cho các nhu cầu của công nghệ. Kết quả là, nó lá cờ mộtthâm hụt trong công nghệ của chúng tôi. Nó nên không được dùng như là lỗi. Chúng tôinên loại bỏ các khái niệm về lỗi: thay vào đó, chúng ta nên nhận ramà mọi người có thể sử dụng các hỗ trợ trong dịch mục tiêu và kế hoạchvào các hình thức thích hợp cho công nghệ.Nhất định không phù hợp giữa năng lực của con người và công nghệyêu cầu, lỗi là không thể tránh khỏi. Vì vậy, tốt nhấtthiết kế có sự thật như được đưa ra và tìm cách để giảm thiểu cơ hộilỗi trong khi cũng giảm nhẹ hậu quả. Giả sửmọi rủi ro có thể sẽ xảy ra, vì vậy có thể bảo vệ chống lại họ.Thực hiện hành động đảo ngược; làm cho lỗi ít tốn kém. Đây là thiết kế chínhnguyên tắc:

Kết quả (Việt) 2:

Khi tự động thất bại, nó thường làm vậy mà không có cảnh báo. Đây là
một tình huống tôi đã ghi nhận rất kỹ lưỡng trong cuốn sách khác của tôi
và nhiều giấy tờ của tôi, như có nhiều người khác trong lĩnh vực
an toàn và tự động hóa. Khi thất bại xảy ra, con người là "ra
khỏi vòng lặp." Điều này có nghĩa rằng người đó đã không được trả tiền nhiều
sự chú ý đến các hoạt động, và phải mất thời gian cho sự thất bại để được
chú ý và đánh giá, và sau đó quyết định làm thế nào để đáp ứng .
Trong một chiếc máy bay, khi tự động hóa thất bại, thường là đáng kể
thời gian cho các phi công để hiểu tình hình và đáp ứng.
Máy bay bay khá cao: trên 10 km (6 dặm) phía trên
trái đất, vì vậy ngay cả khi máy bay đã bắt đầu rơi , các phi công có thể
có một vài phút để trả lời. Hơn nữa, các phi công đang cực kỳ
được đào tạo tốt. Khi tự động hóa không ở trong xe, người đó
có thể chỉ có một phần nhỏ của một giây để tránh một tai nạn. Đây
sẽ là vô cùng khó khăn ngay cả đối với người lái xe chuyên nhất, và
hầu hết các trình điều khiển không được đào tạo tốt.
Trong các trường hợp khác, chẳng hạn như tàu, có thể có thêm thời gian
để trả lời, nhưng chỉ khi sự thất bại của việc tự động được nhận thấy. Trong
một trường hợp gay cấn, những nền tảng của các tàu du lịch Hoàng Majesty trong
năm 1997, sự thất bại kéo dài trong nhiều ngày và chỉ được phát hiện trong các
cuộc điều tra postaccident, sau khi con tàu đã bị mắc cạn, gây ra
nhiều triệu đô la thiệt hại. Chuyện gì đã xảy ra? Vị trí của tàu
đã được thường được xác định bởi hệ thống định vị toàn cầu
(GPS), nhưng cáp kết nối ăng-ten vệ tinh để điều hướng
hệ thống bằng cách nào đó đã trở nên ngắt kết nối (không ai
phát hiện ra như thế nào). Kết quả là, hệ thống định vị đã chuyển
từ việc sử dụng tín hiệu GPS để "phán xét ​​kẻ chết," xấp xỉ
vị trí của tàu bằng tốc độ và hướng của du lịch ước tính, nhưng
thiết kế của hệ thống định vị không thực hiện điều này rõ ràng. Kết quả là,
khi con tàu đi từ Bermuda đến đích của Boston,
nó đã đi quá xa về phía nam và đi bị mắc cạn ở Cape Cod, một bán đảo
nhô ra ở phía nam nước Boston. Việc tự động hóa đã thực hiện
hoàn hảo trong nhiều năm qua, trong đó tăng lòng tin và sự tin cậy của người dân
trên nó, vì vậy hướng dẫn kiểm tra bình thường của vị trí hoặc cẩn thận
nhìn chăm chú của màn hình (để xem các chữ cái nhỏ xíu "dr" chỉ "chết
reckoning" chế độ) không được thực hiện. Đây là một thất bại chế độ lỗi rất lớn. Nguyên tắc thiết kế cho Đối phó với Lỗi
dân rất linh hoạt, linh hoạt, và sáng tạo. Máy là cứng nhắc, chính xác,
và tương đối cố định trong hoạt động của mình. Có sự không phù hợp
giữa hai, một trong đó có thể dẫn đến khả năng tăng cường nếu được sử dụng
đúng cách. Hãy suy nghĩ của một máy tính điện tử. Nó không làm toán học
như một người, nhưng có thể giải quyết vấn đề con người thì không. Hơn nữa,
máy tính không làm lỗi. Vì vậy, máy tính cộng với con người là một
sự phối hợp hoàn hảo: con người chúng ta tìm ra những gì quan trọng
vấn đề này và làm thế nào để nhà nước họ. Sau đó, chúng tôi sử dụng máy tính để
tính toán các giải pháp.
Những khó khăn phát sinh khi chúng ta không nghĩ đến những người và máy móc
như hệ thống hợp tác, nhưng gán bất cứ nhiệm vụ có thể được tự động hóa
cho các máy và để phần còn lại cho người dân. Điều này kết thúc
đòi hỏi mọi người hành xử trong máy như thời trang, theo cách
khác với khả năng của con người. Chúng tôi mong đợi mọi người để giám sát máy,
có nghĩa là giữ tỉnh táo trong thời gian dài, một cái gì đó chúng tôi
không giỏi. Chúng tôi yêu cầu mọi người để làm các hoạt động lặp đi lặp lại với
độ chính xác cực cao và độ chính xác theo yêu cầu của máy móc, lại một cái gì đó
chúng tôi không giỏi. Khi chúng tôi chia lên các máy tính và
các thành phần con người của một nhiệm vụ theo cách này, chúng ta không tận dụng
những thế mạnh và khả năng của con người nhưng thay vì dựa vào khu vực
nơi chúng tôi là di truyền, sinh học không phù hợp. Tuy nhiên, khi người ta
thất bại, họ bị đổ lỗi.
Những gì chúng ta gọi là "lỗi của con người" thường chỉ đơn giản là một hành động của con người mà
là không thích hợp cho các nhu cầu của công nghệ. Kết quả là, nó cờ một
thâm hụt trong công nghệ của chúng tôi. Nó không nên được coi là lỗi. Chúng ta
nên loại bỏ khái niệm về lỗi: thay vào đó, chúng ta nên nhận
rằng mọi người có thể sử dụng sự hỗ trợ trong việc dịch các mục tiêu và kế hoạch của họ
. Thành dạng thích hợp cho công nghệ
Với sự không phù hợp giữa năng lực của con người và công nghệ
yêu cầu, lỗi là không thể tránh khỏi. Do đó, tốt nhất
thiết kế mất thực tế là như được đưa ra và tìm cách giảm thiểu các cơ hội
cho các lỗi trong khi cũng giảm nhẹ hậu quả. Giả sử
rằng mọi rủi ro có thể sẽ xảy ra, do đó bảo vệ chống lại họ.
Hãy hành động đảo ngược; thực hiện sai sót ít tốn kém. Dưới đây là thiết kế chính
các nguyên tắc: