One of the aspects of traditional t

One of the aspects of traditional test management that has always troubled me has been the obsession with counting test cases at some places.

If you don’t understand what’s going on, if you don’t really understand what software testing is all about then start counting, and you’ve immediately got some sort of grip on well, er something.

100 is bigger than 10. 10,000 is pretty impressive, and 100,000 is satisfyingly humongous. You might not really understand what’s happening, but when you face up to senior management and tell them that you’re managing thousands of things, well, they’ve got to be impressed.

But counting test cases? Is that useful? Well it is if it’s useful for managing the problem, but it’s not an end in itself. It’s nonsense to expect all testing to be measurable by the number of test cases. It can even be a damaging distraction.

I was once interviewed for a test management role. I was asked about my most challenging testing problem. I replied that it was working as a Y2K test manager. It seemed like a good answer. It was a huge task. There was nowhere near enough time to do all the testing we’d have liked. The dates couldn’t be pushed back, and we were starting too late. We had to take a ruthless risk based approach, triaging some applications out of sight. They’d have to run over the millennium and we’d wait and see what would happen. The cost of testing, and the limited damage if the applications failed meant we had to forget about them and put our effort where it would count.

What seemed like a good answer was really a big mistake! “How many test cases did you have?”

I was surprised. The question made no sense. The applications were insurance management information systems. There was an on-line front end, but technically that was pretty simple. My responsibility was the huge and fearsomely complex back end processing. The strategy was to get all the code fixed, then hit the most complex and date sensitive areas hard in testing.

We were looking at batch files. We had a perfect test oracle. We ran the batch suites with 1996 data, and the non-Y2K compliant code. We then date shifted the input data forward to 2000 (the next leap year) and ran the Y2K compliant code. The 2000 output files should be identical to the 1996 output files in everything except the years. It was much more complex than that, but in principle it was pretty simple.

There was a huge amount of preparation, ensuring all the reference tables were set up correctly, allowing for any hard coded dates in the programs, setting up the data and test jobs. The investigation of the inevitable discrepancies was painstaking and time-consuming, but it worked. We got through the planned high-priority testing on time, and there were no serious incidents over the millennium. I explained all this. We didn’t have “test cases”.

My interviewers asked me to try and put a figure on how many test cases we would have had, as if it were merely a matter of terminology. Even if you multiplied all the files we were checking by each time frame in which we were running tests, the total number would have been under a hundred. You could have called them “test cases” but it wouldn’t have meant anything. I explained this.

“So, under a hundred”. Pens scribbled furiously, and I seethed as I saw all our challenging, sometimes quite imaginative, and ultimately successful testing being reduced to “under a hundred” by people who hadn’t a clue.

I wasn’t hired. It didn’t bother me. I’d lost interest. I could have just lied and said, “oh, about 10,000 – yeah it was pretty big”, but I wouldn’t have wanted to work there.

I’ve seen the obsession with counting test cases taken to extremes. The need to count test cases created huge pressure on one project to execute testing in a way that facilitated reporting, not testing.

It was another big batch financial system, and there were some strong similarities with Y2K. However, this time we had to have “test cases” we could count, and report progress on. We had to “manage the stakeholders”. It was important that test execution should show that we’d got through 10% of the test cases in only 9% of the testing window, and that everything was just dandy.

Sadly, reports like that meant absolutely nothing. Easy test cases got passed quickly, complex ones took far longer and we were running badly late – according to the progress reports and the metrics. The trouble was that the easy test cases were insignificant. The complex ones were what counted and there were many inter-dependencies between them. The testers were finding out more and more about the application and the data, and if all went satisfactorily there would be a rush of test cases getting cleared at the end, as eventually happened.

The reaction of senior management to the daily progress reports was frantic concern. We weren’t getting through the test cases. That was all that mattered. No amount of explanation made a difference. I was spending most of my time on reports, explanations and meetings; very little with the testers. Management thought that we were politically naïve, and didn’t understand the need to keep the stakeholders happy. Bizarrely, the people who knew almost nothing about the work, or its complexities, thought that we were out of touch with reality.

Reality for them was managing the process, counting the test cases, playing the organisational game. “The quality of the application? Whoa, guys! You testers are missing the point. How many test cases have you got?”

Kết quả (Việt) 1:

Một trong những khía cạnh của quản lý bài kiểm tra truyền thống đã luôn luôn gặp khó khăn tôi đã là những nỗi ám ảnh với đếm trường hợp thử nghiệm tại một số nơi.Nếu bạn không hiểu những gì đang xảy ra, nếu bạn không thực sự hiểu những gì kiểm thử phần mềm là tất cả về, sau đó bắt đầu đếm, và bạn ngay lập tức có một số loại kẹp trên Vâng, er một cái gì đó.100 là lớn hơn 10. 10.000 là khá ấn tượng, và 100.000 là satisfyingly humongous. Bạn có thể không thực sự hiểu những gì đang xảy ra, nhưng khi bạn đối mặt với quản lý cấp cao và nói với họ rằng bạn đang quản lý hàng ngàn của sự vật, tốt, họ đã được ấn tượng.Trường hợp kiểm tra mà đếm? Đó là hữu ích? Vâng, đó là nếu nó là hữu ích cho việc quản lý vấn đề, nhưng nó không phải là một kết thúc trong chính nó. Nó là vô nghĩa để mong đợi mọi cuộc thử nghiệm được đo bằng số lượng các trường hợp kiểm tra. Nó thậm chí có thể là một phân tâm gây thiệt hại.Tôi một lần phỏng vấn cho một vai trò quản lý kiểm tra. Tôi đã hỏi về vấn đề kiểm tra khó khăn nhất của tôi. Tôi trả lời rằng nó đã làm việc như một người quản lý kiểm tra Y2K. Nó có vẻ như một câu trả lời tốt. Nó đã là một công việc rất lớn. Đó là hư không ở gần đủ thời gian để làm tất cả các thử nghiệm chúng tôi đã có thể thích. Những ngày không thể được đẩy lùi, và chúng tôi đã bắt đầu quá muộn. Chúng tôi đã phải mất một cách tiếp cận tàn nhẫn rủi ro dựa, triaging một số ứng dụng ra khỏi cảnh. Họ sẽ phải chạy qua thiên niên kỷ và chúng tôi sẽ chờ đợi và xem những gì sẽ xảy ra. Chi phí xét nghiệm, và hạn chế thiệt hại nếu các ứng dụng không có nghĩa là chúng tôi đã quên về họ và đặt nỗ lực của chúng tôi, nơi mà nó sẽ truy cập.Những gì có vẻ như một câu trả lời hay thực sự là một sai lầm lớn! "Trường hợp kiểm tra bao nhiêu bạn đã chưa?"Tôi đã ngạc nhiên. Các câu hỏi thực hiện không có ý nghĩa. Các ứng dụng là hệ thống thông tin quản lý bảo hiểm. Có một kết thúc trước trực tuyến, nhưng về mặt kỹ thuật đó là khá đơn giản. Trách nhiệm của tôi là xử lý rất lớn và phức tạp fearsomely kết thúc trở lại. Các chiến lược là để có được tất cả các mã cố định, sau đó nhấn phức tạp nhất và ngày khó khăn trong việc kiểm tra khu vực nhạy cảm.Chúng tôi đang tìm lúc tập tin bó. Chúng tôi đã có một bài kiểm tra hoàn hảo oracle. Chúng tôi chạy các lô Suite với dữ liệu năm 1996, và -Y2K tuân thủ mã. Chúng tôi ngày sau đó chuyển đầu vào dữ liệu chuyển tiếp sang năm 2000 (năm nhuận tiếp theo) và chạy Y2K tuân thủ mã. Các tập tin đầu ra năm 2000 nên giống hệt nhau để các tập tin đầu ra năm 1996 trong tất cả mọi thứ trừ những năm qua. Nó là phức tạp hơn, nhưng về nguyên tắc, nó đã khá đơn giản.Đã có một số tiền rất lớn của chuẩn bị, đảm bảo tất cả các bảng tham khảo được thiết lập một cách chính xác, cho phép cho bất kỳ ngày cứng mã hoá trong các chương trình, thiết lập dữ liệu và thử nghiệm các công việc. Điều tra sự khác biệt không thể tránh khỏi là siêng năng và tốn thời gian, nhưng nó đã làm việc. Chúng tôi đã thông qua kế hoạch ưu tiên cao kiểm tra về thời gian, và đã có không có sự cố nghiêm trọng trong thiên niên kỷ. Tôi giải thích tất cả điều này. Chúng tôi không có "trường hợp thử nghiệm".Phỏng vấn của tôi hỏi tôi để thử và đặt một con số trên bao nhiêu trường hợp thử nghiệm chúng tôi đã có thể có, như thể nó là chỉ là một vấn đề của thuật ngữ. Ngay cả khi bạn nhân tất cả các tập tin mà chúng tôi đã kiểm tra bởi mỗi khung thời gian mà trong đó chúng tôi đã chạy thử nghiệm, tổng số sẽ có dưới một trăm. Bạn có thể có thể gọi là họ "trường hợp thử nghiệm" nhưng nó sẽ không có nghĩa là bất cứ điều gì. Tôi giải thích điều này."Vì vậy, dưới một trăm". Bút viết vội giận dữ, và tôi seethed như tôi đã thấy tất cả chúng tôi đầy thách thức, đôi khi khá giàu trí tưởng tượng, và cuối cùng thành công thử nghiệm giảm đến "dưới một trăm" bởi những người đã không một đầu mối.Tôi đã không được thuê. Nó không làm phiền tôi. Tôi đã mất lãi suất. Tôi có thể có chỉ cần nói dối và nói, "oh, khoảng 10.000-có nó đã khá lớn", nhưng tôi sẽ không có muốn để làm việc đó.Tôi đã nhìn thấy những nỗi ám ảnh với đếm trường hợp thử nghiệm đưa tới thái cực. Sự cần thiết để đếm trường hợp thử nghiệm tạo áp lực rất lớn trên một dự án để thực hiện thử nghiệm trong một cách mà tạo điều kiện báo cáo, không thử nghiệm.Nó là một hệ thống tài chính lớn hàng loạt, và có một số điểm tương đồng mạnh mẽ với Y2K. Tuy nhiên, thời gian này, chúng tôi đã phải có "kiểm tra trường hợp" chúng tôi có thể đếm, và báo cáo tiến độ trên. Chúng tôi đã phải "quản lý các bên liên quan". Nó là quan trọng thực hiện bài kiểm tra sẽ hiển thị rằng chúng tôi đã có thông qua 10% các trường hợp thử nghiệm chỉ có 9% của cửa sổ kiểm tra, và rằng tất cả mọi thứ chỉ dandy.Đáng buồn thay, báo cáo như thế có nghĩa là hoàn toàn không có gì. Trường hợp kiểm tra dễ dàng có được thông qua một cách nhanh chóng, những phức tạp mất nhiều thời gian đến nay và chúng tôi đã chạy xấu cuối-theo báo cáo tiến độ và các số liệu. Vấn đề là các trường hợp kiểm tra dễ dàng được không đáng kể. Những phức tạp đã là những gì tính và có nhiều liên quan hệ phụ thuộc giữa chúng. Các thử nghiệm đã tìm hiểu càng nhiều về các ứng dụng và dữ liệu, và nếu mọi việc đều đáp ứng yêu cầu sẽ có một cơn sốt của trường hợp thử nghiệm nhận được xóa vào cuối, như cuối cùng đã xảy ra.Phản ứng của quản lý cấp cao để báo cáo tiến độ hàng ngày là mối quan tâm frantic. Chúng tôi không nhận được thông qua các trường hợp thử nghiệm. Đó là tất cả những mattered. Không có số tiền của giải thích thực hiện một sự khác biệt. Tôi đã chi tiêu phần lớn thời gian của tôi trên báo cáo, giải thích và các cuộc họp; rất ít với các thử nghiệm. Quản lý nghĩ rằng chúng tôi đã là về mặt chính trị ngây thơ, và không hiểu sự cần thiết để giữ cho các bên liên quan hạnh phúc. Bizarrely, những người đã biết hầu như không có gì về công việc, hoặc phức tạp của nó, nghĩ rằng chúng tôi đã mất liên lạc với thực tế.Thực tế cho họ quản lý quá trình, đếm các trường hợp thử nghiệm, chơi các trò chơi tổ chức. "Chất lượng của các ứng dụng? Whoa, tụi bay! Bạn thử nghiệm đang thiếu các điểm. Trường hợp kiểm tra bao nhiêu bạn có?"

Kết quả (Việt) 2:

Một trong những khía cạnh của quản lý thử nghiệm truyền thống mà luôn luôn gặp rắc rối với tôi đã là nỗi ám ảnh với trường hợp kiểm thử đếm ở một số nơi. Nếu bạn không hiểu những gì đang xảy ra, nếu bạn không thực sự hiểu những gì phần mềm kiểm tra được tất cả về sau đó bắt đầu đếm, và bạn đã ngay lập tức nhận được một số loại va li về tốt, er một cái gì đó. 100 là lớn hơn 10 10.000 là khá ấn tượng, và 100.000 là satisfyingly humongous. Bạn có thể không thực sự hiểu những gì đang xảy ra, nhưng khi bạn đối mặt với quản lý cấp cao và nói với họ rằng bạn đang quản lý hàng ngàn thứ, tốt, chúng tôi đã có được ấn tượng. Nhưng kể trường hợp thử nghiệm? Là hữu ích? Vâng nó là nếu nó có ích cho việc quản lý các vấn đề, ​​nhưng nó không phải là một kết thúc trong chính nó. Đó là vô nghĩa để mong đợi tất cả các thử nghiệm để có thể đo lường bằng số lượng các trường hợp thử nghiệm. Nó thậm chí có thể là một phân tâm hại. Tôi đã một lần được phỏng vấn cho một vai trò quản lý kiểm tra. Tôi đã được hỏi về vấn đề kiểm tra khó khăn nhất của tôi. Tôi trả lời rằng nó đã làm việc như một người quản lý kiểm tra Y2K. Nó có vẻ như một câu trả lời tốt. Đó là một công việc rất lớn. Không còn nơi nào gần đủ thời gian để làm tất cả các xét nghiệm chúng tôi đã thích. Những ngày tháng không thể được đẩy lùi, và chúng tôi đã bắt đầu quá muộn. Chúng tôi đã phải mất một cách tiếp cận dựa trên rủi ro tàn nhẫn, triaging một số ứng dụng ra khỏi tầm nhìn. Họ sẽ phải chạy qua thiên niên kỷ và chúng tôi sẽ chờ xem điều gì sẽ xảy ra. Các chi phí xét nghiệm, và thiệt hại hạn chế nếu các ứng dụng không thành công có nghĩa là chúng tôi phải quên họ và nỗ lực của chúng tôi, nơi nó sẽ đếm. Những gì có vẻ như một câu trả lời tốt thực sự là một sai lầm lớn! "Có bao nhiêu trường hợp thử nghiệm đã làm bạn có?" Tôi ngạc nhiên. Câu hỏi đặt ra không có ý nghĩa. Các ứng dụng là hệ thống thông tin quản lý bảo hiểm. Có một kết thúc trước trên mạng, nhưng về mặt kỹ thuật mà là khá đơn giản. Trách nhiệm của tôi là phức tạp xử lý cuối cùng lại rất lớn và fearsomely. Chiến lược này là để có được tất cả các mã cố định, sau đó đổ bộ vào vùng nhạy cảm và phức tạp nhất ngày khó khăn trong thử nghiệm. Chúng tôi đang tìm kiếm tại các tập tin batch. Chúng tôi đã có một oracle thử nghiệm hoàn hảo. Chúng tôi chạy các dãy phòng thi với 1996 dữ liệu, và các-Y2K phi mã thích hợp. Sau đó chúng tôi ngày chuyển các dữ liệu đầu vào về phía trước đến năm 2000 (năm nhuận tiếp theo) và chạy mã phù Y2K. 2000 tập tin đầu ra nên được trùng với 1.996 tập tin đầu ra trong tất cả mọi thứ ngoại trừ những năm qua. Đó là phức tạp hơn nhiều hơn thế, nhưng về nguyên tắc nó là khá đơn giản. Có một số tiền rất lớn của sự chuẩn bị, đảm bảo tất cả các bảng tham khảo đã được thiết lập một cách chính xác, cho phép bất kỳ ngày cứng mã hoá trong các chương trình, thiết lập các dữ liệu và thử nghiệm công ăn việc làm. Cuộc điều tra của quán không thể tránh khỏi là siêng năng và tốn thời gian, nhưng nó làm việc. Chúng tôi đã nhận thông qua các thử nghiệm ưu tiên cao kế hoạch về thời gian, và không có sự cố nghiêm trọng trong thiên niên kỷ. Tôi đã giải thích tất cả điều này. Chúng tôi không có "test". Phỏng vấn của tôi yêu cầu tôi cố gắng và đặt một con số trên có bao nhiêu trường hợp thử nghiệm, chúng tôi đã có thể có, như thể nó chỉ đơn thuần là một vấn đề của thuật ngữ. Thậm chí nếu bạn nhân với tất cả các tập tin, chúng tôi đã được kiểm tra bởi mỗi khung thời gian mà chúng ta đã được chạy thử nghiệm, tổng số sẽ có được dưới một trăm. Bạn có thể gọi họ là "test", nhưng nó sẽ không có ý nghĩa gì. Tôi giải thích này. "Vì vậy, dưới một trăm". Bút viết vội giận dữ, và tôi seethed khi tôi nhìn thấy tất cả các thử nghiệm đầy thách thức, đôi khi khá giàu trí tưởng tượng, và cuối cùng là thành công của chúng tôi được giảm xuống "dưới một trăm" bởi những người đã không phải là một đầu mối. Tôi đã không thuê. Nó không làm phiền tôi. Tôi đã đánh mất sự quan tâm. Tôi có thể chỉ cần nói dối và nói. "Oh, khoảng 10.000 - yeah nó là khá lớn", nhưng tôi sẽ không muốn làm việc ở đó tôi đã nhìn thấy những nỗi ám ảnh với các trường hợp thử nghiệm đếm đưa đến thái cực. Sự cần thiết phải tính trường hợp thử nghiệm tạo ra áp lực rất lớn đối với một dự án để thực hiện thử nghiệm trong một cách mà tạo điều kiện báo cáo, không thử nghiệm. Đó là một hệ thống tài chính lô lớn, và có một số điểm tương đồng mạnh mẽ với Y2K. Tuy nhiên, thời gian này, chúng tôi đã phải có "test" chúng ta có thể đếm được, và báo cáo tiến độ. Chúng tôi đã phải "quản lý các bên liên quan". Điều quan trọng là thực hiện thử nghiệm nên thấy rằng chúng tôi đã nhận được thông qua 10% các trường hợp thử nghiệm trong chỉ có 9% của cửa sổ kiểm tra, và rằng mọi thứ vẫn chỉ dandy. Đáng buồn thay, các báo cáo như thế có nghĩa là hoàn toàn không có gì. Trường hợp kiểm tra dễ dàng bị trôi qua thật nhanh, những phức tạp mất lâu hơn và chúng tôi đã chạy nặng cuối - theo báo cáo tiến độ và các số liệu. Nhưng vấn đề là các trường hợp thử nghiệm dễ dàng là không đáng kể. Những phức tạp là những gì tính và có nhiều liên hệ phụ thuộc giữa chúng. Các thử nghiệm đã tìm ra nhiều hơn và nhiều hơn nữa về các ứng dụng và dữ liệu, và nếu mọi việc đều thỏa đáng sẽ có một cuộc chạy đua của các trường hợp thử nghiệm bị xóa ở cuối, như cuối cùng đã xảy ra. Các phản ứng của quản lý cấp cao để báo cáo tiến độ hàng ngày là điên cuồng liên quan. Chúng tôi đã không nhận được thông qua các trường hợp thử nghiệm. Đó là tất cả những gì quan trọng. Không có số lượng giải thích được thực hiện một sự khác biệt. Tôi dành hầu hết thời gian của tôi trên các báo cáo, giải trình và các cuộc họp; rất ít với những người thử nghiệm. Quản lý nghĩ rằng chúng tôi đã ngây thơ về chính trị, và không hiểu sự cần thiết để giữ cho các bên liên quan hạnh phúc. Kỳ lạ, những người đã biết hầu như không có gì về công việc, hoặc phức tạp của nó, nghĩ rằng chúng tôi đã mất liên lạc với thực tế. Thực tế cho họ được quản lý tiến trình, kể các trường hợp thử nghiệm, chơi các trò chơi tổ chức. "Chất lượng của các ứng dụng? Whoa, guys! Bạn kiểm tra bị thiếu điểm. Có bao nhiêu trường hợp thử nghiệm có bạn có? "