Test Types Manual or Automated?Chec

Test Types Manual or Automated?
Checklist testing Manual execution of tests of application conventions
Automated execution of tests of object states, menus and standard features
Navigation Automated execution.
Equivalence Partitioning, Boundary Values, Decision Tables, State Transition Testing Automated execution of large numbers of simple tests of the same functionality or process e.g. the 256 combinations indicated by a decision table.
Manual execution of low volume or complex tests
Desktop Integration, C/S Communications Automated execution of repeated tests of simple transactions
Manual tests of complex interactions
Synchronisation Manual execution.
Soak testing, Compatibility testing, Platform/environment Automated execution.
Table 4 - Manual versus automated execution
5 Improving the testability of GUI Applications
5.1 The GUI Testing Challenge
It is clear that GUIs present a challenge to testers because they appear to be inherently more difficult to test. The flexibility of GUIs invites programmers to pass on this flexibility to end users in their applications. Consequently, users can exercise the application code in ways never envisaged by the programmers and which are likely to be released untested.
If testability is the ease with which a tester can specify, prepare, execute and analyse tests, it is arguable that it is possible for programmers to build untestable systems using GUIs.
It is difficult to specify tests because much of the underlying functionality in a GUI application is undocumented. Because of the event-driven nature of GUIs, a considerable amount of programming effort is expended on dealing with hidden interactions that come to light during the informal programmer testing so tend to go undocumented.
It is difficult to prepare tests because the number tests required to exercise paths through the application which a user might follow has escalated dramatically. If we consider using menus, function keys and mouse movements to exercise system features, the number of tests increased further.
It is difficult to execute tests. Using a manual pointing device is virtually unrepeatable and certainly error prone. Creating tests which stimulate hidden interactions, set or amend visible (or invisible) GUI objects is troublesome. Separating tests of application code from the GUI elements of the operating system is tricky.
It is difficult to analyse tests because there is constant change on the screen and behind the screen. Windows on which results are displayed may appear and all other visible windows may be refreshed simultaneously making visual inspection difficult. Expected results may not be directly displayed but on hidden windows. Attributes of objects to be verified may be invisible or difficult to detect by eye. Windows that display invalid results may be hidden by other windows or on windows that are minimised.
5.2 GUI Design for Testability
We make the following recommendations to GUI designers aimed at improving testability. We suggest that the most straightforward way of implementing them is to include checks on these design issues in checklist test cases. Some of these recommendations impact the freedom users have to use software in certain ways, but we believe that if the application structure and organisation is well designed, the user will have little need to make unusual choices.
1. Where applications have modes of operation so that some features become meaningless or redundant, then these options on menus should be greyed-out or disabled in some other way.
2. Unless there are specific requirements to display the same data on multiple windows the designer should avoid having to build in dependencies between windows to eliminate ‘displayed data’ inconsistencies.
3. Navigation between windows should be hierarchic, (in preference to anarchic) to minimise the number of windows that might be open at once and to reduce the number of paths through the system.
4. Unless there is an impact on usability, windows should be modal to reduce the number of paths through the system and reduce window testing to a simpler, forms-like test process.
5. Unless there is an impact on usability, dependencies between objects on windows should be avoided or circumvented by splitting user transactions into multiple modal windows.
6. The number of system commands (maximise, minimise, close, restore) available on windows should be reduced to a minimum.
7. Functionality which is accessed by equivalent button clicks, function keys and menu options should be implemented using the same function-call to reduce the possibility of errors and the need to always test all three mechanisms.
8. Instrumentation should be implemented in code to provides information on application interfaces to other desktop products or server-based processes and should be an option which can be turned on or off by testers.
9. Instrumentation should be implemented to provide information on the content of unsolicited events from other applications and also to simulate these unsolicited events for test purposes.

Kết quả (Việt) 1:

Thử nghiệm loại thủ công hoặc tự động?Danh sách kiểm tra kiểm tra hướng dẫn sử dụng thực hiện các xét nghiệm của ứng dụng công ước Tự động thực hiện bài kiểm tra của đối tượng kỳ, menu và chức năngChuyển hướng tự động thực hiện.Tương đương phân vùng, giá trị biên giới, quyết định bảng, nhà nước chuyển tiếp thử nghiệm tự động thực hiện số lượng các xét nghiệm đơn giản của các chức năng tương tự hoặc kết hợp quá trình ví dụ: 256 được chỉ định bởi một bảng quyết định lớn. Thực hiện hướng dẫn sử dụng khối lượng thấp hoặc phức tạp các xét nghiệmTích hợp máy tính để bàn, C/S thông tin tự động thực hiện các thử nghiệm lặp đi lặp lại của các giao dịch đơn giản Hướng dẫn sử dụng thử nghiệm của tương tác phức tạpĐồng bộ hóa hướng dẫn sử dụng thực hiện.Tận hưởng thử nghiệm, khả năng tương thích thử nghiệm, nền tảng/môi trường tự động thực hiện.Bảng 4 - hướng dẫn sử dụng so với tự động thực hiện5 nâng cao testability giao diện ứng dụng5.1 giao diện thử nghiệm thách thứcNó là rõ ràng rằng GUIs trình bày một thách thức để thử nghiệm bởi vì họ dường như hơi khó khăn hơn để kiểm tra. Sự linh hoạt của GUIs mời lập trình để vượt qua ngày này tính linh hoạt cho người dùng cuối trong các ứng dụng. Do đó, người dùng có thể thực hiện các ứng dụng mã theo cách không bao giờ dự kiến của các lập trình viên và có khả năng sẽ được phát hành untested.Nếu testability là sự dễ dàng mà một thử có thể chỉ định, chuẩn bị, thực hiện và phân tích bài kiểm tra, nó là đáng rằng nó có thể cho các lập trình để xây dựng hệ thống untestable sử dụng GUIs.Nó rất khó để xác định thử nghiệm bởi vì phần lớn các chức năng cơ bản trong một ứng dụng GUI là không có giấy tờ. Bởi vì sự kiện-driven bản chất của GUIs, một số lượng đáng kể các nỗ lực lập trình mở rộng về đối phó với tương tác ẩn mà đến với ánh sáng trong các lập trình viên không chính thức thử nghiệm như vậy có xu hướng đi không có giấy tờ.Nó là khó khăn để chuẩn cho bài kiểm tra vì các xét nghiệm số yêu cầu thực hiện thông qua các ứng dụng mà người dùng có thể thực hiện theo các đường dẫn đã leo thang đáng kể. Nếu chúng ta xem xét bằng cách sử dụng menu, phím chức năng và di chuyển chuột để thực hiện hệ thống tính năng, số xét nghiệm tăng thêm.Nó rất khó để thực hiện các bài kiểm tra. Bằng cách sử dụng một thiết bị trỏ hướng dẫn sử dụng là hầu như không thể lặp lại và chắc chắn có lỗi dễ bị. Tạo bài kiểm tra tương tác ẩn kích thích, thiết lập hoặc sửa đổi các đối tượng GUI (có thể nhìn thấy hoặc vô hình) là phiền hà. Tách các xét nghiệm của ứng dụng mã từ các yếu tố GUI của hệ điều hành là khó khăn. Nó rất khó để phân tích các bài kiểm tra vì không thay đổi liên tục trên màn hình và đằng sau màn hình. Windows mà kết quả được hiển thị có thể xuất hiện và tất cả các cửa sổ có thể nhìn thấy khác có thể được làm mới cùng một lúc làm cho kiểm tra trực quan khó khăn. Dự kiến kết quả có thể không được trực tiếp Hiển thị nhưng trên ẩn windows. Thuộc tính của đối tượng được xác minh có thể được vô hình hoặc khó khăn để phát hiện bằng mắt. Cửa sổ hiển thị các kết quả không hợp lệ có thể được ẩn bằng các cửa sổ khác hoặc trên cửa sổ được giảm thiểu.5.2 GUI thiết kế cho TestabilityChúng tôi làm cho các khuyến nghị sau đây để thiết kế GUI nhằm mục đích cải thiện testability. Chúng tôi đề nghị rằng cách đơn giản nhất của việc thực hiện chúng là bao gồm kiểm tra về những vấn đề thiết kế trong trường hợp kiểm tra danh sách kiểm tra. Một số các đề xuất này tác động đến sự tự do người dùng có thể sử dụng phần mềm trong cách nhất định, nhưng chúng tôi tin rằng nếu ứng dụng cấu trúc và tổ chức cũng được thiết kế tại đây, người dùng sẽ có ít cần phải thực hiện sự lựa chọn không bình thường.1. trong trường hợp các ứng dụng có chế độ hoạt động, do đó một số tính năng trở thành vô nghĩa hoặc dự phòng, sau đó các tùy chọn trên menu nên được màu xám-out hoặc vô hiệu hóa bằng cách khác. 2. trừ khi có những yêu cầu cụ thể để hiển thị cùng dữ liệu trên nhiều cửa sổ các nhà thiết kế nên tránh việc xây dựng quan hệ phụ thuộc giữa các cửa sổ để loại bỏ 'Hiển thị dữ liệu' mâu thuẫn. 3. điều hướng giữa các cửa sổ phải hierarchic, (ưu đãi cho anarchic) để giảm thiểu số lượng các cửa sổ có thể được mở cùng một lúc và để giảm số lượng các đường dẫn thông qua hệ thống. 4. trừ khi có một tác động trên khả năng sử dụng, windows phải được cách thức để giảm số lượng các đường dẫn thông qua hệ thống và giảm cửa sổ thử nghiệm với một quá trình đơn giản, giống như hình thức kiểm tra. 5. trừ khi có một tác động trên khả năng sử dụng, phụ thuộc giữa các đối tượng trên windows nên được tránh hoặc circumvented thông qua việc tách người sử dụng giao dịch vào nhiều phương thức windows. 6. số lượng các lệnh hệ thống (tối đa hoá, giảm thiểu, đóng, khôi phục lại) có sẵn trên windows nên được giảm đến mức tối thiểu. 7. chức năng mà được truy cập bởi tương đương nút nhấp chuột, phím chức năng và tùy chọn trình đơn phải được thực hiện bằng cách sử dụng chức năng cuộc gọi cùng một để làm giảm khả năng xảy ra lỗi và sự cần thiết để luôn luôn kiểm tra tất cả các cơ chế ba. 8. thiết bị phải được thực hiện trong mã để cung cấp thông tin về ứng dụng giao diện với các sản phẩm máy tính để bàn hoặc máy chủ Dựa trên quy trình và nên là một lựa chọn mà có thể được bật hoặc tắt của thử nghiệm. 9. thiết bị phải được thực hiện để cung cấp thông tin về nội dung của các sự kiện không được yêu cầu từ các ứng dụng khác và cũng có thể để mô phỏng các sự kiện không được yêu cầu cho mục đích thử nghiệm.

Kết quả (Việt) 2:

Các loại bài kiểm tra bằng tay hoặc tự động?
Danh sách kiểm tra thử nghiệm thực hiện bằng tay của các bài kiểm tra của các công ước áp dụng
tự động thực hiện các bài kiểm tra của đối tượng trạng thái, menu và tiêu chuẩn tính năng
thực hiện Navigation Automated.
Tính tương đương phân vùng, ranh giới các giá trị, Quyết định Bàn, kiểm tra Transition Nhà nước tự động thực hiện một số lượng lớn đơn giản kiểm tra các chức năng tương tự hoặc quá trình ví dụ như 256 kết hợp được chỉ định bởi một bảng quyết định.
thực hiện bằng tay của khối lượng thấp hoặc các xét nghiệm phức tạp
Desktop Integration, C / S Communications Automated thực hiện các kiểm lặp đi lặp lại của các giao dịch đơn giản
kiểm tra bằng tay của các tương tác phức tạp
đồng bộ hóa thực hiện bằng tay.
Ngâm kiểm tra, thực hiện kiểm tra khả năng tương thích, Platform / Môi trường tự động.
Bảng 4 - Hướng dẫn sử dụng so với thực hiện tự động
5 Nâng cao khả năng kiểm thử của GUI ứng dụng
5.1 Các GUI Testing Challenge
Rõ ràng là ảnh minh hoạ là một thách thức để xét nghiệm vì chúng xuất hiện để được vốn đã khó khăn hơn để kiểm tra . Sự linh hoạt của GUIs mời các lập trình viên để vượt qua sự linh hoạt này cho người dùng cuối trong các ứng dụng của họ. Do đó, người dùng có thể thực hiện các mã ứng dụng theo những cách không bao giờ đề cập tới trong các lập trình viên và đều có khả năng sẽ được phát hành chưa được kiểm tra.
Nếu testability là sự dễ dàng mà một thử nghiệm có thể xác định, chuẩn bị, thực hiện và phân tích các xét nghiệm, nó gây tranh cãi là nó có thể cho các lập trình để xây dựng các hệ thống untestable sử dụng ảnh minh hoạ.
Thật khó để xác định các xét nghiệm vì nhiều chức năng cơ bản trong một ứng dụng giao diện được cung cấp tài liệu. Bởi vì bản chất sự kiện định hướng của ảnh minh hoạ, một số lượng đáng kể các nỗ lực lập trình được chi tiêu về xử lý tương tác ẩn mà đến với ánh sáng trong quá trình lập trình thử nghiệm không chính thức như vậy có xu hướng đi không có giấy tờ.
Đó là khó khăn để chuẩn bị kiểm tra vì các bài kiểm tra số lượng yêu cầu để đường dẫn tập thể dục thông qua các ứng dụng mà người dùng có thể làm theo đã leo thang đáng kể. Nếu chúng ta xem xét sử dụng các menu, các phím chức năng và di chuyển chuột để thực hiện các tính năng hệ thống, số lượng các trường tiếp tục tăng lên.
Đó là khó khăn để thực hiện các bài kiểm tra. Sử dụng một thiết bị chỉ dẫn là hầu như không thể lặp lại và chắc chắn dễ bị lỗi. Tạo bài kiểm tra đó kích thích sự tương tác ẩn, thiết lập hoặc sửa đổi có thể nhìn thấy (hoặc ẩn) các đối tượng GUI là phiền hà. Tách các bài kiểm tra của mã ứng dụng từ các yếu tố giao diện của hệ điều hành là khó khăn.
Thật khó để phân tích xét nghiệm vì có sự thay đổi liên tục trên màn hình và phía sau màn hình. Windows trên mà kết quả được hiển thị có thể xuất hiện và tất cả cửa sổ thấy được khác có thể được làm mới cùng một lúc làm kiểm tra thị giác khó khăn. Dự kiến kết quả có thể không được hiển thị trực tiếp trên cửa sổ nhưng ẩn. Các thuộc tính của các đối tượng được xác minh có thể là vô hình hoặc khó phát hiện bằng mắt. Cửa sổ hiển thị kết quả hợp lệ có thể được ẩn bằng các cửa sổ khác hoặc trên cửa sổ được giảm thiểu.
5.2 GUI Design cho Testability
Chúng tôi làm cho các khuyến nghị sau đây để thiết kế giao diện nhằm cải thiện khả năng kiểm thử. Chúng tôi đề nghị rằng cách đơn giản nhất của việc thực hiện chúng là bao gồm kiểm tra về những vấn đề thiết kế trong trường hợp kiểm tra danh sách kiểm tra. Một số trong những đề xuất tác động đến sự tự do người dùng phải sử dụng phần mềm theo những cách nhất định, nhưng chúng tôi tin rằng nếu các cấu trúc ứng dụng và tổ chức được thiết kế tốt, người sử dụng sẽ có thể không cần đến những lựa chọn khác thường.
1. Trường hợp hồ sơ có phương thức hoạt động để một số tính năng trở nên vô nghĩa hoặc dư thừa, thì các tùy chọn trên menu nên có màu xám-out hoặc bị vô hiệu hóa trong một số cách khác.
2. Trừ khi có những yêu cầu cụ thể để hiển thị các dữ liệu giống nhau trên nhiều cửa sổ thiết kế nên tránh việc phải xây dựng trong sự phụ thuộc giữa các cửa sổ để loại bỏ 'được hiển thị dữ liệu' mâu thuẫn.
3. Navigation giữa các cửa sổ nên có thứ bậc, (ưu tiên để vô chính phủ) để giảm thiểu số lượng các cửa sổ có thể mở cùng một lúc và để giảm số lượng các đường dẫn thông qua hệ thống.
4. Trừ khi có một tác động vào sự tiện dụng, cửa sổ nên có phương thức để giảm số lượng các đường dẫn thông qua hệ thống và giảm thử nghiệm cửa sổ để một quá trình thử nghiệm các hình thức như đơn giản.
5. Trừ khi có một tác động trên khả năng sử dụng, sự phụ thuộc giữa các đối tượng trên cửa sổ nên tránh hoặc phá vỡ bằng cách giao dịch tách sử dụng vào nhiều cửa sổ phương thức.
6. Số lượng các lệnh hệ thống (tối đa hóa, giảm thiểu tối đa, đóng, khôi phục) có sẵn trên các cửa sổ nên được giảm đến mức tối thiểu.
7. Chức năng mà được truy cập bằng cách nhấp chuột vào nút tương đương, các phím chức năng và các tùy chọn trình đơn nên được thực hiện bằng cách sử dụng cùng một chức năng gọi để giảm khả năng sai sót và cần phải luôn luôn kiểm tra tất cả ba cơ chế.
8. Cụ nên được thực hiện trong mã để cung cấp thông tin về các giao diện ứng dụng cho các sản phẩm máy tính để bàn khác hoặc các quy trình dựa trên máy chủ và phải là một lựa chọn mà có thể được bật hoặc tắt bằng cách xét nghiệm.
9. Instrumentation cần được thực hiện để cung cấp thông tin về nội dung của sự kiện không mong muốn từ các ứng dụng khác và cũng để mô phỏng các sự kiện này không được yêu cầu cho mục đích thử nghiệm.