underactuated2 UTM, Faculty of Comp

underactuated


2 UTM, Faculty of Computer Science and Information System, Universiti Teknologi Malaysia, 81310 UTM Skudai, Johor Darul Takzim, Malaysia

The use of gestures as means to convey information is an important part of human communication. The automatic recognition of gestures enriches human-computer interaction by offering a natural and intuitive method of data input. Automated systems for aiding those with impaired hearing have recently been one of the major areas of research. In sign language, hand gesture is one of the typical methods of non-verbal communication for human beings and we naturally use various gestures to express our own intentions in everyday life. Study has been made to structure an initial understanding and to identify the next step of function development. Hand detection is a fundamental step in many practical applications as gesture recognition, video surveillance, and multimodal machine interface and so on. For the flexibility and use- ful features, vision based technique has been proposed for gesture data collection. This paper will present research progress and findings on techniques and algorithms for hand detection as it will be used as an in- put for gesture recognition process.

Keywords sign language recognition; hand detection; vision-based


1. Introduction

The ability to detect a person unconstrained hand in a natural video sequence has applications in sign language, recognition and human computer interaction.

There are two ways to collect gesture data for recognition. Device based measurement which meas- ures hand gestures with equipment such as data gloves which can archive the accurate position of hand gestures as its position is directly measured. Second is vision-based technique, which can cover both face and hands signer in which signer does not need to wear data gloves device. All processing tasks are solved by using computer vision techniques which are more flexible and useful than prior approach.

Since sign language is gesticulated fluently and interactively like other spoken languages, a sign lan- guage recognizer must able to recognize continuous sign vocabularies in real-time. We are trying to build such a system for the Bahasa Melayu Sign Language or Bahasa Isyarat Malaysia (BIM).
A basic definition, gestures are usually understood as hand and body movement which can pass in- formation from one to another. Since we are interested in hand gesture and so the term ‘gesture’ is al- ways referred to the hand gesture in this paper.
The key points will be described in the following sections. Section 2 and 3 will reviewed some related works that has been done in specific area, sign language recognition and hand detection. Then, our cur- rent stage of development, our hand detection technique will be explained and also feature detection that has been extracted from hand segmentation. Current phase of our system development and future direc- tion also will be discussed.

2. Related Works



* Corresponding author: e-mail: [e-mail], Phone: [phone]




© FORMATEX 2006


968 Current Developments in Technology-Assisted Education (2006)


Attempts on machine vision-based sign language recognition have begun being published only recently with relevant literature since several years ago.

Most attempts to detect hands from video place restrictions on the environment. For examples, skin colour is surprisingly uniform [1, 2], so colour-based hand detection is possible [3]. However, this by itself is not reliable modality. Hands have to be distinguished from other skin-coloured objects and these are cases of sufficient lighting conditions, such as coloured light or grey-level images. Motion flow information is another modality that can fill this gap under certain conditions [4], but example for non- stationary cameras this approach becomes increasingly difficult and less reliable. Statistical information about hand locations is effective when used as a prior probability [5], but it requires application-specific training.
Eng-Jon Ong and Bowden [1] presented a novel, unsupervised approach to training an efficient and robust detector which applicable of not only detecting the presence of human hands within and image but classifying the hand shape. Their approach is to detect the location of the hands uses a boosted cascade of classifiers to detect shape alone in grey scale image. A database of hand images was clustered into sets of similar looking hands using the k-mediod clustering algorithm that using a distance metric based on shape context. A tree of boosted hand detectors was then formed, consisting of two layers, the top layer for general hand detection, whilst branches in the second layer specialize in classifying the sets of hand shapes resulting from the unsupervised clustering method. Tested the detector with an unseen database of 2509 images has given 99.8% success rate and shape classifier with 97.4% success rate.

Kolsch and Turk did a study on view-specific hand posture detection with an abject recognition method recently proposed by Viola and James. First, they demonstrate the suitability of the integral- image approach to the task of detecting hand appearances. Then, the qualitative measure is presented that amounts to an a priori estimate of ‘detectability’, alleviating the need for compute-intensive training. Finally, parameters of the detection methods are optimized, achieving significant speed and accuracy improvements. They suggested that most convex appearances with internal grey-level variation are better suited the purpose of detection with rectangle feature-classification method.

The Korean Manual Alphabet (KMA) by Jung-Bae Kim, Kwang-Hyun Park and Z.Zenn Bien [3], present a vision-based recognition system of Korean manual alphabet which is a subset of Korean Sign Language. KMA can recognize skin-coloured human hands by implemented fuzzy min-max neural network algorithm using Matrox Genesis imaging board and PULNIX TMC-7 RGB camera.

Feng-Sheng Chen, Chih-Ming Fu, Chung-Lin Huang [4] introduced a hand gesture recognition system to recognize ‘dynamic gesture’ of which a gesture in performed singly in complex background using 2D video input. The system tracks the moving hand and analyzes the hand-shape variation and motion in- formation as the input to the HMM-based recognition system. They come out with the experimental result of 4-state HMM has proved to generate the best performance for modelling the gesture. Each input image sequence is pre-processed by hand region extraction process for contour information and coding and have been implemented using two methods: (1) only contour information and (2) using com- bined contour information and motion information. The extracted information is converted to vector sequences and then quantized into symbol sequences for both of the training and recognition processes. Totally 1200 image sequences are collected for 20 different gestures, thus each kind of gesture with 60 sequences in average, in training phase and other 1200 sequences are collected for test. For method (1), recognition rate of using training data for testing is 97%, and the recognition rate of using testing data is 90.5%, meanwhile for method (2), recognition rate of using training data for testing is 98.5% and the recognition rate of using testing data rises to 93.5%.

3. Hand Region Detection

Hand detection is a preliminary step to a number of applications including HCI, surveillance, gesture recognition, hand tracking and understanding human-human interactions.

Hand detection exists in the preliminary stage in image processing. Our researches found out there are several techniques of detecting hand region.





© FORMATEX 2006


Current Developments in Technology-Assisted Education (2006) 969


Generally hand detection comprises of subtracting the signers image from the image background. Finding hand region using colour images is not difficult because the nature of skin colour has its own unique value and can easily being processed. Skin colour model will be used to detect pure hand image from complex environment. However, since skin colour is influenced by luminance and shadow, HSL colour model or RGB colour model do not give good performance. To luminance-free image, normalized RGB has been adopted. Some will compare the colours of the extracted skin regions with sample skin colour extracted from training images. These systems fail under poor lighting conditions or for skin colours they are not trained for.

To date, various colour models have been proposed for skin colour detection, e.g., the CbCr colour space is used in [8,9], the RGB colour space is used in [10]. The HS (Hue, Saturation) colour space is used in [11], normalized RGB and HSV (Hue, Saturation, Value) in [12] and etc. Dealing with coloured images will make the process of finding a threshold value to detect the hand become easier. However, dealing with greyscale input image forced us to automate input threshold value to measure the informa- tion thus extracted the hand region from the whole image.
In addition, edge detection technique will be applied to separate the arm region from the hand region when the signers wearing short sleeves shirt. For the same scenario, in [12], the hand and arm region is thinned to obtain the skele

Kết quả (Việt) 1:

underactuated


2 UTM, khoa khoa học máy tính và hệ thống thông tin, công nghệ Universiti Malaysia, 81310 UTM Skudai, Johor Darul Takzim, Malaysia

sử dụng cử chỉ như là phương tiện để truyền đạt thông tin là một phần quan trọng của thông tin liên lạc của con người. Sự công nhận tự động cử chỉ enriches con người-máy tính tương tác bằng cách cung cấp một phương pháp tự nhiên và trực quan của dữ liệu đầu vào. Các hệ thống tự động để giúp đỡ những người có suy xét xử mới đã là một trong các lĩnh vực chính của nghiên cứu. Trong ngôn ngữ ký hiệu, cử chỉ tay là một trong những phương pháp điển hình của thông tin liên lạc nói cho con người và chúng tôi tự nhiên sử dụng các cử chỉ để thể hiện ý định của chúng tôi trong cuộc sống hàng ngày. Nghiên cứu đã được thực hiện để cấu trúc một sự hiểu biết ban đầu và xác định bước tiếp theo của chức năng phát triển. Tay phát hiện là một bước cơ bản trong nhiều ứng dụng thực tế như cử chỉ công nhận, video giám sát, và giao diện đa phương thức máy và vân vân. Đối với tính linh hoạt và tính năng sử dụng-ful, tầm nhìn dựa trên kỹ thuật đã được đề xuất cho cử chỉ thu thập dữ liệu. Giấy này sẽ trình bày nghiên cứu tiến bộ và phát hiện về kỹ thuật và các thuật toán phát hiện tay vì nó sẽ được sử dụng như là một trong-đặt cho cử chỉ công nhận quá trình.

công nhận ngôn ngữ ký hiệu từ khóa; phát hiện tay; Dựa trên tầm nhìn


1. Giới thiệu

khả năng phát hiện một người unconstrained tay trong một chuỗi video tự nhiên có ứng dụng trong ngôn ngữ ký hiệu, công nhận và con người máy tính tương tác.

có hai cách để thu thập dữ liệu cử chỉ để được công nhận. Thiết bị dựa trên các đo lường mà meas chức tay cử chỉ với các thiết bị như găng tay dữ liệu mà có thể lưu trữ vị trí chính xác của cử chỉ tay như vị trí của nó trực tiếp đo. Thứ hai là kỹ thuật dựa trên tầm nhìn, đó có thể bao gồm cả hai phải đối mặt và bàn tay người ký tên chung trong người ký tên chung mà không cần phải mang dữ liệu găng tay thiết bị. Tất cả xử lý tác vụ được giải quyết bằng cách sử dụng máy tính tầm nhìn kỹ thuật mà có nhiều linh hoạt và hữu ích hơn phương pháp tiếp cận trước.

vì ngôn ngữ ký hiệu gesticulated lưu loát và tương tác như khác ngôn ngữ được nói, một bộ nhận dạng dấu hiệu lan-gauge phải có thể nhận ra dấu hiệu liên tục từ vựng trong thời gian thực. Chúng tôi đang cố gắng để xây dựng một hệ thống cho các ngôn ngữ ký hiệu Bahasa Melayu hoặc Bahasa Isyarat Malaysia (BIM).
một định nghĩa cơ bản, cử chỉ thường được hiểu như là tay và cơ thể phong trào mà có thể vượt qua trong hình thành từ một đến khác. Kể từ khi chúng tôi đang quan tâm trong tay cử chỉ và vì vậy, thuật ngữ 'cử chỉ' là al-cách gọi cử chỉ tay trong giấy này.
những điểm chính sẽ được mô tả trong các phần sau. Phần 2 và 3 sẽ xem xét một số tác phẩm liên quan đã được thực hiện trong khu vực cụ thể, ngôn ngữ ký hiệu nhận dạng và tay phát hiện. Sau đó, chúng tôi phát triển, bệnh hoạn-thuê giai đoạn kỹ thuật phát hiện tay của chúng tôi sẽ được giải thích và cũng có tính năng phát hiện đã được trích ra từ phân khúc tay. Giai đoạn hiện tại của chúng tôi phát triển hệ thống và direc-tion trong tương lai cũng sẽ được thảo luận.

2. Liên quan đến tác phẩm


* Corresponding tác giả: e-mail: [e-mail], điện thoại: [phone]



© FORMATEX 2006


968 phát triển hiện nay trong giáo dục Technology-Assisted (2006)


nỗ lực trên máy dựa trên tầm nhìn ngôn ngữ ký hiệu nhận dạng đã bắt đầu được phát hành chỉ mới với các tài liệu có liên quan từ vài năm trước đây.

đặt nỗ lực để phát hiện tay từ video nơi hạn chế về môi trường. Ví dụ, da màu là đáng ngạc nhiên đồng nhất [1, 2], Vì vậy màu dựa trên tay phát hiện có thể [3]. Tuy nhiên, điều này tự nó không phải là phương thức đáng tin cậy. Tay có thể phân biệt từ các đối tượng khác của da màu và đây là những trường hợp đủ điều kiện ánh sáng, chẳng hạn như ánh sáng màu hoặc xám cấp hình ảnh. Chuyển động dòng chảy thông tin là một phương thức mà có thể lấp đầy khoảng cách này theo một số điều kiện [4], nhưng ví dụ cho phòng không văn phòng phẩm máy ảnh cách tiếp cận này trở nên ngày càng khó khăn và ít đáng tin cậy. Thống kê thông tin về địa điểm tay là có hiệu quả khi sử dụng như một xác suất trước [5], nhưng nó đòi hỏi dành riêng cho ứng dụng đào tạo.
Eng-Jon Ong và Bowden [1] một cuốn tiểu thuyết trình bày. không có giám sát phương pháp tiếp cận để đào tạo một phát hiện hiệu quả và mạnh mẽ mà áp dụng của không chỉ phát hiện sự hiện diện của con người tay trong vòng và hình ảnh nhưng phân loại hình dạng tay. Cách tiếp cận của họ là để phát hiện vị trí của tay sử dụng một thác boosted của máy phân loại để phát hiện các hình dạng một mình trong hình ảnh màu xám quy mô. Cơ sở dữ liệu của tay hình ảnh được tập trung vào bộ tương tự như bàn tay tìm kiếm bằng cách sử dụng các thuật toán kết cụm k-mediod mà sử dụng một khoảng cách số liệu dựa trên hình dạng bối cảnh. Một cây thiết bị dò thúc đẩy mạnh mẽ tay sau đó được thành lập, bao gồm hai lớp, lớp trên cùng chung tay phát hiện, trong khi các chi nhánh trong lớp thứ hai chuyên phân loại bộ hình dạng bàn tay là hệ quả từ các phương pháp kết cụm không có giám sát. Thử nghiệm các máy dò với một cơ sở dữ liệu không nhìn thấy hình ảnh 2509 đã cho 99,8% thành công tỷ lệ và hình dạng loại với tỷ lệ 97,4% thành công.

Kolsch và Turk đã làm một nghiên cứu dành riêng cho xem tay tư thế phát hiện với một phương pháp công nhận abject mới được đề xuất bởi Viola và James. Trước tiên, họ chứng minh sự phù hợp của các phương pháp hình ảnh tích phân với nhiệm vụ phát hiện tay xuất hiện. Sau đó, các biện pháp về chất lượng được trình bày mà số tiền để một tiên nghiệm một ước tính của 'detectability', giảm sự cần thiết cho việc đào tạo chuyên sâu tính toán. Cuối cùng, các tham số của các phương pháp phát hiện được tối ưu hóa, đạt được cải tiến đáng kể tốc độ và độ chính xác. Họ đề nghị đặt lồi xuất hiện với nội bộ xám cấp biến thể tốt hơn phù hợp với mục đích phát hiện với hình chữ nhật tính năng-phân loại phương pháp.

The Hàn Quốc hướng dẫn sử dụng bảng chữ cái (KMA) của Kim Jung-Bae, Kwang-Hyun Park và Z.Zenn biên [3], trình bày một hệ thống nhận dạng dựa trên tầm nhìn của Hàn Quốc hướng dẫn sử dụng bảng chữ cái mà là một tập hợp con của ngôn ngữ ký hiệu Triều tiên. KMA có thể nhận ra bàn tay con người da màu bởi triển khai thực hiện các mạng nơ-ron min-max mờ thuật toán sử dụng Matrox Genesis hình ảnh ban và PULNIX TMC-7 RGB máy ảnh.

phong-Sheng Chen, Chih-Ming Fu, Chung-Lin hoàng [4] giới thiệu một cử chỉ tay công nhận hệ thống để nhận ra 'năng động cử chỉ' trong đó một cử chỉ trong thực hiện đơn lẻ trong nền phức tạp bằng cách sử dụng đầu vào video 2D. Hệ thống theo dõi mặt di chuyển và phân tích các biến thể hình dạng bàn tay và chuyển động trong hình thành như là đầu vào cho hệ thống dựa trên HMM công nhận. Họ đi ra với các thử nghiệm kết quả của 4-bang HMM đã chứng minh để tạo ra hiệu suất tốt nhất cho mô hình các cử chỉ. Mỗi hình ảnh nhập vào chuỗi trước được xử lý bằng tay quá trình khai thác khu vực đường viền thông tin và mã hóa và đã được thực hiện bằng cách sử dụng hai phương pháp: (1) chỉ đường viền thông tin và (2) sử dụng com - bined đường viền thông tin và thông tin chuyển động. Các thông tin được giải nén chuyển đổi sang trình tự véc tơ và sau đó bước vào trình tự biểu tượng cho cả đào tạo và các quy trình công nhận. Hoàn toàn 1200 chuỗi hình ảnh được thu thập cho 20 cử chỉ khác nhau, do đó mỗi loại cử chỉ với 60 trình tự trong trung bình, trong giai đoạn đào tạo và trình tự 1200 khác được thu thập cho thử nghiệm. Đối với phương pháp (1), công nhận tốc độ bằng cách sử dụng dữ liệu đào tạo để thử nghiệm là 97%, và tỷ lệ nhận dạng bằng cách sử dụng dữ liệu thử nghiệm là 90,5%, trong khi đó đối với phương pháp (2), công nhận tốc độ bằng cách sử dụng dữ liệu đào tạo để thử nghiệm là 98,5% và tỷ lệ nhận dạng bằng cách sử dụng dữ liệu thử nghiệm tăng lên đến 93.5%.

3. Tay phát hiện vùng

tay phát hiện là một bước sơ bộ để một số ứng dụng bao gồm HCI, giám sát, cử chỉ công nhận, tay theo dõi và tìm hiểu về con người-con người tương tác.

tay phát hiện tồn tại trong giai đoạn sơ bộ xử lý hình ảnh. Chúng tôi nghiên cứu tìm thấy ra có là một số kỹ thuật phát hiện tay vùng.



© FORMATEX 2006


sự phát triển hiện nay trong giáo dục Technology-Assisted (2006) 969


Nói chung tay phát hiện bao gồm trừ hình ảnh người ký từ hình ảnh nền. Tìm khu vực tay bằng cách sử dụng màu sắc hình ảnh là không khó khăn bởi vì bản chất của màu da có giá trị độc đáo của riêng của nó và có thể dễ dàng được xử lý. Da màu sắc mô hình sẽ được sử dụng để phát hiện tinh khiết tay hình ảnh từ môi trường phức tạp. Tuy nhiên, kể từ khi màu da bị ảnh hưởng bởi độ sáng và bóng tối, HSL màu sắc mô hình hoặc RGB màu sắc mô hình không cho hiệu suất tốt. Hình ảnh miễn phí chói, RGB bình thường đã được áp dụng. Một số sẽ so sánh các màu sắc của các vùng da chiết xuất với mẫu màu da chiết xuất từ đào tạo hình ảnh. Các hệ thống thất bại dưới điều kiện ánh sáng nghèo hoặc cho da màu sắc không đào tạo cho

đến nay, Mô hình màu khác nhau đã được đề xuất cho da màu phát hiện, ví dụ: không gian màu CbCr được sử dụng trong [8,9], không gian màu RGB được sử dụng trong [10]. Không gian màu HS (Huế, bão hòa) được sử dụng trong [11], chuẩn hoá RGB và HSV (Hue, bão hòa, giá trị) trong [12] và vv. Đối phó với màu hình ảnh sẽ làm cho quá trình của việc tìm kiếm một giá trị ngưỡng phát hiện mặt trở thành dễ dàng hơn. Tuy nhiên, đối phó với greyscale hình ảnh nhập vào buộc chúng tôi để tự động hoá nhập ngưỡng giá trị để đo informa tion do đó chiết xuất vùng tay từ hình ảnh toàn bộ.
ngoài ra, cạnh phát hiện kỹ thuật sẽ được áp dụng để tách vùng cánh tay từ vùng tay khi người ký mặc ngắn tay áo áo sơ mi. Cho cùng một kịch bản, trong [12], vùng tay và cánh tay mỏng để có được mặc

Kết quả (Việt) 2:

underactuated 2 UTM, Khoa Khoa học Máy tính và Hệ thống thông tin, Trường Đại học Teknologi Malaysia, 81.310 UTM Skudai, Johor Darul Takzim, Malaysia Việc sử dụng các cử chỉ như là phương tiện để truyền đạt thông tin là một phần quan trọng của thông tin liên lạc của con người. Việc công nhận tự động cử chỉ làm phong phú thêm sự tương tác của con người-máy tính bằng cách cung cấp một phương pháp tự nhiên và trực quan dữ liệu đầu vào. Hệ thống tự động để giúp đỡ những người có thính giác bị suy giảm gần đây đã là một trong những lĩnh vực nghiên cứu. Trong ngôn ngữ ký hiệu, cử chỉ tay là một trong những phương pháp điển hình của giao tiếp phi ngôn ngữ cho con người và chúng tôi tự nhiên sử dụng những cử chỉ khác nhau để bày tỏ ý định của chúng ta trong cuộc sống hàng ngày. Nghiên cứu đã được thực hiện để cấu trúc một sự hiểu biết ban đầu và xác định các bước tiếp theo của sự phát triển chức năng. Phát hiện tay là một bước cơ bản trong nhiều ứng dụng thực tế như nhận dạng cử chỉ, giám sát video, và giao diện máy tính đa phương thức và như vậy. Đối với sự linh hoạt và tính năng thường hay ful, tầm nhìn kỹ thuật đã được đề xuất dựa trên thu thập dữ liệu cử chỉ. Bài viết này sẽ trình bày quá trình nghiên cứu và kết quả nghiên cứu về kỹ thuật và các thuật toán để phát hiện tay vì nó sẽ được sử dụng như một đặt trong- cho quá trình nhận dạng cử chỉ. Từ khóa nhận dạng ngôn ngữ ký hiệu; phát hiện tay; dựa trên tầm nhìn 1. Giới thiệu Khả năng phát hiện một bàn tay không bị người trong một chuỗi video tự nhiên có ứng dụng trong ngôn ngữ ký hiệu, công nhận và tương tác máy tính của con người. Có hai cách để thu thập dữ liệu cử chỉ công nhận. Thiết bị đo lường dựa trên cử chỉ mà MEAs- biện tay với các thiết bị như găng tay dữ liệu có thể lưu trữ các vị trí chính xác của các cử chỉ tay như vị trí của nó được đo trực tiếp. Thứ hai là kỹ thuật dựa trên tầm nhìn, có thể bao gồm cả khuôn mặt và bàn tay người ký tên trong đó người ký tên không cần phải đeo găng tay dữ liệu thiết bị. Tất cả công việc xử lý được giải quyết bằng cách sử dụng các kỹ thuật thị giác máy tính mà là linh hoạt hơn và hữu ích hơn so với phương pháp trước. Kể từ ngôn ngữ ký hiệu được gesticulated trôi chảy và tương tác như tiếng nói khác, một dấu hiệu ngôn ngữ nhận dạng phải có thể nhận ra các từ vựng dấu hiệu liên tục trong thời gian thực . Chúng tôi đang cố gắng xây dựng một hệ thống như vậy cho các ngôn ngữ ký hiệu tiếng Bahasa Melayu hoặc tiếng Bahasa Malaysia Isyarat (BIM). Một định nghĩa cơ bản, cử chỉ thường được hiểu là bàn tay và cơ thể chuyển động mà có thể vượt qua hình trong- từ một đến khác. Vì chúng tôi là quan tâm đến cử chỉ tay và do đó thuật ngữ "cử chỉ" là al-cách gọi các cử chỉ tay trong bài báo này. Các điểm chính sẽ được mô tả trong các phần sau. Mục 2 và 3 sẽ xem xét một số công trình có liên quan đã được thực hiện trong khu vực cụ thể, công nhận ngôn ngữ ký hiệu và phát hiện tay. Sau đó, giai đoạn thuê cur- của chúng tôi phát triển, kỹ thuật phát hiện bàn tay của chúng tôi sẽ được giải thích và cũng có phát hiện đã được chiết xuất từ phân khúc tay. Giai đoạn phát triển hiện nay hệ thống của chúng tôi và phương hướng trong tương lai cũng sẽ được thảo luận. 2. Công trình liên quan * Tác giả: thư điện tử: [e-mail], Điện thoại: + 603-89212020 © FORMATEX năm 2006 968 bước phát triển mới trong giáo dục Công nghệ hỗ trợ (2006) Những nỗ lực trên máy tính dựa trên tầm nhìn nhận ngôn ngữ ký hiệu đã bắt đầu được công bố chỉ gần đây với tài liệu liên quan từ cách đây vài năm. Hầu hết các nỗ lực để phát hiện tay từ video ra các hạn chế về môi trường. Đối với ví dụ, màu da đáng ngạc nhiên là thống nhất [1, 2], vì vậy phát hiện tay màu dựa trên có thể [3]. Tuy nhiên, điều này tự nó không phải là phương thức đáng tin cậy. Tay phải được phân biệt với các đối tượng da màu khác và đây là những trường hợp điều kiện ánh sáng đầy đủ, chẳng hạn như ánh sáng hoặc màu xám cấp hình ảnh màu. Thông tin lưu động là một phương thức có thể lấp đầy khoảng cách này theo một số điều kiện [4], nhưng ví dụ cho máy ảnh đứng yên không phương pháp này ngày càng trở nên khó khăn và ít đáng tin cậy. Thông tin thống kê về các vị trí tay là hiệu quả khi được sử dụng như là một xác suất trước [5], nhưng nó đòi hỏi đào tạo ứng dụng cụ thể. Eng-Jon Ong và Bowden [1] trình bày một cuốn tiểu thuyết, phương pháp không giám sát để đào tạo một máy dò hiệu quả và mạnh mẽ mà áp dụng các không chỉ phát hiện sự hiện diện của bàn tay con người bên trong và hình ảnh, nhưng phân loại các hình bàn tay. Phương pháp của họ là để phát hiện vị trí của bàn tay sử dụng một thác tăng của phân loại để phát hiện hình dạng một mình trong hình ảnh màu xám quy mô. Một cơ sở dữ liệu hình ảnh bàn tay được nhóm vào bộ tay tương tự như tìm kiếm bằng cách sử dụng thuật toán phân nhóm k-mediod rằng việc sử dụng một thước đo khoảng cách dựa trên bối cảnh hình thành. Một cây dò tay tăng sau đó được thành lập, bao gồm hai lớp, lớp trên cùng để phát hiện tay nói chung, trong khi các chi nhánh ở lớp thứ hai chuyên về phân loại các bộ hình dạng bàn tay do các phương pháp phân nhóm không được giám sát. Kiểm tra phát hiện có một cơ sở dữ liệu vô hình của 2509 hình ảnh đã được 99,8% tỷ lệ thành công và hình dạng phân loại có 97,4% tỷ lệ thành công. Kölsch và Turk đã làm một nghiên cứu về phát hiện tư thế tay xem cụ thể với một phương pháp nhận dạng khốn khổ đề xuất gần đây của Viola và James. Đầu tiên, họ chứng minh sự phù hợp của các phương pháp tiếp cận hình ảnh integral- với nhiệm vụ phát hiện sự xuất hiện tay. Sau đó, các biện pháp định tính được trình bày rằng số tiền để một một ưu tiên ước tính của 'năng phát hiện, làm giảm sự cần thiết phải tính toán chuyên sâu đào tạo. Cuối cùng, các thông số của phương pháp phát hiện được tối ưu hóa, đạt được sự cải thiện tốc độ và độ chính xác đáng kể. Họ cho rằng hầu hết xuất hiện lồi với các biến thể màu xám cấp nội bộ thì phù hợp hơn với mục đích phát hiện bằng phương pháp hình chữ nhật tính năng phân loại. Sổ tay Hàn Quốc Bảng chữ cái (KMA) của Jung-Bae Kim, Kwang-Hyun Park và Z.Zenn Biên [3 ], trình bày một hệ thống nhận dạng dựa trên tầm nhìn của Hàn Quốc dẫn bảng chữ cái mà là một tập hợp con của ngôn ngữ ký hiệu của Hàn Quốc. KMA có thể nhận ra bàn tay con người da màu bằng cách thực hiện mờ min-max thuật toán mạng lưới thần kinh sử dụng Matrox Genesis hội đồng quản trị hình ảnh và máy ảnh PULNIX TMC-7 RGB. Feng-Sheng Chen, Chih-Ming Fu, Chung-Lin Huang [4] giới thiệu một bàn tay hệ thống nhận dạng cử chỉ để nhận ra "cử chỉ động 'trong đó một cử chỉ trong thực hiện đơn lẻ trong nền phức tạp bằng cách sử dụng đầu vào video 2D. Hệ thống theo dõi chuyển động tay và phân tích sự thay đổi tay hình dạng và chuyển động trong- hình như là đầu vào cho các hệ thống nhận dạng dựa trên HMM. Họ đi ra với kết quả thực nghiệm của HMM 4 nhà nước đã được chứng minh để tạo ra hiệu suất tốt nhất cho mô hình hóa các cử chỉ. Mỗi trình chiếu hình ảnh đầu vào được trước khi xử lý bằng quá trình khai thác khu vực đường viền tay để biết thông tin và mã hóa và đã được thực hiện bằng cách sử dụng hai phương pháp: (1) thông tin chỉ đường viền và (2) sử dụng thông tin đường viền và chuyển động thông tin bined đồng. Các thông tin thu được chuyển thành trình tự vector và sau đó lượng tử hóa thành những chuỗi biểu tượng cho cả hai quá trình đào tạo và công nhận. Tổng cộng 1200 chuỗi hình ảnh được thu thập cho 20 cử chỉ khác nhau, do đó mỗi loại cử chỉ với 60 chuỗi trung bình, trong giai đoạn đào tạo và 1200 trình tự khác được thu thập cho thử nghiệm. Đối với phương pháp (1), tỉ lệ nhận dạng của việc sử dụng dữ liệu huấn luyện để thử nghiệm là 97%, và tỷ lệ công nhận của việc sử dụng dữ liệu thử nghiệm là 90,5%, trong khi đó đối với phương pháp (2), tỉ lệ nhận dạng của việc sử dụng dữ liệu huấn luyện để thử nghiệm là 98,5% và tỉ lệ nhận dạng của việc sử dụng kiểm tra dữ liệu tăng lên đến 93,5%. 3. Khu vực cầm tay phát hiện phát hiện tay là một bước khởi đầu cho một số ứng dụng bao gồm HCI, giám sát, công nhận cử chỉ, theo dõi bàn tay và sự hiểu biết tương tác của con người-con người. phát hiện tay tồn tại trong giai đoạn sơ bộ trong xử lý hình ảnh. Nghiên cứu của chúng tôi phát hiện ra có một số kỹ thuật phát hiện vùng mặt. © 2006 FORMATEX hiện tại phát triển trong giáo dục Công nghệ hỗ trợ (2006) 969 chung tay phát hiện bao gồm trừ hình ảnh những người ký tên từ hình nền. Việc tìm kiếm khu vực tay sử dụng hình ảnh màu sắc không phải là khó khăn bởi vì bản chất của màu da có giá trị độc đáo của riêng mình và có thể dễ dàng được xử lý. Da mô hình màu sẽ được sử dụng để phát hiện hình ảnh tay tinh khiết từ môi trường phức tạp. Tuy nhiên, vì màu da bị ảnh hưởng bởi độ sáng và bóng tối, HSL mô hình màu hoặc mô hình màu RGB không cung cấp hiệu suất tốt. Để hình ảnh sáng miễn phí, chuẩn RGB đã được áp dụng. Một số sẽ so sánh màu sắc của vùng da chiết xuất với màu da mẫu chiết xuất từ hình ảnh đào tạo. Những hệ thống này không trong điều kiện ánh sáng yếu hoặc màu da họ không được đào tạo cho. Đến nay, các mô hình màu sắc khác nhau đã được đề xuất để phát hiện màu da, ví dụ, không gian màu CbCr được sử dụng trong [8,9], không gian màu RGB được sử dụng trong [10]. HS (Hue, Saturation) không gian màu được sử dụng trong [11], bình thường RGB và HSV (Hue, Saturation, Value) trong [12] và vv Xử lý hình ảnh màu sẽ làm cho quá trình tìm kiếm một giá trị ngưỡng để phát hiện các tay trở nên dễ dàng hơn. Tuy nhiên, đối phó với hình ảnh đầu vào thang màu xám buộc chúng tôi phải tự động hóa các giá trị ngưỡng đầu vào để đo lường sự thông tin trong báo như vậy, trích xuất các vùng tay từ toàn bộ hình ảnh. Ngoài ra, kỹ thuật phát hiện biên sẽ được áp dụng để tách các vùng cánh tay từ vùng tay khi người ký tên mặc ngắn tay áo sơ mi. Đối với cùng một kịch bản, trong [12], vùng bàn tay và cánh tay mỏng để có được những skele