Sign Language to Voice Recognition:

Sign Language to Voice Recognition: Hand Detection Tech- niques for Vision-Based Approach

Noor Saliza Mohd Salleh*,1, Jamilin Jais1, Lucyantie Mazalan1, Roslan Ismail1, Salman Yussof1, Azhana Ahmad1, Adzly Anuar1, Dzulkifli Mohamad2

1 UNITEN, College of Information Technology, Universiti Tenaga Nasional, Km 7, Jalan Kajang- Puchong, 43009 Kajang, Selangor, Malaysia.

2 UTM, Faculty of Computer Science and Information System, Universiti Teknologi Malaysia, 81310 UTM Skudai, Johor Darul Takzim, Malaysia

The use of gestures as means to convey information is an important part of human communication. The automatic recognition of gestures enriches human-computer interaction by offering a natural and intuitive method of data input. Automated systems for aiding those with impaired hearing have recently been one of the major areas of research. In sign language, hand gesture is one of the typical methods of non-verbal communication for human beings and we naturally use various gestures to express our own intentions in everyday life. Study has been made to structure an initial understanding and to identify the next step of function development. Hand detection is a fundamental step in many practical applications as gesture recognition, video surveillance, and multimodal machine interface and so on. For the flexibility and use- ful features, vision based technique has been proposed for gesture data collection. This paper will present research progress and findings on techniques and algorithms for hand detection as it will be used as an in- put for gesture recognition process.

Keywords sign language recognition; hand detection; vision-based


1. Introduction

The ability to detect a person unconstrained hand in a natural video sequence has applications in sign language, recognition and human computer interaction.

There are two ways to collect gesture data for recognition. Device based measurement which meas- ures hand gestures with equipment such as data gloves which can archive the accurate position of hand gestures as its position is directly measured. Second is vision-based technique, which can cover both face and hands signer in which signer does not need to wear data gloves device. All processing tasks are solved by using computer vision techniques which are more flexible and useful than prior approach.

Since sign language is gesticulated fluently and interactively like other spoken languages, a sign lan- guage recognizer must able to recognize continuous sign vocabularies in real-time. We are trying to build such a system for the Bahasa Melayu Sign Language or Bahasa Isyarat Malaysia (BIM).
A basic definition, gestures are usually understood as hand and body movement which can pass in- formation from one to another. Since we are interested in hand gesture and so the term ‘gesture’ is al- ways referred to the hand gesture in this paper.
The key points will be described in the following sections. Section 2 and 3 will reviewed some related works that has been done in specific area, sign language recognition and hand detection. Then, our cur- rent stage of development, our hand detection technique will be explained and also feature detection that has been extracted from hand segmentation. Current phase of our system development and future direc- tion also will be discussed.

2. Related Works



* Corresponding author: e-mail: [e-mail], Phone: [phone]




© FORMATEX 2006


968 Current Developments in Technology-Assisted Education (2006)


Attempts on machine vision-based sign language recognition have begun being published only recently with relevant literature since several years ago.

Most attempts to detect hands from video place restrictions on the environment. For examples, skin colour is surprisingly uniform [1, 2], so colour-based hand detection is possible [3]. However, this by itself is not reliable modality. Hands have to be distinguished from other skin-coloured objects and these are cases of sufficient lighting conditions, such as coloured light or grey-level images. Motion flow information is another modality that can fill this gap under certain conditions [4], but example for non- stationary cameras this approach becomes increasingly difficult and less reliable. Statistical information about hand locations is effective when used as a prior probability [5], but it requires application-specific training.
Eng-Jon Ong and Bowden [1] presented a novel, unsupervised approach to training an efficient and robust detector which applicable of not only detecting the presence of human hands within and image but classifying the hand shape. Their approach is to detect the location of the hands uses a boosted cascade of classifiers to detect shape alone in grey scale image. A database of hand images was clustered into sets of similar looking hands using the k-mediod clustering algorithm that using a distance metric based on shape context. A tree of boosted hand detectors was then formed, consisting of two layers, the top layer for general hand detection, whilst branches in the second layer specialize in classifying the sets of hand shapes resulting from the unsupervised clustering method. Tested the detector with an unseen database of 2509 images has given 99.8% success rate and shape classifier with 97.4% success rate.

Kolsch and Turk did a study on view-specific hand posture detection with an abject recognition method recently proposed by Viola and James. First, they demonstrate the suitability of the integral- image approach to the task of detecting hand appearances. Then, the qualitative measure is presented that amounts to an a priori estimate of ‘detectability’, alleviating the need for compute-intensive training. Finally, parameters of the detection methods are optimized, achieving significant speed and accuracy improvements. They suggested that most convex appearances with internal grey-level variation are better suited the purpose of detection with rectangle feature-classification method.

The Korean Manual Alphabet (KMA) by Jung-Bae Kim, Kwang-Hyun Park and Z.Zenn Bien [3], present a vision-based recognition system of Korean manual alphabet which is a subset of Korean Sign Language. KMA can recognize skin-coloured human hands by implemented fuzzy min-max neural network algorithm using Matrox Genesis imaging board and PULNIX TMC-7 RGB camera.

Feng-Sheng Chen, Chih-Ming Fu, Chung-Lin Huang [4] introduced a hand gesture recognition system to recognize ‘dynamic gesture’ of which a gesture in performed singly in complex background using 2D video input. The system tracks the moving hand and analyzes the hand-shape variation and motion in- formation as the input to the HMM-based recognition system. They come out with the experimental result of 4-state HMM has proved to generate the best performance for modelling the gesture. Each input image sequence is pre-processed by hand region extraction process for contour information and coding and have been implemented using two methods: (1) only contour information and (2) using com- bined contour information and motion information. The extracted information is converted to vector sequences and then quantized into symbol sequences for both of the training and recognition processes. Totally 1200 image sequences are collected for 20 different gestures, thus each kind of gesture with 60 sequences in average, in training phase and other 1200 sequences are collected for test. For method (1), recognition rate of using training data for testing is 97%, and the recognition rate of using testing data is 90.5%, meanwhile for method (2), recognition rate of using training data for testing is 98.5% and the recognition rate of using testing data rises to 93.5%.

3. Hand Region Detection

Hand detection is a preliminary step to a number of applications including HCI, surveillance, gesture recognition, hand tracking and understanding human-human interactions.

Hand detection exists in the preliminary stage in image processing. Our researches found out there are several techniques of detecting hand region.





© FORMATEX 2006


Current Developments in Technology-Assisted Education (2006) 969


Generally hand detection comprises of subtracting the signers image from the image background. Finding hand region using colour images is not difficult because the nature of skin colour has its own unique value and can easily being processed. Skin colour model will be used to detect pure hand image from complex environment. However, since skin colour is influenced by luminance and shadow, HSL colour model or RGB colour model do not give good performance. To luminance-free image, normalized RGB has been adopted. Some will compare the colours of the extracted skin regions with sample skin colour extracted from training images. These systems fail under poor lighting conditions or for skin colours they are not trained for.

To date, various colour models have been proposed for skin colour detection, e.g., the CbCr colour space is used in [8,9], the RGB colour space is used in [10]. The HS (Hue, Saturation) colour space is used in [11], normalized RGB and HSV (Hue, Saturation, Value) in [12] and etc. Dealing with coloured images will make the process of finding a threshold value to detect the hand become easier. However, dealing with greyscale input image forced us to automate input threshold value to measure the informa- tion thus extracted the hand region from the whole image.
In addition, edge detection technique will be applied to separate the arm region from the hand region when the signers wearing short sleeves shirt. For the same scenario, in [12], the hand and arm region is thinned to obtain the skele

Kết quả (Việt) 1:

Ngôn ngữ ký hiệu để nhận dạng giọng nói: tay phát hiện công nghệ - niques cho cách tiếp cận dựa trên tầm nhìn

Noor Saliza Mohd Salleh *, 1, Jamilin Jais1, Lucyantie Mazalan1, Roslan Ismail1, Salman Yussof1, Azhana Ahmad1, Adzly Anuar1, Dzulkifli Mohamad2

1 UNITEN, trường cao đẳng công nghệ thông tin, Universiti Tenaga Nasional, Km 7, Jalan Kajang-Puchong, 43009 Kajang, Selangor, Malaysia.

2 UTM, Khoa Khoa học máy tính và hệ thống thông tin, công nghệ Universiti Malaysia, 81310 UTM Skudai, Johor Darul Takzim, Malaysia

sử dụng cử chỉ như là phương tiện để truyền đạt thông tin là một phần quan trọng của thông tin liên lạc của con người. Sự công nhận tự động cử chỉ enriches con người-máy tính tương tác bằng cách cung cấp một phương pháp tự nhiên và trực quan của dữ liệu đầu vào. Các hệ thống tự động để giúp đỡ những người có suy xét xử mới đã là một trong các lĩnh vực chính của nghiên cứu. Trong ngôn ngữ ký hiệu, cử chỉ tay là một trong những phương pháp điển hình của thông tin liên lạc nói cho con người và chúng tôi tự nhiên sử dụng các cử chỉ để thể hiện ý định của chúng tôi trong cuộc sống hàng ngày. Nghiên cứu đã được thực hiện để cấu trúc một sự hiểu biết ban đầu và xác định bước tiếp theo của chức năng phát triển. Tay phát hiện là một bước cơ bản trong nhiều ứng dụng thực tế như cử chỉ công nhận, video giám sát, và giao diện đa phương thức máy và vân vân. Đối với tính linh hoạt và tính năng sử dụng-ful, tầm nhìn dựa trên kỹ thuật đã được đề xuất cho cử chỉ thu thập dữ liệu. Giấy này sẽ trình bày nghiên cứu tiến bộ và phát hiện về kỹ thuật và các thuật toán phát hiện tay vì nó sẽ được sử dụng như là một trong-đặt cho cử chỉ công nhận quá trình.

công nhận ngôn ngữ ký hiệu từ khóa; phát hiện tay; Dựa trên tầm nhìn


1. Giới thiệu

khả năng phát hiện một người unconstrained tay trong một chuỗi video tự nhiên có ứng dụng trong ngôn ngữ ký hiệu, công nhận và con người máy tính tương tác.

có hai cách để thu thập dữ liệu cử chỉ để được công nhận. Thiết bị dựa trên các đo lường mà meas chức tay cử chỉ với các thiết bị như găng tay dữ liệu mà có thể lưu trữ vị trí chính xác của cử chỉ tay như vị trí của nó trực tiếp đo. Thứ hai là kỹ thuật dựa trên tầm nhìn, đó có thể bao gồm cả hai phải đối mặt và bàn tay người ký tên chung trong người ký tên chung mà không cần phải mang dữ liệu găng tay thiết bị. Tất cả xử lý tác vụ được giải quyết bằng cách sử dụng máy tính tầm nhìn kỹ thuật mà có nhiều linh hoạt và hữu ích hơn phương pháp tiếp cận trước.

vì ngôn ngữ ký hiệu gesticulated lưu loát và tương tác như khác ngôn ngữ được nói, một bộ nhận dạng dấu hiệu lan-gauge phải có thể nhận ra dấu hiệu liên tục từ vựng trong thời gian thực. Chúng tôi đang cố gắng để xây dựng một hệ thống cho các ngôn ngữ ký hiệu Bahasa Melayu hoặc Bahasa Isyarat Malaysia (BIM).
một định nghĩa cơ bản, cử chỉ thường được hiểu như là tay và cơ thể phong trào mà có thể vượt qua trong hình thành từ một đến khác. Kể từ khi chúng tôi đang quan tâm trong tay cử chỉ và vì vậy, thuật ngữ 'cử chỉ' là al-cách gọi cử chỉ tay trong giấy này.
những điểm chính sẽ được mô tả trong các phần sau. Phần 2 và 3 sẽ xem xét một số tác phẩm liên quan đã được thực hiện trong khu vực cụ thể, ngôn ngữ ký hiệu nhận dạng và tay phát hiện. Sau đó, chúng tôi phát triển, bệnh hoạn-thuê giai đoạn kỹ thuật phát hiện tay của chúng tôi sẽ được giải thích và cũng có tính năng phát hiện đã được trích ra từ phân khúc tay. Giai đoạn hiện tại của chúng tôi phát triển hệ thống và direc-tion trong tương lai cũng sẽ được thảo luận.

2. Liên quan đến tác phẩm


* Corresponding tác giả: e-mail: [e-mail], điện thoại: [phone]



© FORMATEX 2006


968 phát triển hiện nay trong giáo dục Technology-Assisted (2006)


nỗ lực trên máy dựa trên tầm nhìn ngôn ngữ ký hiệu nhận dạng đã bắt đầu được phát hành chỉ mới với các tài liệu có liên quan từ vài năm trước đây.

đặt nỗ lực để phát hiện tay từ video nơi hạn chế về môi trường. Ví dụ, da màu là đáng ngạc nhiên đồng nhất [1, 2], Vì vậy màu dựa trên tay phát hiện có thể [3]. Tuy nhiên, điều này tự nó không phải là phương thức đáng tin cậy. Tay có thể phân biệt từ các đối tượng khác của da màu và đây là những trường hợp đủ điều kiện ánh sáng, chẳng hạn như ánh sáng màu hoặc xám cấp hình ảnh. Chuyển động dòng chảy thông tin là một phương thức mà có thể lấp đầy khoảng cách này theo một số điều kiện [4], nhưng ví dụ cho phòng không văn phòng phẩm máy ảnh cách tiếp cận này trở nên ngày càng khó khăn và ít đáng tin cậy. Thống kê thông tin về địa điểm tay là có hiệu quả khi sử dụng như một xác suất trước [5], nhưng nó đòi hỏi dành riêng cho ứng dụng đào tạo.
Eng-Jon Ong và Bowden [1] một cuốn tiểu thuyết trình bày. không có giám sát phương pháp tiếp cận để đào tạo một phát hiện hiệu quả và mạnh mẽ mà áp dụng của không chỉ phát hiện sự hiện diện của con người tay trong vòng và hình ảnh nhưng phân loại hình dạng tay. Cách tiếp cận của họ là để phát hiện vị trí của tay sử dụng một thác boosted của máy phân loại để phát hiện các hình dạng một mình trong hình ảnh màu xám quy mô. Cơ sở dữ liệu của tay hình ảnh được tập trung vào bộ tương tự như bàn tay tìm kiếm bằng cách sử dụng các thuật toán kết cụm k-mediod mà sử dụng một khoảng cách số liệu dựa trên hình dạng bối cảnh. Một cây thiết bị dò thúc đẩy mạnh mẽ tay sau đó được thành lập, bao gồm hai lớp, lớp trên cùng chung tay phát hiện, trong khi các chi nhánh trong lớp thứ hai chuyên phân loại bộ hình dạng bàn tay là hệ quả từ các phương pháp kết cụm không có giám sát. Thử nghiệm các máy dò với một cơ sở dữ liệu không nhìn thấy hình ảnh 2509 đã cho 99,8% thành công tỷ lệ và hình dạng loại với tỷ lệ 97,4% thành công.

Kolsch và Turk đã làm một nghiên cứu dành riêng cho xem tay tư thế phát hiện với một phương pháp công nhận abject mới được đề xuất bởi Viola và James. Trước tiên, họ chứng minh sự phù hợp của các phương pháp hình ảnh tích phân với nhiệm vụ phát hiện tay xuất hiện. Sau đó, các biện pháp về chất lượng được trình bày mà số tiền để một tiên nghiệm một ước tính của 'detectability', giảm sự cần thiết cho việc đào tạo chuyên sâu tính toán. Cuối cùng, các tham số của các phương pháp phát hiện được tối ưu hóa, đạt được cải tiến đáng kể tốc độ và độ chính xác. Họ đề nghị đặt lồi xuất hiện với nội bộ xám cấp biến thể tốt hơn phù hợp với mục đích phát hiện với hình chữ nhật tính năng-phân loại phương pháp.

The Hàn Quốc hướng dẫn sử dụng bảng chữ cái (KMA) của Kim Jung-Bae, Kwang-Hyun Park và Z.Zenn biên [3], trình bày một hệ thống nhận dạng dựa trên tầm nhìn của Hàn Quốc hướng dẫn sử dụng bảng chữ cái mà là một tập hợp con của ngôn ngữ ký hiệu Triều tiên. KMA có thể nhận ra bàn tay con người da màu bởi triển khai thực hiện các mạng nơ-ron min-max mờ thuật toán sử dụng Matrox Genesis hình ảnh ban và PULNIX TMC-7 RGB máy ảnh.

phong-Sheng Chen, Chih-Ming Fu, Chung-Lin hoàng [4] giới thiệu một cử chỉ tay công nhận hệ thống để nhận ra 'năng động cử chỉ' trong đó một cử chỉ trong thực hiện đơn lẻ trong nền phức tạp bằng cách sử dụng đầu vào video 2D. Hệ thống theo dõi mặt di chuyển và phân tích các biến thể hình dạng bàn tay và chuyển động trong hình thành như là đầu vào cho hệ thống dựa trên HMM công nhận. Họ đi ra với các thử nghiệm kết quả của 4-bang HMM đã chứng minh để tạo ra hiệu suất tốt nhất cho mô hình các cử chỉ. Mỗi hình ảnh nhập vào chuỗi trước được xử lý bằng tay quá trình khai thác khu vực đường viền thông tin và mã hóa và đã được thực hiện bằng cách sử dụng hai phương pháp: (1) chỉ đường viền thông tin và (2) sử dụng com - bined đường viền thông tin và thông tin chuyển động. Các thông tin được giải nén chuyển đổi sang trình tự véc tơ và sau đó bước vào trình tự biểu tượng cho cả đào tạo và các quy trình công nhận. Hoàn toàn 1200 chuỗi hình ảnh được thu thập cho 20 cử chỉ khác nhau, do đó mỗi loại cử chỉ với 60 trình tự trong trung bình, trong giai đoạn đào tạo và trình tự 1200 khác được thu thập cho thử nghiệm. Đối với phương pháp (1), công nhận tốc độ bằng cách sử dụng dữ liệu đào tạo để thử nghiệm là 97%, và tỷ lệ nhận dạng bằng cách sử dụng dữ liệu thử nghiệm là 90,5%, trong khi đó đối với phương pháp (2), công nhận tốc độ bằng cách sử dụng dữ liệu đào tạo để thử nghiệm là 98,5% và tỷ lệ nhận dạng bằng cách sử dụng dữ liệu thử nghiệm tăng lên đến 93.5%.

3. Tay phát hiện vùng

tay phát hiện là một bước sơ bộ để một số ứng dụng bao gồm HCI, giám sát, cử chỉ công nhận, tay theo dõi và tìm hiểu về con người-con người tương tác.

tay phát hiện tồn tại trong giai đoạn sơ bộ xử lý hình ảnh. Chúng tôi nghiên cứu tìm thấy ra có là một số kỹ thuật phát hiện tay vùng.



© FORMATEX 2006


sự phát triển hiện nay trong giáo dục Technology-Assisted (2006) 969


Nói chung tay phát hiện bao gồm trừ hình ảnh người ký từ hình ảnh nền. Tìm khu vực tay bằng cách sử dụng màu sắc hình ảnh là không khó khăn bởi vì bản chất của màu da có giá trị độc đáo của riêng của nó và có thể dễ dàng được xử lý. Da màu sắc mô hình sẽ được sử dụng để phát hiện tinh khiết tay hình ảnh từ môi trường phức tạp. Tuy nhiên, kể từ khi màu da bị ảnh hưởng bởi độ sáng và bóng tối, HSL màu sắc mô hình hoặc RGB màu sắc mô hình không cho hiệu suất tốt. Hình ảnh miễn phí chói, RGB bình thường đã được áp dụng. Một số sẽ so sánh các màu sắc của các vùng da chiết xuất với mẫu màu da chiết xuất từ đào tạo hình ảnh. Các hệ thống thất bại dưới điều kiện ánh sáng nghèo hoặc cho da màu sắc không đào tạo cho

đến nay, Mô hình màu khác nhau đã được đề xuất cho da màu phát hiện, ví dụ: không gian màu CbCr được sử dụng trong [8,9], không gian màu RGB được sử dụng trong [10]. Không gian màu HS (Huế, bão hòa) được sử dụng trong [11], chuẩn hoá RGB và HSV (Hue, bão hòa, giá trị) trong [12] và vv. Đối phó với màu hình ảnh sẽ làm cho quá trình của việc tìm kiếm một giá trị ngưỡng phát hiện mặt trở thành dễ dàng hơn. Tuy nhiên, đối phó với greyscale hình ảnh nhập vào buộc chúng tôi để tự động hoá nhập ngưỡng giá trị để đo informa tion do đó chiết xuất vùng tay từ hình ảnh toàn bộ.
ngoài ra, cạnh phát hiện kỹ thuật sẽ được áp dụng để tách vùng cánh tay từ vùng tay khi người ký mặc ngắn tay áo áo sơ mi. Cho cùng một kịch bản, trong [12], vùng tay và cánh tay mỏng để có được mặc