Vision based approaches has always

Vision based approaches has always been forming a basis to be used as primary communication method that
allows impaired hearing people to communicate with others in their daily life. It is the fundamental communication
bridge among the hearing deficient person. Any vision based system or technique involving sign language with hand
gestures alone does not yield effective results and hence use of facial gestures have received wide spread acceptance.
Among the various types of facial gestures, eye-brow and lip motion are primary ingredients in such a system as
these parts generally undergo various stresses and expansion during any expression and hence are the most commonly used facial features. The upper and bottom part of the face conveys messages and descriptors in the
language. Grammatical importance is always sought after in these facial movements. The field of vision based
system is very vast and the problems faced by recognition system are immense. Further, the system being related to
human computer interaction (HCI), it possesses great importance in making such communication real time and
effective. Our system mainly focuses on certain designs which are intended to remove some of the deficiencies and
limitation observed in any such recognition based system. It focuses on formulation of certain approaches and
engaging some of the parameters that are quite extensively used in such recognition systems. Facial expressions are
virtually ignored because of their various complexities, interpretation of the character and unevenness of
understanding. To reduce the common shortcomings of such a system, we have devised certain methods to overcome
this and make the system acclimatize to various conditions. The system that we incorporate also takes into account
the substantial and ineffective incorporation of all its features in real time systems thereby making it undergo certain
changes and come out with effective output results. Any facial based recognition system substantially incorporated
with a vision based hand recognition system could prove to be beneficial for deaf and dumb people. The efficiency
of such systems shall be measured in terms of befitting and precise results provided to the user. We generally tend to
incorporate the following three main basic steps in such a system which includes acquisition, detection and
substantial pattern recognition. For the purpose, we use Viola Jones algorithm followed by Adaboost techniques for
better thresholding. Finally to get the desired results, we generate the histograms of all these oriented graphs so as to
obtain appropriate states for getting better results during training and tracking. The resembling features or extracted
components are then nearly matched and are used for spotting errors or actual rightly detected parts so as to bring
out precise and accurate results.
Thus we propose such a machine vision based system that takes video feeds from camera. For our work, we are
using a USB Webcam linked into Matlab via the webcam support package to access live video. Video input is taken
into the designed system at a speed of 10 frames per second (FPS) and five consecutive frames are considered as
belonging to one syllable. Thus the system functions on basis of the assumption that a person speaking will speak
two syllables per second. Frames from that video are extracted for the purpose of preprocessing to make it suitable
for the classification and recognition process. The first step is to detect the face region for the purpose of extracting
desired portion of the image. This is achieved by using object detector of computer vision toolbox in Matlab. Here
we have worked on recognizing syllables taking into account only the lip movement. Five consecutive frames are
considered to build the features for one particular syllable. The bounding box of the lip is determined to crop the
region from the original image for recognition.
Fig. 1 & Fig. 2

Kết quả (Việt) 1:

Tầm nhìn dựa trên phương pháp tiếp cận đã luôn luôn hình thành một cơ sở được sử dụng như là phương pháp chính truyền thông màcho phép người khiếm thính để giao tiếp với những người khác trong cuộc sống hàng ngày của họ. Nó là giao tiếp cơ bảncầu nối giữa người thiếu điều trần. Tầm nhìn bất kỳ dựa trên hệ thống hoặc kỹ thuật liên quan đến ngôn ngữ ký hiệu bằng taycử chỉ một mình không mang lại kết quả hiệu quả và do đó sử dụng các cử chỉ trên khuôn mặt đã nhận được nhiều sự chấp nhận của lây lan.Trong số các loại cử chỉ trên khuôn mặt, mắt, chân mày và môi chuyển động là thành phần chính trong một hệ thống nhưnhững bộ phận thường trải qua căng thẳng và mở rộng trong bất kỳ biểu hiện khác nhau và do đó là những tính năng trên khuôn mặt được sử dụng phổ biến nhất. Phần trên và dưới của mặt truyền tải thông điệp và mô tả trong cácngôn ngữ. Ngữ pháp quan trọng luôn luôn sau khi tìm trong các phong trào trên khuôn mặt. Lĩnh vực của tầm nhìn dựaHệ thống như vậy là rất lớn và những vấn đề phải đối mặt với công nhận hệ thống là bao la. Hơn nữa, các hệ thống được liên quan đếnmáy tính của con người tương tác (HCI), nó có tầm quan trọng rất lớn trong việc đưa ra thông tin thời gian thực vàcó hiệu quả. Hệ thống của chúng tôi chủ yếu tập trung vào một số mẫu thiết kế nhằm mục đích loại bỏ một số trong những thiếu sót vàgiới hạn quan sát thấy trong bất kỳ sự công nhận như vậy dựa trên hệ thống. Nó tập trung vào xây dựng một số phương pháp tiếp cận vàtham gia một số các tham số được sử dụng khá rộng rãi trong hệ thống công nhận như vậy. Biểu hiện trên khuôn mặthầu như bị bỏ qua bởi vì họ khác nhau phức tạp, giải thích của các nhân vật và unevenness củasự hiểu biết. Để giảm bớt những thiếu sót thường gặp của hệ thống như vậy, chúng tôi đã nghĩ ra phương pháp nhất định để vượt quaĐiều này và làm cho hệ thống drap để điều kiện khác nhau. Hệ thống chúng tôi kết hợp cũng sẽ đưa vào tài khoảnsự kết hợp đáng kể và không hiệu quả của tất cả các tính năng của nó trong các hệ thống thời gian thực, do đó làm cho nó trải qua một sốthay đổi và đi ra với hiệu quả sản lượng quả. Dựa trên bất kỳ mặt công nhận hệ thống tích hợp đáng kểvới một bàn tay tầm nhìn dựa trên hệ thống nhận dạng có thể chứng minh là có lợi cho người điếc và câm. Hiệu quảcủa hệ thống như vậy sẽ được đo trong điều kiện befitting và chính xác kết quả cung cấp cho người dùng. Chúng ta thường có xu hướngkết hợp các bước sau đây 3 chính cơ bản trong hệ thống bao gồm việc mua lại, phát hiện vàcông nhận mẫu đáng kể. Cho mục đích này, chúng tôi sử dụng thuật toán Viola Jones tiếp theo kỹ thuật Adaboosttốt hơn thresholding. Cuối cùng để có được kết quả mong muốn, chúng tôi tạo ra histograms của tất cả các đồ thị theo định hướng như vậy như là đểLấy kỳ thích hợp để có được kết quả tốt hơn trong thời gian đào tạo và theo dõi. Giống như các tính năng hoặc chiết xuấtCác thành phần sau đó gần như phù hợp và được sử dụng cho đốm lỗi hoặc thực tế đúng được phát hiện để mang lại cho các bộ phậnra kết quả chính xác và chính xác.Vì vậy, chúng tôi đề nghị như vậy một tầm nhìn dựa trên hệ thống máy mà mất nguồn cấp dữ liệu video từ máy ảnh. Cho công việc của chúng tôi, chúng tôi đangbằng cách sử dụng một Webcam USB liên kết vào Matlab thông qua gói hỗ trợ webcam để truy cập video trực tiếp. Đầu vào video được thực hiệnvào hệ thống được thiết kế với tốc độ 10 khung hình / giây (FPS) và 5 khung hình liên tiếp được coi làthuộc một âm tiết. Do đó các chức năng hệ thống trên cơ sở của giả định rằng một người nói sẽ nóihai âm tiết mỗi giây. Khung hình từ video đó được trích ra cho các mục đích của tiền xử lý để làm cho nó phù hợpcho quá trình phân loại và công nhận. Bước đầu tiên là để phát hiện các vùng mặt cho các mục đích của giải nénmong muốn phần của hình ảnh. Điều này đạt được bằng cách sử dụng các đối tượng phát hiện của hộp công cụ máy tính tầm nhìn trong Matlab. Ở đâychúng tôi đã làm việc ngày nhận ra âm tiết tham gia vào tài khoản chỉ di chuyển môi. Năm liên tiếp khungđược coi là để xây dựng các tính năng cho một âm tiết cụ thể. Hộp bounding của môi được xác định để cắt cáckhu vực từ hình ảnh ban đầu để được công nhận.Fig. 1 & Fig. 2