The continuous audio-visual experim

The continuous audio-visual experiments database has been recorded with the scripts from
the TIMIT database. 6 people’s 600 sentences containing 1693 word units have been used in
our experiments. Totally 76 phone units (including “silence” and short pause “sp”) are
obtained by transcribing the sentence scripts into phone sequences using the TIMIT
dictionary. Since the database is relatively small for large vocabulary audio-visual speech
recognition. To test performance of MM-ADBN model, we use the jackknife procedure, 600
sentences were split up in six equal parts, and six recognition experiments were carried out.
In each recognition experiment, 500 sentences are used as training set, the remaining 100
sentences as testing set. Report test results are the average of the results of six experiments.
While for MS-ADBN model, since it is word model, to avoid the case that some words in the
testing sentence may not appear in the training set, all 600 sentences are used as training set
and testing set. Noisy environments are also considered by adding white noise with SNRs
ranging from 0dB to 30dB as testing set.

Kết quả (Việt) 1:

Cơ sở dữ liệu thí nghiệm nghe nhìn liên tục đã được ghi nhận với các tập lệnh từ cơ sở dữ liệu TIMIT. 6 người 600 câu chứa 1693 từ đơn vị đã được sử dụng trong thí nghiệm của chúng tôi. Hoàn toàn có 76 điện thoại đơn vị (bao gồm cả "im lặng" và ngắn tạm dừng "sp") thu được bằng cách sao chép lại câu lệnh vào chuỗi điện thoại bằng cách sử dụng TIMIT từ điển. Kể từ khi cơ sở dữ liệu là tương đối nhỏ cho bài phát biểu nghe nhìn lớn từ vựng công nhận. Để kiểm tra hiệu suất của các mô hình MM-ADBN, chúng tôi sử dụng thủ tục jackknife, 600 câu được tách trong sáu phần bằng nhau, và sự công nhận sáu thí nghiệm được tiến hành. Trong mỗi thử nghiệm công nhận, 500 câu được sử dụng như đào tạo tập hợp, còn lại 100 câu như thử nghiệm các thiết lập. Báo cáo kết quả kiểm tra mức trung bình của các kết quả trong sáu thí nghiệm. Trong khi đối với MS-ADBN mô hình, vì nó là từ mô hình, để tránh trường hợp mà một số từ ở các kiểm tra câu không thể xuất hiện trong bộ đào tạo, tất cả 600 câu được sử dụng như đào tạo và thử nghiệm các thiết lập. Môi trường ồn ào cũng được coi là bằng cách thêm các tiếng ồn trắng với SNRs khác nhau, từ 0dB 30dB như thử nghiệm các thiết lập.

Kết quả (Việt) 2:

Các cơ sở dữ liệu liên tục thí nghiệm nghe nhìn đã được ghi nhận với các kịch bản từ
cơ sở dữ liệu TIMIT. 6 600 câu của người dân chứa 1.693 đơn vị từ đã được sử dụng trong
các thí nghiệm của chúng tôi. Hoàn toàn 76 đơn vị điện thoại (kể cả "im lặng" và ngắn tạm dừng "sp") được
thu được bằng cách sao chép các kịch bản câu thành những chuỗi điện thoại bằng cách sử dụng TIMIT
từ điển. Kể từ khi cơ sở dữ liệu tương đối nhỏ so với vốn từ vựng lớn nghe nhìn bài phát biểu
công nhận. Để kiểm tra hiệu suất của mô hình MM-ADBN, chúng tôi sử dụng các thủ tục dao xếp, 600
câu được chia thành sáu phần bằng nhau, và sáu thí nghiệm nhận được thực hiện.
Trong mỗi thí nghiệm được công nhận, 500 câu được sử dụng như là tập huấn luyện, 100 còn lại
câu như kiểm tra bộ. Báo cáo kết quả kiểm tra là mức trung bình của các kết quả của sáu thí nghiệm.
Trong khi đối với mô hình MS-ADBN, vì nó là mô hình từ, để tránh trường hợp một số từ trong
câu thử nghiệm có thể không xuất hiện trong tập huấn luyện, tất cả 600 câu được sử dụng như tập huấn luyện
và thử nghiệm bộ. Môi trường ồn ào cũng được coi là bằng cách thêm tiếng ồn trắng với SNRs
từ 0dB đến 30dB như kiểm tra bộ.