2.2 Motion learning and classificat

2.2 Motion learning and classification with Hidden Markov models:
A hidden Markov model (HMM) is a statistical Markov model in which the system being modeled is assumed to be a Markov process with unobserved (hidden) states. An HMM can be considered as the simplest dynamic Bayesian network.
In a regular Markov model, the state is directly visible to the observer, and therefore the state transition probabilities are the only parameters. In a hidden Markov model, the state is not directly visible, but output, dependent on the state, is visible. Each state has a probability distribution over the possible output tokens. Therefore the sequence of tokens generated by an HMM gives some information about the sequence of states. Note that the adjective 'hidden' refers to the state sequence through which the model passes, not to the parameters of the model; even if the model parameters are known exactly, the model is still 'hidden'.
There are four basic parts involved in an HMM:
-Namely states: a state represents a property or condition that an HMM might have at a particular time.
-Initial state: distribution indicates each state probability of an HMM at the time of staring the modeling procedure of an event.
-State transition matrix: represents the probabilities among the states.
-State observation matrix: contains all observation probabilities from each state.
The diagram below shows the general architecture of an instantiated HMM. Each oval shape represents a random variable that can adopt any of a number of values. The random variable x(t) is the hidden state at time t. The random variable y(t) is the observation at time t.

Figure 2. 6 General architecture of an instantiated HMM
From the diagram, it is clear that the conditional probability distribution of the hidden variable x(t) at time t, given the values of the hidden variable x at all times, depends only on the value of the hidden variable x(t-1): the value at time t-2 and before have no influence. This is called the Markov property. Similarly, the value of the variable y(t) only depends on the value of the hidden variable x(t) (both at time t) [22].
An HMM Model is specified by:
- The set of states S = {s1, s2, . . . , sNs} and and a set of parameters Ѳ = {π,A,B}
- The prior probabilities π_i= P (q1 =si ) are the probabilities of si being the first state of a state sequence. Collected in a vector π. (The prior probabilities were assumed that πi = 1/Ns )
- The transition probabilities are the probabilities to go from state i to state j: ai,j = P(qn+1 =sj |qn = si). They are collected in the matrix A.
-The emission probabilities characterize the likelihood of a certain observation x, if the model is in state si. Depending on the kind of observation x we have:
+ For discrete observations, xn∈ {v1, . . . , vK}: bi,k = P(xn = vk|qn = si), the probabilities to observe vk if the current state is qn = si. The numbers bi,k can be collected in a matrix B.
+ For continuous valued observations, e.g., xn∈ RD: A set of functions bi(xn) = p(xn|qn=si)describing the probability densities over the observation space for the system being in state si. Collected in the vector B(x) of functions. [23]
2.3 Leave-one-out cross-validation
Cross-validation is a statistical method of evaluating and comparing learning algorithms by dividing data into two segments: one used to learn or train a model and the other used to validate the model. In typical cross-validation, the training and validation sets must crossover in successive rounds such that each data point has a chance of being validated against. The basic form of cross-validation is k-fold cross-validation. Other forms of cross-validation are special cases of k-fold cross-validation, which is leave-one-out cross validation (LOOCV).
There is a common tendency of researchers in the image processing to use the term "prediction" to describe observed correlations. This is problematic because the strength of a correlation does not necessarily imply that one can accurately predict the outcome of new (out-of-sample) observations. Even if the underlying distributions are normally distributed, the observed correlation will generally overestimate the accuracy of predictions on out-of-sample observations due to overfitting (i.e., fitting the noise in addition to the signal). In degenerate cases (e.g., when the observed correlation is driven by a single outlier), it is possible to observe a very strong in-sample correlation with almost zero predictive accuracy for out-of-sample observations [29].
The concept of cross-validation provides a way out of this mess; by fitting the model to subsets of the data and examining predictive accuracy on the held-out samples, it is possible to directly assess the predictive accuracy of a particular statistical model. This approach has become increasingly popular in the image processing, which should be a welcome development.

Kết quả (Việt) 1:

2.2 chuyển động học và phân loại với các mô hình Markov ẩn:Một mô hình Markov ẩn (HMM) là một mô hình Markov thống kê trong đó hệ thống được mô hình hóa được giả định là một quá trình Markov với ngôi kỳ (ẩn). HMM một có thể được coi là mạng Bayes năng động đơn giản nhất.Trong một mô hình Markov thường xuyên, nhà nước là có thể nhìn thấy trực tiếp với người quan sát, và do đó các xác suất chuyển đổi trạng thái các thông số duy nhất. Trong một mô hình Markov ẩn, nhà nước không phải là có thể nhìn thấy trực tiếp, nhưng sản lượng, phụ thuộc vào nhà nước, có thể nhìn thấy. Mỗi tiểu bang có một phân phối xác suất trên thẻ có thể có đầu ra. Vì vậy trình tự thẻ được tạo ra bởi một HMM cho một số thông tin về tiến trình của tiểu bang. Lưu ý rằng tính từ 'ẩn' đề cập đến dãy nhà nước thông qua đó các mô hình qua, không để các thông số của các mô hình; thậm chí nếu các thông số mô hình được biết chính xác, các mô hình vẫn 'ẩn'.Hiện có bốn cơ bản phần tham gia vào một HMM:-Cụ thể là các tiểu bang: một nhà nước đại diện cho một tài sản hoặc điều kiện HMM một có thể có tại một thời điểm cụ thể.-Ban đầu nhà nước: phân phối cho biết mỗi bang xác suất của một HMM thời điểm nhìn chằm chằm trình mô hình hóa một sự kiện.-Nhà nước chuyển đổi ma trận: đại diện cho xác suất trong số các tiểu bang.-Trạng thái quan sát ma trận: chứa tất cả các xác suất quan sát từ mỗi quốc gia.Sơ đồ dưới đây cho thấy cấu trúc chung của một instantiated HMM. Mỗi hình bầu dục đại diện cho một biến ngẫu nhiên có thể áp dụng bất kỳ một số giá trị. X(t) biến ngẫu nhiên là trạng thái ẩn tại thời điểm t. Biến ngẫu nhiên y(t) là quan sát tại thời gian t. Hình 2. 6 kiến trúc chung của một HMM instantiatedTừ sơ đồ, nó là rõ ràng rằng sự phân bố xác suất có điều kiện của ẩn x(t) biến tại thời điểm t, được đưa ra các giá trị của biến x ẩn tại mọi thời điểm, chỉ phụ thuộc vào giá trị của biến x(t-1) ẩn: giá trị tại thời gian t-2 và trước khi có không có ảnh hưởng. Điều này được gọi là bất động sản Markov. Tương tự như vậy, giá trị của biến y(t) chỉ phụ thuộc vào giá trị của biến x(t) ẩn (cả tại thời điểm t) [22].Một mô hình HMM là specified bởi:-Các thiết lập của kỳ S = {s1, s2,..., sNs} và và một tập hợp các thông số Ѳ = {π, A, B}-Π_i trước khi các xác suất = P (q1 = si) là xác suất của si là tiểu bang đầu tiên của một chuỗi các tiểu bang. Thu thập trong một véc tơ π. (xác suất trước đã được giả định rằng πi = 1/Ns)-Các xác suất chuyển tiếp có xác suất để đến từ nhà nước tôi bang j: ai, j = P (qn + 1 = sj |qn = si). Họ đang được thu thập trong ma trận A.-Các xác suất bức xạ đặc trưng khả năng của một quan sát một số x, nếu các mô hình trong bang si. Tùy thuộc vào loại quan sát x chúng tôi có:+ Đối với các quan sát rời rạc, xn∈ {v1,..., vK}: bi, k = P (xn = vk|qn = si), các xác suất để quan sát vk nếu nhà nước hiện nay là qn = si. Những con số bi, k có thể được thu thập trong một ma trận sinh+ Đối với các quan sát liên tục có giá trị, ví dụ như, xn∈ RD: một tập hợp của các chức năng bi(xn) = p(xn|qn=si) Mô tả các mật độ xác suất trong không gian quan sát cho hệ thống đang trong trạng thái si. Thu thập trong các véc tơ B(x) của các chức năng. [23] 2.3 để lại-một-out cross-xác nhậnCross-xác nhận là một phương pháp thống kê đánh giá và so sánh các thuật toán học bằng cách chia các dữ liệu thành hai đoạn: một được sử dụng để tìm hiểu hoặc đào tạo mô hình một và khác được sử dụng để xác nhận các mô hình. Điển hình chữ thập-xác nhận, đào tạo và xác nhận bộ phải chéo trong vòng như vậy mà mỗi điểm dữ liệu có một cơ hội được xác nhận chống lại. Các hình thức cơ bản của cross-xác nhận là k gấp chéo-xác nhận. Các hình thức khác của cross-xác nhận là các trường hợp đặc biệt của k-gấp chéo-xác nhận, đó là để lại một ra qua xác nhận (LOOCV).Đó là một xu hướng phổ biến của các nhà nghiên cứu trong việc xử lý hình ảnh để sử dụng thuật ngữ "dự đoán" để mô tả các mối tương quan quan sát. Đây là vấn đề bởi vì sức mạnh của một sự tương quan không nhất thiết phải bao hàm một chính xác có thể dự đoán kết quả quan sát (out-of-mẫu) mới. Thậm chí nếu các bản phân phối cơ bản được phân phối thông thường, các mối tương quan quan sát nói chung sẽ đánh giá cao tính chính xác của dự báo về out-of-mẫu quan sát do overfitting (ví dụ, tiếng ồn ngoài các tín hiệu phù hợp). Trong trường hợp thoái hóa (ví dụ: khi quan sát thấy mối tương quan là lái xe của một outlier duy nhất), nó có thể quan sát một tương quan rất mạnh trong mẫu với hầu như không tiên đoán chính xác cho ra mẫu quan sát [29].Các khái niệm của cross-xác nhận cung cấp một cách ra khỏi mess này; phù hợp với mô hình để các tập con của dữ liệu và tiên đoán chính xác trên các mẫu ra tổ chức kiểm tra, có thể trực tiếp đánh giá tính chính xác dự báo của một mô hình thống kê cụ thể. Cách tiếp cận này đã trở nên ngày càng phổ biến trong việc xử lý hình ảnh, nên có một sự phát triển hoan nghênh.

Kết quả (Việt) 2:

Học tập 2.2 Motion và phân loại với các mô hình Markov ẩn:
Một mô hình Markov ẩn (HMM) là một mô hình Markov thống kê trong đó hệ thống được mô hình được giả định là một quá trình với không quan sát được trạng thái (ẩn) Markov. Một HMM có thể được coi như mạng Bayes động đơn giản nhất.
Trong một mô hình Markov thường xuyên, nhà nước có thể nhìn thấy trực tiếp đến người quan sát, và do đó xác suất chuyển trạng thái là các thông số chỉ. Trong một mô hình Markov ẩn, nhà nước là không trực tiếp nhìn thấy, nhưng đầu ra, phụ thuộc vào nhà nước, là nhìn thấy được. Mỗi tiểu bang có một phân bố xác suất trên các thẻ đầu ra có thể. Do đó trình tự các thẻ được tạo ra bởi một HMM đưa ra một số thông tin về trình tự của các quốc gia. Lưu ý rằng tính từ 'ẩn' đề cập đến chuỗi nhà nước thông qua đó các mô hình đi, không để các thông số của mô hình; thậm chí nếu các thông số mô hình được biết một cách chính xác, mô hình vẫn 'ẩn'.
Có bốn phần cơ bản có liên quan đến một HMM:
bang, đó là:. một nhà nước đại diện cho một tài sản hoặc điều kiện là một HMM có thể có tại một thời điểm cụ thể
-Initial nhà nước: phân bố chỉ ra từng xác trạng thái của một HMM tại thời điểm nhìn chằm chằm các thủ tục mô hình của một sự kiện.
ma trận chuyển đổi -State: đại diện cho xác suất giữa các quốc gia.
ma trận quan sát -State: chứa tất cả các xác suất quan sát từ mỗi tiểu bang.
biểu đồ dưới đây Triển lãm kiến trúc chung của một HMM khởi tạo. Mỗi một hình dạng hình bầu dục đại diện cho một biến ngẫu nhiên mà có thể áp dụng bất kỳ của một số giá trị. Biến x ngẫu nhiên (t) là trạng thái ẩn tại thời điểm t. Các y biến ngẫu nhiên (t) là quan sát tại thời điểm t. Hình 2. 6 kiến trúc chung của một HMM instantiated Từ sơ đồ, rõ ràng là phân phối xác suất có điều kiện của biến x ẩn (t) tại thời điểm t, do giá trị của biến x ẩn tại mọi thời điểm, chỉ phụ thuộc vào giá trị của x ẩn biến (t-1): giá trị tại thời điểm t-2 và trước khi không có ảnh hưởng. Điều này được gọi là tính chất Markov. Tương tự như vậy, giá trị của y biến (t) chỉ phụ thuộc vào giá trị của x ẩn biến (t) (cả ở thời điểm t) [22]. Một mô hình HMM được cụ thể fi ed bởi: - Các tập các trạng thái S = {s1 , s2,. . . , SNS} và và một tập hợp các thông số Ѳ = {π, A, B} - Các trước xác suất π_i = P (q1 = si) là xác suất của si là trạng thái đầu tiên của một chuỗi nhà nước. Thu thập trong một π vector. (Xác suất trước được giả định rằng πi = 1 / Ns) - Các xác suất chuyển đổi là xác suất để đi từ trạng thái i nêu j: ai, j = P (qn + 1 = sj | qn = si). Họ được thu thập trong ma trận A. -Các xác suất phát xạ đặc trưng cho khả năng của một quan sát x nào đó, nếu mô hình là trong si nhà nước. Tùy thuộc vào loại quan sát x ta có: + Đối với các quan sát rời rạc, xn∈ {v1,. . . , VK}: bi, k = P (xn = vk | qn = si), xác suất để quan sát vk nếu tình trạng hiện nay là qn = si. Các con số bi, k có thể được thu thập trong một ma trận B. + Đối với các quan sát có giá trị liên tục, ví dụ như, xn∈ RD: Một tập hợp các chức năng bi (xn) = p (xn | qn = si) mô tả mật độ xác suất trên không gian quan sát cho hệ thống đang trong trạng thái si. Thu thập trong vector B (x) các chức năng. [23] 2.3 Leave-one-out cross-validation Cross-xác nhận là một phương pháp thống kê đánh giá và so sánh các thuật toán học bằng cách chia dữ liệu thành hai phân đoạn: một được sử dụng để tìm hiểu hoặc đào tạo một mô hình và khác được sử dụng để xác nhận các mô hình. Trong điển hình qua xác nhận, việc đào tạo và xác nhận bộ phải chéo trong các vòng đấu liên tiếp như vậy mà mỗi điểm dữ liệu có một cơ hội được xác nhận chống lại. Các hình thức cơ bản của cross-validation là k-fold cross-validation. Các hình thức qua xác nhận là trường hợp đặc biệt của k-fold cross-validation, mà là rời-one-out kiểm chứng chéo (LOOCV). Có một xu hướng chung của các nhà nghiên cứu trong việc xử lý hình ảnh để sử dụng thuật ngữ "tiên đoán" để mô tả mối tương quan quan sát được. Đây là vấn đề bởi vì sức mạnh của một mối tương quan không nhất thiết có nghĩa rằng người ta có thể dự đoán chính xác kết quả của các quan sát (out-of-mẫu) mới. Thậm chí nếu phân bố cơ bản được phân phối thông thường, các mối tương quan quan sát sẽ thường đánh giá quá cao về tính chính xác của các dự đoán trên những quan sát ngoài mẫu do overfitting (tức là, phù hợp với tiếng ồn ngoài các tín hiệu). Trong trường hợp thoái hóa (ví dụ, khi mối tương quan quan sát được điều khiển bởi một outlier duy nhất), nó có thể quan sát rất mạnh tương quan trong mẫu với hầu như không có độ chính xác dự đoán cho out-of-mẫu quan sát [29]. Các khái niệm chéo -validation cung cấp một lối thoát ra khỏi mớ hỗn độn này; bằng cách lắp các mô hình để các tập con của dữ liệu, kiểm tra độ chính xác dự đoán trên các mẫu lấy ra, nó có thể trực tiếp đánh giá độ chính xác dự đoán của mô hình thống kê cụ thể. Cách tiếp cận này đã ngày càng trở nên phổ biến trong xử lý hình ảnh, mà phải là một tiến được hoan nghênh.