2.2 Motion learning and classificat

2.2 Motion learning and classification with Hidden Markov models:
A hidden Markov model (HMM) is a statistical Markov model in which the system being modeled is assumed to be a Markov process with unobserved (hidden) states. An HMM can be considered as the simplest dynamic Bayesian network.
In a regular Markov model, the state is directly visible to the observer, and therefore the state transition probabilities are the only parameters. In a hidden Markov model, the state is not directly visible, but output, dependent on the state, is visible. Each state has a probability distribution over the possible output tokens. Therefore the sequence of tokens generated by an HMM gives some information about the sequence of states. Note that the adjective 'hidden' refers to the state sequence through which the model passes, not to the parameters of the model; even if the model parameters are known exactly, the model is still 'hidden'.
There are four basic parts involved in an HMM:
-Namely states: a state represents a property or condition that an HMM might have at a particular time.
-Initial state: distribution indicates each state probability of an HMM at the time of staring the modeling procedure of an event.
-State transition matrix: represents the probabilities among the states.
-State observation matrix: contains all observation probabilities from each state.
The diagram below shows the general architecture of an instantiated HMM. Each oval shape represents a random variable that can adopt any of a number of values. The random variable x(t) is the hidden state at time t. The random variable y(t) is the observation at time t.

Figure 2. 6 General architecture of an instantiated HMM
From the diagram, it is clear that the conditional probability distribution of the hidden variable x(t) at time t, given the values of the hidden variable x at all times, depends only on the value of the hidden variable x(t-1): the value at time t-2 and before have no influence. This is called the Markov property. Similarly, the value of the variable y(t) only depends on the value of the hidden variable x(t) (both at time t) [22].
An HMM Model is specified by:
- The set of states S = {s1, s2, . . . , sNs} and and a set of parameters Ѳ = {π,A,B}
- The prior probabilities π_i= P (q1 =si ) are the probabilities of si being the first state of a state sequence. Collected in a vector π. (The prior probabilities were assumed that πi = 1/Ns )
- The transition probabilities are the probabilities to go from state i to state j: ai,j = P(qn+1 =sj |qn = si). They are collected in the matrix A.
-The emission probabilities characterize the likelihood of a certain observation x, if the model is in state si. Depending on the kind of observation x we have:
+ For discrete observations, xn∈ {v1, . . . , vK}: bi,k = P(xn = vk|qn = si), the probabilities to observe vk if the current state is qn = si. The numbers bi,k can be collected in a matrix B.
+ For continuous valued observations, e.g., xn∈ RD: A set of functions bi(xn) = p(xn|qn=si)describing the probability densities over the observation space for the system being in state si. Collected in the vector B(x) of functions. [23]
2.3 Leave-one-out cross-validation
Cross-validation is a statistical method of evaluating and comparing learning algorithms by dividing data into two segments: one used to learn or train a model and the other used to validate the model. In typical cross-validation, the training and validation sets must crossover in successive rounds such that each data point has a chance of being validated against. The basic form of cross-validation is k-fold cross-validation. Other forms of cross-validation are special cases of k-fold cross-validation, which is leave-one-out cross validation (LOOCV).
There is a common tendency of researchers in the image processing to use the term "prediction" to describe observed correlations. This is problematic because the strength of a correlation does not necessarily imply that one can accurately predict the outcome of new (out-of-sample) observations. Even if the underlying distributions are normally distributed, the observed correlation will generally overestimate the accuracy of predictions on out-of-sample observations due to overfitting (i.e., fitting the noise in addition to the signal). In degenerate cases (e.g., when the observed correlation is driven by a single outlier), it is possible to observe a very strong in-sample correlation with almost zero predictive accuracy for out-of-sample observations [29].
The concept of cross-validation provides a way out of this mess; by fitting the model to subsets of the data and examining predictive accuracy on the held-out samples, it is possible to directly assess the predictive accuracy of a particular statistical model. This approach has become increasingly popular in the image processing, which should be a welcome development.

Kết quả (Việt) 1:

2.2 chuyển động học và phân loại với các mô hình Markov ẩn:Một mô hình Markov ẩn (HMM) là một mô hình Markov thống kê trong đó hệ thống được mô hình hóa được giả định là một quá trình Markov với ngôi kỳ (ẩn). HMM một có thể được coi là mạng Bayes năng động đơn giản nhất.Trong một mô hình Markov thường xuyên, nhà nước là có thể nhìn thấy trực tiếp với người quan sát, và do đó các xác suất chuyển đổi trạng thái các thông số duy nhất. Trong một mô hình Markov ẩn, nhà nước không phải là có thể nhìn thấy trực tiếp, nhưng sản lượng, phụ thuộc vào nhà nước, có thể nhìn thấy. Mỗi tiểu bang có một phân phối xác suất trên thẻ có thể có đầu ra. Vì vậy trình tự thẻ được tạo ra bởi một HMM cho một số thông tin về tiến trình của tiểu bang. Lưu ý rằng tính từ 'ẩn' đề cập đến dãy nhà nước thông qua đó các mô hình qua, không để các thông số của các mô hình; thậm chí nếu các thông số mô hình được biết chính xác, các mô hình vẫn 'ẩn'.Hiện có bốn cơ bản phần tham gia vào một HMM:-Cụ thể là các tiểu bang: một nhà nước đại diện cho một tài sản hoặc điều kiện HMM một có thể có tại một thời điểm cụ thể.-Ban đầu nhà nước: phân phối cho biết mỗi bang xác suất của một HMM thời điểm nhìn chằm chằm trình mô hình hóa một sự kiện.-Nhà nước chuyển đổi ma trận: đại diện cho xác suất trong số các tiểu bang.-Trạng thái quan sát ma trận: chứa tất cả các xác suất quan sát từ mỗi quốc gia.Sơ đồ dưới đây cho thấy cấu trúc chung của một instantiated HMM. Mỗi hình bầu dục đại diện cho một biến ngẫu nhiên có thể áp dụng bất kỳ một số giá trị. X(t) biến ngẫu nhiên là trạng thái ẩn tại thời điểm t. Biến ngẫu nhiên y(t) là quan sát tại thời gian t. Hình 2. 6 kiến trúc chung của một HMM instantiatedTừ sơ đồ, nó là rõ ràng rằng sự phân bố xác suất có điều kiện của ẩn x(t) biến tại thời điểm t, được đưa ra các giá trị của biến x ẩn tại mọi thời điểm, chỉ phụ thuộc vào giá trị của biến x(t-1) ẩn: giá trị tại thời gian t-2 và trước khi có không có ảnh hưởng. Điều này được gọi là bất động sản Markov. Tương tự như vậy, giá trị của biến y(t) chỉ phụ thuộc vào giá trị của biến x(t) ẩn (cả tại thời điểm t) [22].Một mô hình HMM là specified bởi:-Các thiết lập của kỳ S = {s1, s2,..., sNs} và và một tập hợp các thông số Ѳ = {π, A, B}-Π_i trước khi các xác suất = P (q1 = si) là xác suất của si là tiểu bang đầu tiên của một chuỗi các tiểu bang. Thu thập trong một véc tơ π. (xác suất trước đã được giả định rằng πi = 1/Ns)-Các xác suất chuyển tiếp có xác suất để đến từ nhà nước tôi bang j: ai, j = P (qn + 1 = sj |qn = si). Họ đang được thu thập trong ma trận A.-Các xác suất bức xạ đặc trưng khả năng của một quan sát một số x, nếu các mô hình trong bang si. Tùy thuộc vào loại quan sát x chúng tôi có:+ Đối với các quan sát rời rạc, xn∈ {v1,..., vK}: bi, k = P (xn = vk|qn = si), các xác suất để quan sát vk nếu nhà nước hiện nay là qn = si. Những con số bi, k có thể được thu thập trong một ma trận sinh+ Đối với các quan sát liên tục có giá trị, ví dụ như, xn∈ RD: một tập hợp của các chức năng bi(xn) = p(xn|qn=si) Mô tả các mật độ xác suất trong không gian quan sát cho hệ thống đang trong trạng thái si. Thu thập trong các véc tơ B(x) của các chức năng. [23] 2.3 để lại-một-out cross-xác nhậnCross-xác nhận là một phương pháp thống kê đánh giá và so sánh các thuật toán học bằng cách chia các dữ liệu thành hai đoạn: một được sử dụng để tìm hiểu hoặc đào tạo mô hình một và khác được sử dụng để xác nhận các mô hình. Điển hình chữ thập-xác nhận, đào tạo và xác nhận bộ phải chéo trong vòng như vậy mà mỗi điểm dữ liệu có một cơ hội được xác nhận chống lại. Các hình thức cơ bản của cross-xác nhận là k gấp chéo-xác nhận. Các hình thức khác của cross-xác nhận là các trường hợp đặc biệt của k-gấp chéo-xác nhận, đó là để lại một ra qua xác nhận (LOOCV).Đó là một xu hướng phổ biến của các nhà nghiên cứu trong việc xử lý hình ảnh để sử dụng thuật ngữ "dự đoán" để mô tả các mối tương quan quan sát. Đây là vấn đề bởi vì sức mạnh của một sự tương quan không nhất thiết phải bao hàm một chính xác có thể dự đoán kết quả quan sát (out-of-mẫu) mới. Thậm chí nếu các bản phân phối cơ bản được phân phối thông thường, các mối tương quan quan sát nói chung sẽ đánh giá cao tính chính xác của dự báo về out-of-mẫu quan sát do overfitting (ví dụ, tiếng ồn ngoài các tín hiệu phù hợp). Trong trường hợp thoái hóa (ví dụ: khi quan sát thấy mối tương quan là lái xe của một outlier duy nhất), nó có thể quan sát một tương quan rất mạnh trong mẫu với hầu như không tiên đoán chính xác cho ra mẫu quan sát [29].Các khái niệm của cross-xác nhận cung cấp một cách ra khỏi mess này; phù hợp với mô hình để các tập con của dữ liệu và tiên đoán chính xác trên các mẫu ra tổ chức kiểm tra, có thể trực tiếp đánh giá tính chính xác dự báo của một mô hình thống kê cụ thể. Cách tiếp cận này đã trở nên ngày càng phổ biến trong việc xử lý hình ảnh, nên có một sự phát triển hoan nghênh.