be the probability distribution of the states in a Markov chain process at the nth transition. Here Q X.n/i is the probability that the process is in state i after n transitions and
là phân bố xác suất của các tiểu bang trong một quá trình chuỗi Markov lúc các thứ nquá trình chuyển đổi. Ở đây Q X.n/i là xác suất rằng quá trình là thuộc bang tôi sau khi quá trình chuyển đổi nvà
được phân bố xác suất của các bang trong quá trình chuỗi Markov vào thứ n chuyển. Đây Q Xn / i là xác suất mà quá trình này là ở trạng thái i sau n chuyển và