4. IntroductionA stochastic process

4. Introduction
A stochastic process X
={
X(t)
,
t
∈
T
}
is a collection of random variables. That
is, for each t in the index set T, X(t) is a random variable. We often interpret
t as time and call X(t) the state of the process at time t. If the index set T is a
countable set, say T
={
0
,
1
,
2
,...
}
,
we say that X is a discrete time stochastic
process, whereas if T consists of a continuum of possible values, we say that X is
a continuous time stochastic process.
Inthischapterweconsider adiscretetimestochasticprocess X
n
,
n
=
0
,
1
,
2
,...
that takes on a finite or countable number of possible values. Unless otherwise
mentioned, this set of possible values will be denoted by the set of nonnegative
integers 0
,
1
,
2
,...
.I
f X
n
=
i
,
then the process is said to be in state i at time n.
We suppose that whenever the process is in state i, there is a fixed probability P
i
,
j
that it will next be in state j. That is, we suppose that
P
{
X
n
+
1
=
j
|
X
n
=
i
,
X
n
−
1
=
i
n
−
1
,...,
X
0
=
i
0
}=
P
i
,
j
(4.1)
for all states i
0
,
i
1
,...,
i
n
−
1
,
i
,
j and all n
≥
0
.
Such a stochastic process is known
as a Markov chain. Equation (4.1) may be interpreted as stating that, for a Markov
chain, the conditional distribution of any future state X
n
+
1
,
given the past states
X
0
,
X
1
,...,
X
n
−
1
and the present state X
n
,
is independent of the past states and
depends only on the present state. That is, given the present state, the past and
future states of a Markov chain are independent.
The value P
i
,
j
represents the probability that the process will, when in state i,
next make a transition into state j. As probabilities are nonnegative and the process
must make a transition into some state, we have
P
i
,
j
≥
0
,
_
j
P
i
,
j
=
1
103



104
4
Markov Chains
Let P denote the matrix of one-step transition probabilities P
i
,
j
P
=









P
0
,
0
P
0
,
1
...
P
0
,
j
...
P
1
,
0
P
1
,
1
...
P
1
,
j
...
...
...
...
...
...
P
i
,
0
P
i
,
1
...
P
i
,
j
...
...
...
...
...
...









Example 4.1a
Consider a communications system that transmits the digits
0
and 1. Each digit transmitted must pass through several stages, at each of which
there is a probability p that the digit entered will be unchanged when it leaves.
Letting X
n
denote the digit entering the nth stage, then
{
X
n
,
n
≥
0
}
is a two-state
Markov chain having a transition probability matrix
P
=

p
1
−
p
1
−
pp

Example 4.1b
Suppose that whether it rains today depends on previous
weather conditions only from the last two days. Specifically, suppose that if it has
rained for the past two days, then it will rain tomorrow with probability 0
.
7;
if itrained today but not yesterday, then itwill rain tomorrow with probability 0
.
5; if
it rained yesterday but not today, then it will rain tomorrow with probability 0
.
4; if it
has not rained in the past two days, then it will rain tomorrow with probability 0
.
2.
If we let the state at time n depend on whether it is raining on day n, then the
preceding would not be a Markov chain (why not?). However, we can transform it
into a Markov chain by letting the state on any day be determined by the weather
conditions during both that day and the preceding one. For instance, we can say
that the process is in
state 0
if it rained both today and yesterday
state 1
if it rained today but not yesterday
state 2
if it rained yesterday but not today
state 3
if it rained neither today nor yesterday
The preceding would then represent a four-state Markov chain whose transition
probability matrix is easily shown to be as follows:
P
=






0
.
700
.
30
0
.
500
.
50
00
.
400
.
6
00
.
200
.
8









4.2.
Chapman-Kolmogorov Equations
105
4.2.
Chapman-Kolmogorov Equations
The n-step transition probability P
n
i
,
j
of the Markov chain is defined as the condi-
tional probability, given that the chain is currently in state i, that it will be in state
j after n additional transitions. That is,
P
n
i
,
j
=
P
{
X
n
+
m
=
j
|
X
m
=
i
}
,
n
≥
0
,
i
,
j
≥
0
Of course P
1
i
,
j
=
P
i
,
j
.
The Chapman-Kolmogorov equations provide a method of
computing these n-step probabilities. These equations are
P
n
+
m
i
,
j
=
∞
_
k
=
0
P
n
i
,
k
P
m
k
,
j
(4.2)
and are derived by noting that P
n
i
,
k
P
m
k
,
j
is the probability that the chain, currently in
state i, will go to state j after n
+
m transitions through a path that takes it into state
k at the nth transition. Hence, summing these probabilities over all intermediate
states k yields the probability that the process will be in state j after n
+
m
transitions. Formally, we have
P
n
+
m
i
,
j
=
P
{
X
n
+
m
=
j
|
X
0
=
i
}
=
∞
_
k
=
0
P
{
X
n
+
m
=
j
,
X
n
=
k
|
X
0
=
i
}
=
∞
_
k
=
0
P
{
X
n
+
m
=
j
|
X
n
=
k
,
X
0
=
i
}
P
{
X
n
=
k
|
X
0
=
i
}
=
∞
_
k
=
0
P
m
k
,
j
P
n
i
,
k
If we let P
(n)
denote the matrix of n-step transition probabilities P
n
i
,
j
, then the
Chapman-Kolmogorov equations assert that
P
(n
+
m)
=
P
(n)
∙
P
(m)
where the dot represents matrix multiplication. Hence,
P
(2)
=
P
(1
+
1)
=
P
∙
P
=
P
2
and, by induction,
P
(n)
=
P
(n
−
1
+
1)
=
P
(n
−
1)
∙
P
=
P
n
That is, the n-step transition probability matrix may be obtained by multiplying
the matrix P by itself n times.



106
4
Markov Chains
Example 4.2a
Suppose, in Example 4.1a, that it rained on both Monday and
Tuesday. What is the probability that it will rain on Thursday?
Solution:
Because the transition probability matrix is
P
=






0
.
700
.
30
0
.
500
.
50
00
.
400
.
6
00
.
200
.
8






the two-step transition probability matrix is
P
2
=






0
.
49
0
.
12
0
.
21
0
.
18
0
.
35
0
.
20
0
.
15
0
.
30
0
.
20
0
.
12
0
.
20
0
.
48
0
.
10
0
.
16
0
.
10
0
.
64






Because the chain in in state 0 on Tuesday, and because it will rain on Thurs-
day if the chain is in either state 0 or state 1 on that day, the desired probability is
P
2
0
,
0
+
P
2
0
,
1
=
0
.
49
+
0
.
12
=
0
.
61
✷
4.3.
Classification of States
State j is said to be accessible from state i if P
n
i
,
j
>
0
for some n
≥
0
.
Note that
this implies that state j is accessible from state i if and only if, starting in state i,
it is possible that the process will ever be in state j. This is true because if j is not
accessible from i, then
P
{
ever enter
j
|
start in i
}=
P
_
∞
_
n
=
0
{
X
n
=
j
}|
X
0
=
i
_
≤
∞
_
n
=
0
P
{
X
n
=
j
|
X
0
=
i
}
=
0
Because
P
0
i
,
i
=
P
{
X
0
=
i
|
X
0
=
i
}=
1
it follows that any state is accessible from itself. If state j is accessible from state i
,
and state i is accessible from state j, then we say that states i and j communicate.
Communication between states i and j is expressed symbolically by i
↔
j
.



4.3.
Classification of States
107
The communication relation satisfies the following three properties:
1.
i
↔
i
2.
if i
↔
j then j
↔
i
3.
if i
↔
j and j
↔
k then i
↔
k
Properties 1 and 2 follow immediately from the definition of communication. To
prove 3, suppose that i communicates with j, and j communicates with k. Then,
there exist integers n and m such that P
n
i
,
j
P
m
j
,
k
>
0
.
By the Chapman-Kolmogorov
equations,
P
n
+
m
i
,
k
=
_
r
P
n
i
,
r
P
m
r
,
k
≥
P
n
i
,
j
P
m
j
,
k
>
0
Hence state k is accessible from state i. By the same argument we can show that
state i is accessible from state k
,
completing the verification of Property 3.
Two states that communicate are said to be in the same class. It is an easy
consequence of Properties 1, 2, and 3 that any two classes of states are either
identical or disjoint. In other words, the concept of communication divides the
state space up into a number of separate classes. The Markov chain is said to be
irreducible if there is only one class, that is, if all states communicate with each
other.
Example 4.3a
Consider the Markov chain consisting of the three states
0
,
1
,
2
,
and having transition probability matrix
P
=




1
2
1
2
0
1
2
1
4
1
4
0
1
3
2
3




It is easy to verify that this Markov chain is irreducible. For example, it is
possible to go from state 0 to state 2 because
0
→
1
→
2
That is, one way of getting from state 0 to state 2 is to go from state 0 to
state 1 (with probability 1
/
2)
and then go from state 1 to state 2 (with probability
1
/
4).
✷
Example 4.3b
Consider a Markov chain consisting of the four states 0, 1, 2,
3
and having transition probability matrix
P
=






1
2
1
2
00
1
2
1
2
00
1
4
1
4
1
4
1
4
0001









108
4
Markov Chains
The classes of this Markov chain are
{
0
,
1
}
,
{
2
}
,
and
{
3
}
.
Note that while state 0
(or 1) is accessible from state 2, the reverse is not true. As state 3 is an absorbing
state (i.e., P
3
,
3
=
1)
,
no other state is accessible from it.
✷
For any state i, let f denote the probability that, starting in state i, the process
i
will ever reenter that state. State i is said to be recurrent if f
i
=
1
,
and transient
if f
i
<
1
.
Suppose now that the process starts in state i, and i is recurrent. Then,
with probability 1, the process will eventually reenter state i. However, by the
definition of a Markov chain, it follows that the process will be probabilistically
starting over again when it reenters state i and, therefore, state i will eventually be
visited a second time. Continual repetition of this argument leads to the conclusion
that if state i is recurrent then, starting in state i, the process will reenter state i
again and again and again — in fact, infinitely often. On the other hand, suppose
that state i is transient. In this case, each time the process enters state i there will
be a positive probability, namely, 1
−
f
i
,
that it will never again enter that state.
Therefore, starting in state i, the probability that the process will be in state i for
exactly n time periods equals f
n
−
1
i
(1
−
f )
i
,
n
≥
1
.
In other words, if state i is
transient then, starting in state i, the nu4

Kết quả (Việt) 1:

4. giới thiệuMột quá trình ngẫu nhiên X={X(t),t∈T}là một tập hợp các biến ngẫu nhiên. Rằnglà, cho mỗi t trong chỉ mục thiết lập T, X(t) là một biến ngẫu nhiên. Chúng ta thường giải thícht như thời gian và gọi X(t) bang trình lúc thời gian t. Nếu chỉ số đặt T là mộttập hợp đếm được, nói T={0,1,2,...},chúng ta nói rằng X là một thời gian rời rạc ngẫu nhiênxử lý, trong khi nếu T bao gồm của một liên tục của giá trị có thể, chúng ta nói rằng X làmột quá trình ngẫu nhiên liên tục thời gian.Inthischapterweconsider adiscretetimestochasticprocess Xn,n=0,1,2,...mà phải mất trên một finite hoặc đếm được số lượng các giá trị có thể. Trừ khi nếu khôngđã đề cập, này tập hợp các giá trị có thể sẽ được biểu hiện bằng các thiết lập của vôsố nguyên 0,1,2,.... Tôif Xn=tôi,sau đó quá trình được gọi là bang tôi lúc thời gian n.Chúng tôi giả sử rằng bất cứ khi nào trình là thuộc bang, có là một xác suất fixed Ptôi,jrằng nó tiếp theo sẽ trong bang j. Có nghĩa là, chúng tôi giả sử rằngP{Xn+1=j|Xn=tôi,Xn−1=tôin−1,...,X0=tôi0}=Ptôi,j(4.1)cho tất cả các tiểu bang tôi0,tôi1,...,tôin−1,tôi,j và tất cả n≥0.Một quá trình ngẫu nhiên được biết đếnnhư là một chuỗi Markov. Phương trình (4.1) có thể được hiểu như là nói rằng, cho một MarkovChuỗi, sự phân bố có điều kiện của bất kỳ nhà nước tương lai Xn+1,cho các tiểu bang trong quá khứX0,X1,...,Xn−1và nhà nước hiện nay Xn,là độc lập của các tiểu bang trong quá khứ vàphụ thuộc chỉ vào nhà nước hiện nay. Có nghĩa là, xác định trạng thái hiện tại, quá khứ vàCác tiểu bang trong tương lai của một chuỗi Markov là độc lập.Giá trị Ptôi,jđại diện cho xác suất rằng quá trình sẽ, khi trong nhà nước tôi,tiếp theo, làm cho một chuyển đổi thành bang j. Như xác suất là vô và quá trìnhphải thực hiện một quá trình chuyển đổi thành một số tiểu bang, chúng tôi cóPtôi,j≥0,_jPtôi,j=1103 1044Xích MarkovCho P biểu thị ma trận của One-bước chuyển tiếp xác suất Ptôi,jP=P0,0P0,1...P0,j...P1,0P1,1...P1,j..................Ptôi,0Ptôi,1...Ptôi,j..................Ví dụ 4.1aXem xét một hệ thống thông tin liên lạc mà truyền các chữ số0và 1. Mỗi chữ số truyền phải đi qua nhiều giai đoạn, tại mỗi trong số đóđó là một xác suất p các chữ số đã nhập sẽ được không thay đổi khi nó lá.Cho Xnbiểu thị chữ số vào giai đoạn thứ n, sau đó{Xn,n≥0}là hai nhà nướcCó một xác suất chuyển đổi ma trận xích MarkovP= p1−p1−PPVí dụ 4.1bGiả sử rằng cho dù trời mưa vào ngày hôm nay phụ thuộc vào trước đóđiều kiện thời tiết chỉ từ hai ngày qua. Specifically, giả sử rằng nếu nó đãtrời mưa hai ngày qua, sau đó nó sẽ mưa vào ngày mai với xác suất 0.7;Nếu itrained vào ngày hôm nay nhưng không ngày hôm qua, thì itwill mưa vào ngày mai với xác suất 0.5; Nếutrời mưa vào ngày hôm nay nhưng không phải hôm nay, sau đó nó sẽ mưa vào ngày mai với xác suất 0.4; Nếu nóđã không mưa trong hai ngày vừa qua, sau đó nó sẽ mưa vào ngày mai với xác suất 0.2.Nếu chúng ta để cho nhà nước tại thời gian n phụ thuộc vào việc nó mưa vào ngày n, sau đó, cácngay trước sẽ không là một xích Markov (tại sao không?). Tuy nhiên, chúng tôi có thể biến nóvào một Markov chuỗi bằng cách cho phép tiểu bang trên bất kỳ ngày nào được xác định bởi thời tiếtđiều kiện trong ngày hôm đó và người trước. Ví dụ, chúng tôi có thể nóiquá trình này trongbang 0Nếu trời mưa ngày hôm nay và ngày hôm quanhà nước 1Nếu trời mưa vào ngày hôm nay nhưng không vào ngày hôm naynhà nước 2Nếu trời mưa vào ngày hôm nay nhưng không phải hôm naynhà nước 3Nếu trời mưa ngày hôm nay cũng như hôm quaCác ngay trước sẽ sau đó đại diện cho một chuỗi Markov bốn-nhà nước chuyển tiếp cóma trận khả năng dễ dàng hiển thị để như sau:P=0.700.300.500.5000.400.600.200.8 4.2.Phương trình Chapman-Kolmogorov1054.2.Phương trình Chapman-KolmogorovXác suất n-bước chuyển tiếp Pntôi,jtrong Markov chuỗi là defined như condi-xác suất tế, cho rằng chuỗi hiện trạng thái tôi, rằng nó sẽ ở nhà nướcj sau khi quá trình chuyển đổi thêm n. Đó làPntôi,j=P{Xn+m=j|Xm=tôi},n≥0,tôi,j≥0Tất nhiên P1tôi,j=Ptôi,j.Phương trình Chapman-Kolmogorov cung cấp một phương thứctính toán các xác suất n-bước. Các phương trìnhPn+mtôi,j=∞_k=0Pntôi,kPmk,j(4.2)và có nguồn gốc bằng cách ghi nhận rằng Pntôi,kPmk,jlà xác suất mà chuỗi, hiện đang trongnhà nước tôi, sẽ đi đến nhà nước j sau khi n+m chuyển tiếp thông qua một con đường sẽ đưa nó vào nhà nướck ở sự chuyển đổi thứ n. Do đó, tổng các xác suất trong tất cả Trung cấpkỳ k mang lại khả năng mà quá trình sẽ trong bang j sau khi n+mquá trình chuyển đổi. Chính thức, hiện cóPn+mtôi,j=P{Xn+m=j|X0=tôi}=∞_k=0P{Xn+m=j,Xn=k|X0=tôi}=∞_k=0P{Xn+m=j|Xn=k,X0=tôi}P{Xn=k|X0=tôi}=∞_k=0Pmk,jPntôi,kNếu chúng ta để P(n)biểu thị ma trận của n-bước chuyển tiếp xác suất Pntôi,j, sau đó, cácPhương trình Chapman-Kolmogorov khẳng định rằngP(n+m)=P(n)∙P(m)nơi dấu chấm đại diện cho phép nhân ma trận. Do đó,P(2)=P(1+1)=P∙P=P2và bằng quy nạp,P(n)=P(n−1+1)=P(n−1)∙P=PnCó nghĩa là, Ma trận xác suất n-bước chuyển tiếp có thể được thu được bằng cách nhânma trận P của chính nó lần n. 1064Xích MarkovVí dụ 4.2aCho rằng, trong ví dụ 4.1a, trời mưa trên cả hai thứ hai vàThứ ba. Xác suất nó sẽ mưa vào ngày thứ năm là gì?Giải pháp:Bởi vì ma trận khả năng chuyển tiếpP=0.700.300.500.5000.400.600.200.8ma trận khả năng hai bước chuyển tiếp làP2=0.490.120.210.180.350.200.150.300.200.120.200.480.100.160.100.64Bởi vì chuỗi trong bang 0 ngày thứ ba, và bởi vì nó sẽ mưa trên Thứ năm -ngày nếu dãy là ở một trong hai nhà nước 0 hay nhà nước 1 ngày hôm đó, xác suất mong muốn làP20,0+P20,1=0.49+0.12=0.61✷4.3.Classification quốc giaBang j được cho là có thể truy cập từ nhà nước tôi nếu Pntôi,j>0cho một số n≥0.Lưu ý rằngĐiều này ngụ ý rằng j nhà nước là có thể truy cập từ nhà nước tôi nếu và chỉ nếu, bắt đầu từ nhà nước tôi,nó có thể quá trình sẽ bao giờ trong bang j. Điều này là đúng bởi vì nếu j là khôngcó thể truy cập từ tôi, sau đóP{bao giờ nhậpj|bắt đầu trong tôi}=P_∞_n=0{Xn=j}|X0=tôi_≤∞_n=0P{Xn=j|X0=tôi}=0Bởi vìP0tôi,tôi=P{X0=tôi|X0=tôi}=1nó theo bất kỳ tiểu bang có thể truy cập từ chính nó. Nếu nhà nước j có thể truy cập từ nhà nước tôi,và nhà nước tôi có thể truy cập từ bang j, sau đó chúng tôi nói rằng tôi và j giao tiếp.Giao tiếp giữa các tiểu bang i và j được thể hiện tượng trưng của tôi↔j. 4.3.Classification quốc gia107Các thông tin liên lạc quan hệ satisfies ba đặc tính sau:1.tôi↔tôi2.Nếu tôi↔j sau đó j↔tôi3.Nếu tôi↔j và j↔k sau đó tôi↔kThuộc tính 1 và 2 theo ngay lập tức từ definition truyền thông. Đểchứng minh 3, giả sử rằng tôi liên lạc với j và j liên lạc với k. Sau đó,có tồn tại số nguyên n và m như vậy đó Pntôi,jPmj,k>0.By the Chapman-Kolmogorovequations,Pn+mi,k=_rPni,rPmr,k≥Pni,jPmj,k>0Hence state k is accessible from state i. By the same argument we can show thatstate i is accessible from state k,completing the verification of Property 3.Two states that communicate are said to be in the same class. It is an easyconsequence of Properties 1, 2, and 3 that any two classes of states are eitheridentical or disjoint. In other words, the concept of communication divides thestate space up into a number of separate classes. The Markov chain is said to beirreducible if there is only one class, that is, if all states communicate with eachother.Example 4.3aConsider the Markov chain consisting of the three states0,1,2,and having transition probability matrixP=1 21 201 21 41 401 32 3It is easy to verify that this Markov chain is irreducible. For example, it ispossible to go from state 0 to state 2 because0→1→2That is, one way of getting from state 0 to state 2 is to go from state 0 tostate 1 (with probability 1/2)and then go from state 1 to state 2 (with probability1/4).✷Example 4.3bConsider a Markov chain consisting of the four states 0, 1, 2,3and having transition probability matrixP=121 2001 21 2001 41 41 41 40001 1084Markov ChainsThe classes of this Markov chain are{0,1},{2},and{3}.Note that while state 0(or 1) is accessible from state 2, the reverse is not true. As state 3 is an absorbingstate (i.e., P3,3=1),no other state is accessible from it.✷For any state i, let f denote the probability that, starting in state i, the processiwill ever reenter that state. State i is said to be recurrent if fi=1,and transientif fi<1.Suppose now that the process starts in state i, and i is recurrent. Then,with probability 1, the process will eventually reenter state i. However, by thedefinition of a Markov chain, it follows that the process will be probabilisticallystarting over again when it reenters state i and, therefore, state i will eventually bevisited a second time. Continual repetition of this argument leads to the conclusionthat if state i is recurrent then, starting in state i, the process will reenter state iagain and again and again — in fact, infinitely often. On the other hand, supposethat state i is transient. In this case, each time the process enters state i there willbe a positive probability, namely, 1−fi,that it will never again enter that state.Therefore, starting in state i, the probability that the process will be in state i forexactly n time periods equals fn−1i(1−f )i,n≥1.In other words, if state i istransient then, starting in state i, the nu4

Kết quả (Việt) 2:

4. Giới thiệu
Một quá trình ngẫu nhiên X
= {
X (t)
,
t
∈
T
}
là một tập hợp của các biến ngẫu nhiên. Đó
là, đối với mỗi t trong chỉ số bộ T, X (t) là một biến ngẫu nhiên. Chúng tôi thường giải thích ý
t là thời gian và gọi X (t) trạng thái của quá trình tại thời điểm t. Nếu các chỉ số thiết lập T là một
tập hợp đếm được, nói T
= {
0
,
1
,
2
, ...
}
,
chúng ta nói rằng X là một ngẫu nhiên thời gian rời rạc
quá trình, trong khi đó nếu T bao gồm một chuỗi các giá trị có thể, chúng ta nói rằng X là
một quá trình ngẫu nhiên thời gian liên tục.
Inthischapterweconsider adiscretetimestochasticprocess X
n
,
n
=
0
,
1
,
2
, ...
mà phải mất trên một nite fi hoặc số đếm được của các giá trị có thể. Trừ khi được
đề cập, thiết lập giá trị này có thể sẽ được ký hiệu là tập hợp các số không âm
số nguyên 0
,
1
,
2
, ...
.Tôi
f X
n
=
i
,
sau đó quá trình này được cho là ở trạng thái i tại thời điểm n.
Chúng tôi giả sử rằng bất cứ khi nào quá trình này là trong trạng thái i, có một fi cố định xác suất P
i
,
j
mà nó sẽ tới được ở trạng thái j. Đó là, chúng ta giả sử rằng
P
{
X
n
+
1
=
k
|
X
n
=
i
,
X
n
-
1
=
i
n
-
1
, ...,
X
0
=
i
0
} =
P
i
,
j
(4.1)
cho tất cả bang i
0
,
i
1
, ...,
i
n
-
1
,
i
,
j và tất cả n
≥
0
.
một quá trình ngẫu nhiên như vậy được biết đến
như là một chuỗi Markov. Phương trình (4.1) có thể được hiểu là nói rằng, đối với một Markov
chuỗi, phân phối điều kiện của bất kỳ nhà nước trong tương lai X
n
+
1
,
đưa ra trạng thái quá khứ
X
0
,
X
1
, ...,
X
n
-
1
và trạng thái hiện tại X
n
,
độc lập với trạng thái quá khứ và
chỉ phụ thuộc vào trạng thái hiện tại. Tức là, với tình trạng hiện tại, quá khứ và
tương lai của quốc gia một chuỗi Markov là độc lập.
Các giá trị P
i
,
j
đại diện cho xác suất rằng quá trình sẽ, khi ở trạng thái i,
tiếp theo làm cho một quá trình chuyển đổi sang trạng thái j. Là xác suất là không âm và quá trình này
phải thực hiện một quá trình chuyển đổi sang một số nhà nước, chúng ta có
P
i
,
j
≥
0
,
_
j
P
i
,
j
=
1
103 104 4 Markov Chains Hãy P biểu thị ma trận xác suất chuyển tiếp một bước 4.1a Xem xét một hệ thống thông tin liên lạc mà truyền các chữ số 0 và 1. Mỗi chữ số truyền phải đi qua nhiều giai đoạn, mỗi trong số đó có một p xác suất mà các chữ số được nhập vào sẽ không bị thay đổi khi nó rời khỏi. Cho X n biểu thị cách nhập chữ số giai đoạn thứ n, sau đó { X n , n ≥ 0 } là một hai nhà nước chuỗi Markov có một quá trình chuyển đổi ma trận xác suất P = p 1 - p 1 - pp Ví dụ 4.1b Giả sử rằng cho dù trời mưa ngày nay phụ thuộc vào trước các điều kiện thời tiết chỉ từ hai ngày qua. Speci fi biệt, giả sử rằng nếu nó đã mưa trong hai ngày qua, sau đó nó sẽ mưa vào ngày mai với xác suất 0 . 7; nếu itrained ngày hôm nay nhưng không phải ngày hôm qua, sau đó itwill mưa vào ngày mai với xác suất 0 . 5; nếu trời mưa ngày hôm qua nhưng không phải hôm nay, sau đó nó sẽ mưa vào ngày mai với xác suất 0 . 4; nếu trời không mưa trong hai ngày qua, sau đó nó sẽ mưa vào ngày mai với xác suất 0 . 2. Nếu chúng ta để cho nhà nước tại thời điểm n phụ thuộc vào việc nó được trời mưa vào ngày n, thì trước đó sẽ không phải là một chuỗi Markov ( tại sao không?). Tuy nhiên, chúng ta có thể biến nó thành một chuỗi Markov bằng cách cho phép các nhà nước vào bất cứ ngày được xác định bởi thời tiết điều kiện trong suốt cả ngày hôm đó và một trong những trước. Ví dụ, chúng ta có thể nói rằng quá trình này là trong trạng thái 0 nếu trời mưa cả ngày hôm nay và ngày hôm qua nhà nước 1 nếu trời mưa ngày hôm nay nhưng không phải ngày hôm qua nhà nước 2 nếu trời mưa ngày hôm qua nhưng không phải hôm nay nhà nước 3 nếu trời mưa không phải và cũng không hôm nay ngày hôm qua The trước sẽ sau đó đại diện cho một chuỗi Markov bốn trạng thái mà quá trình chuyển đổi ma trận xác suất có thể dễ dàng thể hiện được như sau: P =       0 . 700 . 30 0 . 500 . 50 00 . 400 . 6 00 . 200 . 8       4.2. Chapman-Kolmogorov Phương trình 105 4.2. Chapman-Kolmogorov Phương trình n-bước chuyển xác suất P n i , j của chuỗi Markov là định nghĩa là các điều kiện xác suất thống, cho rằng chuỗi hiện đang trong trạng thái i , mà nó sẽ được ở trạng thái j sau khi quá trình chuyển đổi n thêm. Đó là, P n i , j = P { X n + m = j | X m = i } , n ≥ 0 , i , j ≥ 0 Tất nhiên P 1 i , j = P i , j . Các Chapman-Kolmogorov phương trình cung cấp một phương pháp tính toán các xác suất n bước. Những phương trình này là P n + m i , j = ∞ _ k = 0 P n i , k P m k , j (4.2) và có nguồn gốc bằng cách ghi nhận rằng P n i , k P m k , j là xác suất mà các chuỗi, hiện đang trong trạng thái i, sẽ đi đến trạng thái j sau n + m chuyển qua một con đường mà đưa nó vào trạng thái k vào quá trình chuyển đổi thứ n. Do đó, tổng hợp các xác suất trên tất cả các trung bang k mang xác suất mà quá trình này sẽ được ở trạng thái j sau n + m chuyển tiếp. Chính thức, chúng tôi chúng ta để cho P (n) biểu thị ma trận n bước chuyển xác suất P n i , j , sau đó các phương trình Chapman-Kolmogorov khẳng định rằng P (n + m) = P (n) ∙ P (m) , nơi các dấu chấm tượng trưng cho ma trận phép nhân. Do đó, P (2) = P (1 + 1) = P ∙ P = P 2 và, bằng cảm ứng, P (n) = P (n - 1 + 1) = P (n - 1) ∙ P = P n Đó là, các n-bước chuyển đổi ma trận xác suất có thể thu được bằng cách nhân ma trận P của chính nó n lần. 106 4 Markov Chains Ví dụ 4.2a Giả sử, trong Ví dụ 4.1a, thấy trời mưa trên cả hai thứ hai và thứ ba. ? Xác suất mà nó sẽ mưa vào thứ năm là gì Giải pháp: Vì ma trận xác suất chuyển là P =       0 . 700 . 30 0 . 500 . 50 00 . 400 . 6 00 . 200 . 8       hai bước xác suất chuyển ma trận chuỗi ở trong trạng thái 0 vào thứ ba, và bởi vì nó sẽ mưa vào Thurs- ngày nếu chuỗi là một trong hai trạng thái 0 hoặc 1 nhà nước vào ngày hôm đó, xác suất mong muốn là P 2 0 , 0 + P 2 0 , 1 = 0 . 49 + 0 . 12 = 0 . 61 ✷ 4.3. phân loại fi cation của Hoa Nhà nước j được cho là có thể truy cập từ trạng thái i nếu P n i , j > 0 cho một số n ≥ 0 . Lưu ý rằng điều này hàm ý rằng trạng thái j là truy cập từ trạng thái i khi và chỉ khi, bắt đầu từ trạng thái i, có thể là quá trình sẽ bao giờ được ở trạng thái j. Điều này là đúng bởi vì nếu j là không thể truy cập từ i, sau đó P { bao giờ nhập j | bắt đầu vào i } = P _ ∞ _ n = 0 { X n = k } | X 0 = i _ ≤ ∞ _ n = 0 P { X n = k | X 0 = i } = 0 Vì P 0 i , i = P { X 0 = i | X 0 = i } = 1 nó sau đó bất kỳ nhà nước có thể truy cập từ chính nó. Nếu trạng thái j là truy cập từ trạng thái i , và trạng thái i là truy cập từ trạng thái j, thì ta nói rằng các quốc gia i và j giao tiếp. Giao tiếp giữa các quốc gia i và j được thể hiện một cách tượng trưng bởi i ↔ j . 4.3. phân loại fi cation của Hoa 107 Các thông tin liên lạc quan hệ satis fi es ba thuộc tính sau: 1. i ↔ i 2. nếu tôi ↔ j thì j ↔ i 3. nếu tôi ↔ j và j ↔ k sau đó tôi ↔ k tính 1 và 2 sau ngay lập tức từ trong định nghĩa fi de giao tiếp. Để chứng minh 3, giả sử rằng tôi giao tiếp với j, j và giao tiếp với k. Sau đó, có tồn tại số nguyên n và m như vậy mà P n i , j P m j , k > 0 . Đến Chapman-Kolmogorov phương trình, P n + m i , k = _ r P n i , r P m r , k ≥ P n i , j P m j , k > 0 Do đó k nhà nước có thể truy cập từ trạng thái i. Bởi cùng một lý lẽ chúng ta có thể thấy rằng nhà nước tôi có thể truy cập từ trạng thái k , hoàn thành fi cation veri hữu 3. Hai bang mà giao tiếp được cho là trong cùng một lớp. Nó là một dễ hậu quả của tính 1, 2, 3 và rằng bất kỳ hai lớp học của các quốc gia là một trong hai giống hệt nhau hoặc tách rời nhau. Nói cách khác, khái niệm về truyền thông chia không gian trạng thái lên thành một số các lớp riêng biệt. Các chuỗi Markov được cho là tối giản nếu chỉ có một lớp học, đó là, nếu tất cả các nước liên lạc với nhau khác. Ví dụ 4.3a Hãy xem xét các chuỗi Markov gồm ba trạng thái 0 , 1 , 2 , và có ma trận xác suất chuyển P =     1 2 1 2 0 1 2 1 4 1 4 0 1 3 2 3     Nó rất dễ dàng để xác minh rằng chuỗi Markov này là bất khả quy. Ví dụ, nó là có thể đi từ trạng thái 0 đến trạng thái 2 vì 0 → 1 → 2 Đó là, một cách để nhận được từ nhà nước 0 đến trạng thái 2 là để đi từ trạng thái 0 đến trạng thái 1 (với xác suất 1 / 2) và sau đó đi từ trạng thái 1 đến trạng thái 2 (với xác suất 1 / 4). ✷ Ví dụ 4.3b Hãy xem xét một chuỗi Markov gồm bốn trạng thái 0, 1, 2, 3 và có khả năng chuyển đổi ma trận P =       1 2 1 2 00 1 2 1 2 00 1 4 1 4 1 4 1 4 0001       108 4 Markov Chains Các lớp học của chuỗi Markov này là { 0 , 1 } , { 2 } , và { 3 } . Lưu ý rằng trong khi trạng thái 0 (hoặc 1) có thể truy cập từ trạng thái 2, ngược lại là không đúng sự thật. Như nhà nước 3 là hấp thụ nước (tức là, P 3 , 3 = 1) , không một quốc gia khác có thể truy cập từ nó. ✷ Đối với bất kỳ nhà nước tôi, hãy để f biểu thị xác suất đó, bắt đầu từ trạng thái i, quá trình này tôi sẽ bao giờ nhập lại mà nhà nước. Trạng thái i được cho là tái phát nếu f i = 1 , và thoáng qua nếu f i < 1 . Giả sử bây giờ mà quá trình bắt đầu trong trạng thái i và i là tái phát. Sau đó, với xác suất 1, quá trình này cuối cùng sẽ nhập lại trạng thái i. Tuy nhiên, bằng các định nghĩa fi de của một chuỗi Markov, nó sau đó quá trình sẽ được xác suất bắt đầu lại một lần nữa khi nó reenters trạng thái i và, do đó, nhà nước i cuối cùng sẽ được đến thăm một lần thứ hai. Sự lặp lại liên tục của lập luận này dẫn đến kết luận rằng nếu nhà nước i là tái phát sau đó, bắt đầu từ trạng thái i, quá trình sẽ nhập lại trạng thái i một lần nữa và một lần nữa và một lần nữa - trong thực tế, trong fi nitely thường. Mặt khác, giả sử rằng trạng thái i là thoáng qua. Trong trường hợp này, mỗi lần quá trình đi vào trạng thái i sẽ có một xác suất tích cực, cụ thể là, 1 - f i , rằng nó sẽ không bao giờ một lần nữa nhập mà nhà nước. Vì vậy, bắt đầu từ trạng thái i, xác suất mà quá trình này sẽ được ở trạng thái i cho chính xác n thời kỳ tương đương với f n - 1 i (1 - f) i , n ≥ 1 . Nói cách khác, nếu nhà nước i là thoáng qua sau đó, bắt đầu từ trạng thái i, các nu4 j ≥ 0 Tất nhiên P 1 i , j = P i , j . Các phương trình Chapman-Kolmogorov cung cấp một phương pháp tính toán các xác suất n bước. Những phương trình này là P n + m i , j = ∞ _ k = 0 P n i , k P m k , j (4.2) và có nguồn gốc bằng cách ghi nhận rằng P n i , k P m k , j là xác suất mà các chuỗi, hiện đang trong trạng thái i, sẽ đi đến trạng thái j sau n + m chuyển qua một con đường mà đưa nó vào trạng thái k vào quá trình chuyển đổi thứ n. Do đó, tổng hợp các xác suất trên tất cả các trung bang k mang xác suất mà quá trình này sẽ được ở trạng thái j sau n + m chuyển tiếp. Chính thức, chúng tôi chúng ta để cho P (n) biểu thị ma trận n bước chuyển xác suất P n i , j , sau đó các phương trình Chapman-Kolmogorov khẳng định rằng P (n + m) = P (n) ∙ P (m) , nơi các dấu chấm tượng trưng cho ma trận phép nhân. Do đó, P (2) = P (1 + 1) = P ∙ P = P 2 và, bằng cảm ứng, P (n) = P (n - 1 + 1) = P (n - 1) ∙ P = P n Đó là, các n-bước chuyển đổi ma trận xác suất có thể thu được bằng cách nhân ma trận P của chính nó n lần. 106 4 Markov Chains Ví dụ 4.2a Giả sử, trong Ví dụ 4.1a, thấy trời mưa trên cả hai thứ hai và thứ ba. ? Xác suất mà nó sẽ mưa vào thứ năm là gì Giải pháp: Vì ma trận xác suất chuyển là P =       0 . 700 . 30 0 . 500 . 50 00 . 400 . 6 00 . 200 . 8       hai bước xác suất chuyển ma trận chuỗi ở trong trạng thái 0 vào thứ ba, và bởi vì nó sẽ mưa vào Thurs- ngày nếu chuỗi là một trong hai trạng thái 0 hoặc 1 nhà nước vào ngày hôm đó, xác suất mong muốn là P 2 0 , 0 + P 2 0 , 1 = 0 . 49 + 0 . 12 = 0 . 61 ✷ 4.3. phân loại fi cation của Hoa Nhà nước j được cho là có thể truy cập từ trạng thái i nếu P n i , j > 0 cho một số n ≥ 0 . Lưu ý rằng điều này hàm ý rằng trạng thái j là truy cập từ trạng thái i khi và chỉ khi, bắt đầu từ trạng thái i, có thể là quá trình sẽ bao giờ được ở trạng thái j. Điều này là đúng bởi vì nếu j là không thể truy cập từ i, sau đó P { bao giờ nhập j | bắt đầu vào i } = P _ ∞ _ n = 0 { X n = k } | X 0 = i _ ≤ ∞ _ n = 0 P { X n = k | X 0 = i } = 0 Vì P 0 i , i = P { X 0 = i | X 0 = i } = 1 nó sau đó bất kỳ nhà nước có thể truy cập từ chính nó. Nếu trạng thái j là truy cập từ trạng thái i , và trạng thái i là truy cập từ trạng thái j, thì ta nói rằng các quốc gia i và j giao tiếp. Giao tiếp giữa các quốc gia i và j được thể hiện một cách tượng trưng bởi i ↔ j . 4.3. phân loại fi cation của Hoa 107 Các thông tin liên lạc quan hệ satis fi es ba thuộc tính sau: 1. i ↔ i 2. nếu tôi ↔ j thì j ↔ i 3. nếu tôi ↔ j và j ↔ k sau đó tôi ↔ k tính 1 và 2 sau ngay lập tức từ trong định nghĩa fi de giao tiếp. Để chứng minh 3, giả sử rằng tôi giao tiếp với j, j và giao tiếp với k. Sau đó, có tồn tại số nguyên n và m như vậy mà P n i , j P m j , k > 0 . Đến Chapman-Kolmogorov phương trình, P n + m i , k = _ r P n i , r P m r , k ≥ P n i , j P m j , k > 0 Do đó k nhà nước có thể truy cập từ trạng thái i. Bởi cùng một lý lẽ chúng ta có thể thấy rằng nhà nước tôi có thể truy cập từ trạng thái k , hoàn thành fi cation veri hữu 3. Hai bang mà giao tiếp được cho là trong cùng một lớp. Nó là một dễ hậu quả của tính 1, 2, 3 và rằng bất kỳ hai lớp học của các quốc gia là một trong hai giống hệt nhau hoặc tách rời nhau. Nói cách khác, khái niệm về truyền thông chia không gian trạng thái lên thành một số các lớp riêng biệt. Các chuỗi Markov được cho là tối giản nếu chỉ có một lớp học, đó là, nếu tất cả các nước liên lạc với nhau khác. Ví dụ 4.3a Hãy xem xét các chuỗi Markov gồm ba trạng thái 0 , 1 , 2 , và có ma trận xác suất chuyển P =     1 2 1 2 0 1 2 1 4 1 4 0 1 3 2 3     Nó rất dễ dàng để xác minh rằng chuỗi Markov này là bất khả quy. Ví dụ, nó là có thể đi từ trạng thái 0 đến trạng thái 2 vì 0 → 1 → 2 Đó là, một cách để nhận được từ nhà nước 0 đến trạng thái 2 là để đi từ trạng thái 0 đến trạng thái 1 (với xác suất 1 / 2) và sau đó đi từ trạng thái 1 đến trạng thái 2 (với xác suất 1 / 4). ✷ Ví dụ 4.3b Hãy xem xét một chuỗi Markov gồm bốn trạng thái 0, 1, 2, 3 và có khả năng chuyển đổi ma trận P =       1 2 1 2 00 1 2 1 2 00 1 4 1 4 1 4 1 4 0001       108 4 Markov Chains Các lớp học của chuỗi Markov này là { 0 , 1 } , { 2 } , và { 3 } . Lưu ý rằng trong khi trạng thái 0 (hoặc 1) có thể truy cập từ trạng thái 2, ngược lại là không đúng sự thật. Như nhà nước 3 là hấp thụ nước (tức là, P 3 , 3 = 1) , không một quốc gia khác có thể truy cập từ nó. ✷ Đối với bất kỳ nhà nước tôi, hãy để f biểu thị xác suất đó, bắt đầu từ trạng thái i, quá trình này tôi sẽ bao giờ nhập lại mà nhà nước. Trạng thái i được cho là tái phát nếu f i = 1 , và thoáng qua nếu f i < 1 . Giả sử bây giờ mà quá trình bắt đầu trong trạng thái i và i là tái phát. Sau đó, với xác suất 1, quá trình này cuối cùng sẽ nhập lại trạng thái i. Tuy nhiên, bằng các định nghĩa fi de của một chuỗi Markov, nó sau đó quá trình sẽ được xác suất bắt đầu lại một lần nữa khi nó reenters trạng thái i và, do đó, nhà nước i cuối cùng sẽ được đến thăm một lần thứ hai. Sự lặp lại liên tục của lập luận này dẫn đến kết luận rằng nếu nhà nước i là tái phát sau đó, bắt đầu từ trạng thái i, quá trình sẽ nhập lại trạng thái i một lần nữa và một lần nữa và một lần nữa - trong thực tế, trong fi nitely thường. Mặt khác, giả sử rằng trạng thái i là thoáng qua. Trong trường hợp này, mỗi lần quá trình đi vào trạng thái i sẽ có một xác suất tích cực, cụ thể là, 1 - f i , rằng nó sẽ không bao giờ một lần nữa nhập mà nhà nước. Vì vậy, bắt đầu từ trạng thái i, xác suất mà quá trình này sẽ được ở trạng thái i cho chính xác n thời kỳ tương đương với f n - 1 i (1 - f) i , n ≥ 1 . Nói cách khác, nếu nhà nước i là thoáng qua sau đó, bắt đầu từ trạng thái i, các nu4 j ≥ 0 Tất nhiên P 1 i , j = P i , j . Các phương trình Chapman-Kolmogorov cung cấp một phương pháp tính toán các xác suất n bước. Những phương trình này là P n + m i , j = ∞ _ k = 0 P n i , k P m k , j (4.2) và có nguồn gốc bằng cách ghi nhận rằng P n i , k P m k , j là xác suất mà các chuỗi, hiện đang trong trạng thái i, sẽ đi đến trạng thái j sau n + m chuyển qua một con đường mà đưa nó vào trạng thái k vào quá trình chuyển đổi thứ n. Do đó, tổng hợp các xác suất trên tất cả các trung bang k mang xác suất mà quá trình này sẽ được ở trạng thái j sau n + m chuyển tiếp. Chính thức, chúng tôi chúng ta để cho P (n) biểu thị ma trận n bước chuyển xác suất P n i , j , sau đó các phương trình Chapman-Kolmogorov khẳng định rằng P (n + m) = P (n) ∙ P (m) , nơi các dấu chấm tượng trưng cho ma trận phép nhân. Do đó, P (2) = P (1 + 1) = P ∙ P = P 2 và, bằng cảm ứng, P (n) = P (n - 1 + 1) = P (n - 1) ∙ P = P n Đó là, các n-bước chuyển đổi ma trận xác suất có thể thu được bằng cách nhân ma trận P của chính nó n lần. 106 4 Markov Chains Ví dụ 4.2a Giả sử, trong Ví dụ 4.1a, thấy trời mưa trên cả hai thứ hai và thứ ba. ? Xác suất mà nó sẽ mưa vào thứ năm là gì Giải pháp: Vì ma trận xác suất chuyển là P =       0 . 700 . 30 0 . 500 . 50 00 . 400 . 6 00 . 200 . 8       hai bước xác suất chuyển ma trận chuỗi ở trong trạng thái 0 vào thứ ba, và bởi vì nó sẽ mưa vào Thurs- ngày nếu chuỗi là một trong hai trạng thái 0 hoặc 1 nhà nước vào ngày hôm đó, xác suất mong muốn là P 2 0 , 0 + P 2 0 , 1 = 0 . 49 + 0 . 12 = 0 . 61 ✷ 4.3. phân loại fi cation của Hoa Nhà nước j được cho là có thể truy cập từ trạng thái i nếu P n i , j > 0 cho một số n ≥ 0 . Lưu ý rằng điều này hàm ý rằng trạng thái j là truy cập từ trạng thái i khi và chỉ khi, bắt đầu từ trạng thái i, có thể là quá trình sẽ bao giờ được ở trạng thái j. Điều này là đúng bởi vì nếu j là không thể truy cập từ i, sau đó P { bao giờ nhập j | bắt đầu vào i } = P _ ∞ _ n = 0 { X n = k } | X 0 = i _ ≤ ∞ _ n = 0 P { X n = k | X 0 = i } = 0 Vì P 0 i , i = P { X 0 = i | X 0 = i } = 1 nó sau đó bất kỳ nhà nước có thể truy cập từ chính nó. Nếu trạng thái j là truy cập từ trạng thái i , và trạng thái i là truy cập từ trạng thái j, thì ta nói rằng các quốc gia i và j giao tiếp. Giao tiếp giữa các quốc gia i và j được thể hiện một cách tượng trưng bởi i ↔ j . 4.3. phân loại fi cation của Hoa 107 Các thông tin liên lạc quan hệ satis fi es ba thuộc tính sau: 1. i ↔ i 2. nếu tôi ↔ j thì j ↔ i 3. nếu tôi ↔ j và j ↔ k sau đó tôi ↔ k tính 1 và 2 sau ngay lập tức từ trong định nghĩa fi de giao tiếp. Để chứng minh 3, giả sử rằng tôi giao tiếp với j, j và giao tiếp với k. Sau đó, có tồn tại số nguyên n và m như vậy mà P n i , j P m j , k > 0 . Đến Chapman-Kolmogorov phương trình, P n + m i , k = _ r P n i , r P m r , k ≥ P n i , j P m j , k > 0 Do đó k nhà nước có thể truy cập từ trạng thái i. Bởi cùng một lý lẽ chúng ta có thể thấy rằng nhà nước tôi có thể truy cập từ trạng thái k , hoàn thành fi cation veri hữu 3. Hai bang mà giao tiếp được cho là trong cùng một lớp. Nó là một dễ hậu quả của tính 1, 2, 3 và rằng bất kỳ hai lớp học của các quốc gia là một trong hai giống hệt nhau hoặc tách rời nhau. Nói cách khác, khái niệm về truyền thông chia không gian trạng thái lên thành một số các lớp riêng biệt. Các chuỗi Markov được cho là tối giản nếu chỉ có một lớp học, đó là, nếu tất cả các nước liên lạc với nhau khác. Ví dụ 4.3a Hãy xem xét các chuỗi Markov gồm ba trạng thái 0 , 1 , 2 , và có ma trận xác suất chuyển P =     1 2 1 2 0 1 2 1 4 1 4 0 1 3 2 3     Nó rất dễ dàng để xác minh rằng chuỗi Markov này là bất khả quy. Ví dụ, nó là có thể đi từ trạng thái 0 đến trạng thái 2 vì 0 → 1 → 2 Đó là, một cách để nhận được từ nhà nước 0 đến trạng thái 2 là để đi từ trạng thái 0 đến trạng thái 1 (với xác suất 1 / 2) và sau đó đi từ trạng thái 1 đến trạng thái 2 (với xác suất 1 / 4). ✷ Ví dụ 4.3b Hãy xem xét một chuỗi Markov gồm bốn trạng thái 0, 1, 2, 3 và có khả năng chuyển đổi ma trận P =       1 2 1 2 00 1 2 1 2 00 1 4 1 4 1 4 1 4 0001       108 4 Markov Chains Các lớp học của chuỗi Markov này là { 0 , 1 } , { 2 } , và { 3 } . Lưu ý rằng trong khi trạng thái 0 (hoặc 1) có thể truy cập từ trạng thái 2, ngược lại là không đúng sự thật. Như nhà nước 3 là hấp thụ nước (tức là, P 3 , 3 = 1) , không một quốc gia khác có thể truy cập từ nó. ✷ Đối với bất kỳ nhà nước tôi, hãy để f biểu thị xác suất đó, bắt đầu từ trạng thái i, quá trình này tôi sẽ bao giờ nhập lại mà nhà nước. Trạng thái i được cho là tái phát nếu f i = 1 , và thoáng qua nếu f i < 1 . Giả sử bây giờ mà quá trình bắt đầu trong trạng thái i và i là tái phát. Sau đó, với xác suất 1, quá trình này cuối cùng sẽ nhập lại trạng thái i. Tuy nhiên, bằng các định nghĩa fi de của một chuỗi Markov, nó sau đó quá trình sẽ được xác suất bắt đầu lại một lần nữa khi nó reenters trạng thái i và, do đó, nhà nước i cuối cùng sẽ được đến thăm một lần thứ hai. Sự lặp lại liên tục của lập luận này dẫn đến kết luận rằng nếu nhà nước i là tái phát sau đó, bắt đầu từ trạng thái i, quá trình sẽ nhập lại trạng thái i một lần nữa và một lần nữa và một lần nữa - trong thực tế, trong fi nitely thường. Mặt khác, giả sử rằng trạng thái i là thoáng qua. Trong trường hợp này, mỗi lần quá trình đi vào trạng thái i sẽ có một xác suất tích cực, cụ thể là, 1 - f i , rằng nó sẽ không bao giờ một lần nữa nhập mà nhà nước. Vì vậy, bắt đầu từ trạng thái i, xác suất mà quá trình này sẽ được ở trạng thái i cho chính xác n thời kỳ tương đương với f n - 1 i (1 - f) i , n ≥ 1 . Nói cách khác, nếu nhà nước i là thoáng qua sau đó, bắt đầu từ trạng thái i, các nu4