4. Estimation:(a) Add new observati

4. Estimation:
(a) Add new observations Et .
(b) Calculate Bel(), the probability distribution over the current state
(c) Add the slice for t +1.
4.5.3 Inference algorithms for DBNs
Exact clustering algorithms can be applied to DBNs, particularly if the inference is
restricted to two time-slices.6 Unfortunately, there normally is a cluster containing
all the nodes in a time slice with inter-slice connections, so the clusters become unwieldy.
The intuitive reason for this is that even if there are no intra-slice arcs between
two nodes, they often become correlated through common ancestors. A version of the
junction tree algorithm has been developed for DBNs (Kjærulff, 1995). This method
takes advantage of the DBN structure by creating a junction tree for each time slice
and performing updating for time slices up to and including the current time-slice
using inter-tree message passing. For probabilistic projection into future time-slices,
a sampling method is effective as there is no evidence yet for these future time slices.
If the DBN clusters get too large, approximate algorithms using stochastic simulation
(described in x3.6) are usually suitable. As we discussed in x3.6.5, stochastic
simulation methods are more effective when the evidence is at the root nodes, while
the typical DBN structure involves the modeling of one or more state variables, each
of which is observed with a possibly noisy sensor. This structure is shown in Figure 4.12; we can see that in these models evidence is at the leaves.
FIGURE 4.13: (a) Original network; (b) new structure after arc reversal process.
One solution to this problem with stochastic simulation is to reverse the arcs to
evidence nodes, as proposed by Shachter (1986), and then use the stochastic simulation
algorithms. This arc reversal method (see x8.3.1.1) ensures that the evidence is
at the root nodes, while maintaining the same overall joint probability distribution.
It requires the addition of arcs to maintain the conditional independencies. A simple
6This does not mean that the beliefs being maintained are exact, of course; since past evidence is
being summarized, the beliefs are inexact.example is shown in Figure 4.13. The disadvantage is that we get a more complex
structure that does not model the causal relationships.
Many other approximate algorithms for DBN inference have been proposed, including
variations of stochastic simulation (e.g., Kanazawa et al., 1995), filtering
methods (e.g., Murphy, 2002) and ignoring weak dependencies in the stochastic process
(e.g., Boyen and Koller, 1998, Jitnah, 2000, Kjærulff, 1994). Unfortunately,
most of these are not implemented in BN software packages.
4.6Dynamic decision networks
Just as Bayesian networks can be extended with a temporal dimension to give DBNs,
so can decision networks be extended to give dynamic decision networks (DDNs).
Not only do they represent explicitly how the world changes over time, but they model general sequential decision making.
FIGURE 4.14: A generic DDN for a sequence of n decisions, to maximize expected
utility at time t +n.
Figure 4.14 shows a generic DDN structure, for making a sequence of n decisions
Dt , Dt+1, : : :, Dt+n, from time t into the future. The temporal sequencing of the
decision is represented by the precedence link (shown as a dotted line). The single
chance node X determines the utility, while Obs is the observation node for which
evidence will be added before each subsequent decision; this sequencing is represented
by the information link (shown as a dashed line). Note that in Figure 4.14 the
decision making will maximize the expected utility in n time steps. Another alternative
would be to have a utility node at each time slice, in which case the decision
making will maximize the cumulative expected utility from time t to t +n.
The DDN structure for the fever example is shown in Figure 4.15.

Kết quả (Việt) 2:

4. Dự toán:
(a) Thêm những quan sát mới Et.
(B) Tính Bel (), phân bố xác suất trên trạng thái hiện tại
(c) Thêm các slice cho t 1.
4.5.3 thuật toán suy luận cho DBNs
thuật toán phân cụm chính xác có thể được áp dụng cho DBNs, đặc biệt là nếu suy luận được
giới hạn trong hai thời gian slices.6 Thật không may, có bình thường là một cụm có chứa
tất cả các nút trong một lát thời gian với các kết nối liên slice, vì vậy cụm trở nên khó sử dụng.
Lý do cho điều này là trực quan rằng ngay cả khi không có vòng cung nội lát giữa
hai nút, họ thường trở nên tương quan thông qua tổ tiên chung. Một phiên bản của
thuật toán cây ngã ba đã được phát triển cho DBNs (Kjærulff, 1995). Phương pháp này
có lợi thế của cơ cấu DBN bằng cách tạo ra một cây ngã ba cho mỗi lát thời gian
và thực hiện việc cập nhật cho lát thời gian lên đến và bao gồm cả thời gian phục lát
bằng tin nhắn liên cây đi qua. Đối chiếu xác suất trong tương lai thời gian-lát,
một phương pháp lấy mẫu là hiệu quả vì không có bằng chứng nào cho những lát thời gian trong tương lai.
Nếu các cụm DBN nhận được quá lớn, các thuật toán gần đúng bằng cách sử dụng mô phỏng ngẫu nhiên
(được mô tả trong x3.6) thường thích hợp. Như chúng ta đã thảo luận trong x3.6.5, ngẫu nhiên
các phương pháp mô phỏng có hiệu quả hơn khi các bằng chứng là tại các nút gốc, trong khi
cấu trúc điển hình liên quan đến DBN các người mẫu của một hoặc nhiều biến trạng thái, mỗi
trong số đó được quan sát với một bộ cảm biến có thể ồn ào. Cấu trúc này được thể hiện trong hình 4.12; chúng ta có thể thấy rằng trong các mô hình này bằng chứng là ở lá.
HÌNH 4.13: (a) mạng gốc; (b) cấu trúc mới sau khi quá trình đảo ngược vòng cung.
Một giải pháp cho vấn đề này với các mô phỏng ngẫu nhiên là để đảo ngược vòng cung để
hạch bằng chứng, theo đề nghị của Shachter (1986), và sau đó sử dụng mô phỏng ngẫu nhiên
các thuật toán. Phương pháp đảo ngược vòng cung này (xem x8.3.1.1) đảm bảo rằng các bằng chứng là
tại các nút gốc, trong khi duy trì cùng một phân bố xác suất doanh tổng thể.
Nó đòi hỏi việc bổ sung các vòng cung để duy trì independencies điều kiện. Một đơn giản
6This không có nghĩa là các tín ngưỡng được duy trì là chính xác, tất nhiên; vì bằng chứng trong quá khứ là
được tóm tắt, những niềm tin được inexact.example được thể hiện trong hình 4.13. Điểm bất lợi là chúng ta có được một phức tạp hơn
cấu trúc mà không mô hình các mối quan hệ nhân quả.
Nhiều thuật toán gần đúng khác cho DBN suy luận đã được đề xuất, bao gồm cả
các biến thể của mô phỏng ngẫu nhiên (ví dụ, Kanazawa et al 1995.,), Lọc
các phương pháp (ví dụ, Murphy, 2002) và bỏ qua yếu phụ thuộc vào các quá trình ngẫu nhiên
(ví dụ, Boyen và Koller, 1998, Jitnah, 2000, Kjærulff, 1994). Thật không may,
hầu hết trong số này đang không được thực hiện trong các gói phần mềm BN.
Mạng quyết định 4.6Dynamic
Cũng như các mạng Bayesian có thể được mở rộng với một chiều thời gian để cung cấp cho DBNs,
vì vậy các mạng quyết định có thể được mở rộng để cung cấp cho mạng lưới quyết định năng động (DDNS).
Không chỉ làm họ đại diện một cách rõ ràng sự thay đổi của thế giới qua thời gian, nhưng họ mô hình ra quyết định tuần tự chung.
HÌNH 4.14: Một DDN chung cho một chuỗi các quyết định n, để tối đa hóa dự
kiến. Tiện ích tại thời điểm t + n
Hình 4.14 cho thấy một cấu trúc DDN chung chung, cho thực hiện một chuỗi các quyết định n
Dt, Dt + 1,:::, Dt + n, từ thời điểm t trong tương lai. Các trình tự thời gian của các
quyết định được đại diện bởi các liên kết ưu tiên (hiển thị như là một đường đứt nét). Các đơn
nút cơ hội X xác định các tiện ích, trong khi Obs là nút quan sát mà
bằng chứng sẽ được thêm vào trước mỗi quyết định tiếp theo; trình tự này được đại diện
bởi các thông tin liên kết (hiển thị như một nét đứt). Lưu ý rằng trong hình 4.14 với
việc ra quyết định sẽ tối đa hóa thỏa dụng kỳ vọng ở bước n lần. Một lựa chọn khác
sẽ được để có một nút tiện ích tại mỗi lát thời gian, trong trường hợp mà quyết định
làm sẽ tối đa hóa các tiện ích dự kiến tích lũy từ thời điểm t đến t + n.
Các cấu trúc DDN cho ví dụ sốt được thể hiện trong hình 4.15.