PROPAGATION, NO EVIDENCEPROPAGATION

PROPAGATION, NO EVIDENCE
PROPAGATION, EVIDENCE for node M
FIGURE 3.4: Message passing algorithm propagation stages for without evidence
(above) and with evidence for node M (below).
First, before any evidence is entered, various parameters are initialized: p(B),
p(E), p(P), from the priors, and l(J), l(M) with (1,1) as leaf nodes without evidence.
During this propagation before evidence, all of the diagnostic messages (the l
messages) will be the unit vector. We can see from the updating equations that we
only multiply by these messages, so multiplying by the unit vector will not change
any other parameters or messages. So we will not show the unit vector l message
propagation at this stage.
Using the belief updating equation (3.1), Bel(B), Bel(E) and Bel(P) are computed,
while sending new messages pA(B), pA(E) and pJ(P) are computed using
(3.5) and sent out.
Node A has received all its p messages from its parents, so it can update Bel(A)
and compute its own p messages to pass down to its children J and M. At this stage,
we could update Bel(J), as it has just received a p message from P; however, it has
yet to receive a p message from A, so we won’t do that this cycle.
After the second message propagation phase, Bel(J) and Bel(M) can be computed,
as all p messages have been received from their parents.
Next, we look at how evidence M = T, entered by setting l(M) = (1;0), can be
propagated through the network. First, the message lM(A) is computed and sent up
to A. l(A) and in turn Bel(A) are then recomputed, and new messages sent to A’s
parents via lA(B) and lA(E), and to its other child J via pJ(A).
These new messages allow Bel(B), Bel(E) and Bel(J) to be recomputed, and
the final message lJ(P) computed and sent from J to P. The last computation is the
updating of Bel(P). Note that the minimum number of propagation steps for this
evidence example is three, since that is the distance of the furthest node P from the
evidence node M.
3.3.3 Algorithm features
All the computations in the message passing algorithm are local: the belief updating
and new outgoing messages are all computed using incoming messages and the parameters.
While this algorithm is efficient in a sense because of this locality property,
and it lends itself to parallel, distributed implementations, we can see that there is a
summation over all joint instantiations of the parent nodes, which is exponential in
the number of parents. Thus, the algorithm is computationally infeasible when there
are too many parents. And the longer the paths from the evidence node or nodes, the
more cycles of data propagation must be performed to update all other nodes.
Note also that in the presentation of this algorithm, we have followed Pearl’s presentation
(1988) and normalized all the messages. This is a computational overhead
that is not strictly necessary, as all the normalizing can be done when computing the
marginals (i.e., when computing Bel(xi)). The normalization constants, a, are the
same for all the marginals, being the inverse of the probability P(E), the computation
of which is often useful for other purposes.
3.4 Inference with uncertain evidence
Thus far we have assumed that any evidence is a direct observation of the value of
a variable that will result in the belief for a node being set to 1 for that value and
0 for all other values. This is the specific evidence described in x2.3.2, which is
entered in the message passing algorithm as a vector with a 1 in the position of the
evidence value and 0 in the other positions. Once specific evidence is entered for a
node, the belief for that node is “clamped” and doesn’t change no matter what further
information becomes available.
However, the inference algorithms should also be able to handle evidence that
has uncertainty associated with it, as in Jeffrey conditionalization (Definition 1.5). In
our earthquake example, suppose that after you get a call from your neighbor Mary
saying she has heard your alarm going off, a colleague who is in your office at the
time says he thinks he heard earlier on the radio that there was a minor earthquake in
your area, but he is only 80% sure.
We introduced this notion very briefly in x2.3.2, where we mentioned that this
sort of evidence is called “virtual” evidence or “likelihood” evidence. We deferred
further explanation of these terms until here, as they relate to how inference is performed.
Some of the major BN software packages (e.g., Netica, Hugin, GeNIe and
BayesiaLab) provide the facility for adding likelihood evidence, as well as specific
and negative evidence. In fact, we describe how to enter likelihood evidence in both
Netica and Hugin in Figure 3.19. In our opinion, the explanations of this sort of evidence
in both the literature and available software documentation are confusing and
incomplete. It is important for people using this feature in the software to understand
how likelihood evidence affects the inference and also how to work out the numbers
to enter.
First, there is the issue of how to interpret uncertainty about an observation. The
uncertain information could be represented by adopting it as the new distribution
over the variable in question. This would mean for the earthquake node somehow
setting Bel(Earthquake = T) = 0:8. However, we certainly do not want to “clamp”
this belief, since this probabilistic judgement should be integrated with any further
independent information relevant to the presence of an earthquake (e.g., the evidence
about Mary calling).
3.4.1 Using a virtual node
Let’s look at incorporating an uncertain observation for the simplest case, a single
Boolean node X, with a uniform prior, that is P(X=T)=P(X=F)=0.5. We add a virtual
node V, which takes values fT;Fg,1 as a child of X, as shown in Figure 3.5.The uncertainty in the observation of X is represented by the CPT; for an 80% sure observation this gives.Now
specific evidence is entered that V = T. We can use Bayes’ Theorem to perform the inference, as follows

Kết quả (Việt) 1:

TUYÊN TRUYỀN, KHÔNG CÓ BẰNG CHỨNGTuyên truyền, bằng chứng cho nút MHÌNH 3.4: Tin nhắn đi qua thuật toán tuyên truyền giai đoạn mà không có bằng chứng(ở trên) và với các bằng chứng cho nút M (dưới đây).Đầu tiên, trước khi bất kỳ bằng chứng được nhập, thông số khác nhau được khởi tạo: p(B),p(E), p(P), từ priors, và l(J), l(M) với (1,1) như các nút lá không có bằng chứng.Trong thời gian này tuyên truyền trước khi chứng cứ, tất cả các thư chẩn đoán (các ltin nhắn) sẽ là vector đơn vị. Chúng tôi có thể nhìn thấy từ các phương trình Cập Nhật mà chúng tôichỉ nhân bởi các thư này, do đó, cách nhân vector đơn vị sẽ không thay đổibất kỳ tham số khác hoặc tin nhắn. Vì vậy, chúng tôi sẽ không hiển thị các đơn vị vector l tin nhắntuyên truyền ở giai đoạn này.Sử dụng niềm tin Cập Nhật phương trình (3.1), Bel(B), Bel(E) và Bel(P) được tính,trong khi gửi mới tin nhắn pA(B), pA(E) và pJ(P) được tính bằng cách sử dụng(3.5) và gửi ra.Nút A đã nhận được tất cả các thư p của nó từ cha mẹ của nó, do đó, nó có thể Cập Nhật Bel(A)và tính toán riêng của mình thư p để vượt qua để trẻ em của nó J và M. Ở giai đoạn này,chúng tôi có thể Cập Nhật Bel(J), như nó đã chỉ nhận được một tin nhắn p p; Tuy nhiên, nó cóchưa nhận được một tin nhắn p từ A, vì vậy chúng tôi sẽ không làm điều đó chu kỳ này.Sau khi giai đoạn thứ hai tuyên truyền tin nhắn, Bel(J) và Bel(M) có thể được tính toán,như tất cả các thư p đã nhận được từ cha mẹ của họ.Tiếp theo, chúng tôi xem xét làm thế nào chứng cứ M = T, bắt đầu bằng cách đặt l(M) = (1; 0), có thểtuyên truyền thông qua mạng. Trước tiên, lM(A) thông báo tính toán và gửiA. l(A) và lần lượt Bel(A) sau đó là recomputed, và mới thư được gửi đến Acha mẹ thông qua lA(B) và lA(E), và để con của nó khác J thông qua pJ(A).Các thư mới cho phép Bel(B), Bel(E) và Bel(J) được recomputed, vàthông điệp cuối cùng lJ(P) tính và được gửi từ J để P. Tính toán cuối cùng là cácCập Nhật của Bel(P). Lưu ý rằng số lượng tối thiểu của tuyên truyền bước nàyVí dụ bằng chứng là ba, vì đó là khoảng cách xa nhất nút P từ cácbằng chứng nút M.3.3.3 thuật toán tính năngTất cả các tính toán trong các thuật toán thông qua tin nhắn được địa phương: niềm tin Cập Nhậtvà mới các thư gửi đi tất cả các tính toán bằng cách sử dụng các tin nhắn và các thông số.Trong khi thuật toán này là hiệu quả trong một ý nghĩa vì này bất động sản địa phương,và nó vay chính nó để triển khai song song, phân phối, chúng ta có thể thấy rằng có là mộtTổng kết trong tất cả các instantiations chung của các nút cha mẹ, mà là mũ tạisố cha mẹ. Vì vậy, các thuật toán là computationally infeasible khi cócó quá nhiều bậc cha mẹ. Và các đường dẫn từ bằng chứng nút hoặc nút, cácthêm chu kỳ tuyên truyền dữ liệu phải được thực hiện để cập nhật tất cả các nút khác.Cũng lưu ý rằng trong trình bày của thuật toán này, chúng tôi đã theo trình bày của Trân Châu(1988) và tất cả các tin nhắn được chuẩn hoá. Đây là một tính toán chi phíđó là không thực sự cần thiết, như tất cả các bình thường có thể được thực hiện khi máy tính cácmarginals (tức là, khi máy tính Bel(xi)). Hằng số chuẩn hóa, một, là cácgiống nhau cho tất cả các marginals, là nghịch đảo của P(E), những tính toán xác suấttrong đó thường là hữu ích cho các mục đích khác.3.4 kết luận với bằng chứng không chắc chắnVậy, đến nay chúng tôi đã giả định rằng bất kỳ bằng chứng là một quan sát trực tiếp của giá trị củamột biến sẽ dẫn đến niềm tin cho một nút thiết lập để 1 cho giá trị đó và0 cho tất cả các giá trị khác. Đây là bằng chứng cụ thể được mô tả trong x2.3.2, mà lànhập vào trong các thuật toán thông qua tin nhắn như một vector với một 1 ở vị trí của cácgiá trị bằng chứng và các 0 ở các vị trí khác. Một khi các bằng chứng cụ thể được nhập cho mộtnút, niềm tin cho nút đó "kẹp" và không thay đổi không có vấn đề gì hơn nữathông tin trở nên có sẵn.Tuy nhiên, suy luận thuật toán nên cũng có thể xử lý bằng chứng màcó sự không chắc chắn liên kết với nó, như trong Jeffrey conditionalization (định nghĩa 1.5). ỞVí dụ trận động đất, giả sử rằng sau khi bạn nhận được một cuộc gọi từ hàng xóm của bạn Marynói rằng cô đã nghe nói của bạn báo động đi tắt, một đồng nghiệp người trong văn phòng của bạn tại cácthời gian nói ông nghĩ ông nghe trước đó trên đài phát thanh đã có một trận động đất nhỏ ởkhu vực của bạn, nhưng ông là chỉ có 80% chắc chắn.Chúng tôi giới thiệu khái niệm này rất ngắn gọn ở x2.3.2, nơi chúng tôi đề cập đến rằng điều nàysắp xếp của các bằng chứng được gọi là "ảo" bằng chứng hoặc chứng cứ "khả năng". Chúng tôi trả chậmtiếp tục giải thích về các điều khoản này cho đến khi ở đây, vì họ liên quan đến cách suy luận được thực hiện.Một số gói phần mềm BN lớn (ví dụ như, Netica, Hugin, GeNIe vàBayesiaLab) cung cấp các thiết bị để thêm khả năng bằng chứng, cũng như cụ thểvà tiêu cực bằng chứng. Trong thực tế, chúng tôi mô tả làm thế nào để nhập khả năng bằng chứng trong cả haiNetica và Hugin trong con số 3,19. Theo ý kiến của chúng tôi, những lời giải thích của loại này của bằng chứngtrong văn học và phần mềm có sẵn tài liệu là khó hiểu vàkhông đầy đủ. Nó là quan trọng đối với người sử dụng tính năng này trong phần mềm để hiểulàm thế nào khả năng bằng chứng ảnh hưởng đến suy luận và cũng làm thế nào để làm việc ra những con sốđể nhập.Trước tiên, đó là vấn đề làm thế nào để giải thích sự không chắc chắn về một quan sát. Cáckhông chắc chắn thông tin có thể được biểu diễn bằng việc áp dụng nó như là phân phối mớiqua các biến trong câu hỏi. Điều này có nghĩa là cho nút trận động đất bằng cách nào đóthiết lập Bel(Earthquake = T) = 0:8. Tuy nhiên, chúng tôi chắc chắn không muốn "kẹp"niềm tin này, kể từ khi bản án xác suất này nên được tích hợp với bất kỳ hơn nữađộc lập các thông tin có liên quan đến sự hiện diện của một trận động đất (ví dụ như, bằng chứngvề Mary gọi).3.4.1 bằng cách sử dụng một nút ảoHãy xem xét kết hợp một quan sát không chắc chắn cho các trường hợp đơn giản nhất, một đĩa đơnBoolean nút X, với một trước khi thống nhất, đó là P (X = T) = P (X = F) = 0,5. Chúng tôi thêm một ảonút V, mất giá trị fT; FG, 1 khi còn bé X, như minh hoạ trong hình 3.5.The không chắc chắn trong các quan sát của X được đại diện bởi CPT; Đối với một sự quan sát 80% chắc chắn điều này cho. Bây giờbằng chứng cụ thể được nhập vào đó V = T. Chúng tôi có thể dùng định lý Bayes để thực hiện suy luận, như sau

Kết quả (Việt) 2:

Tuyên truyền, NO BẰNG CHỨNG
NHÂN GIỐNG, BẰNG CHỨNG cho nút M
Hình 3.4: tin nhắn qua giai đoạn tuyên truyền giải thuật cho không có bằng
chứng. (Ở trên) và có bằng chứng cho nút M (bên dưới)
Trước tiên, trước bất kỳ bằng chứng được nhập vào, các thông số khác nhau được khởi tạo: p (B ),
p (E), p (P), từ priors, và l (J), l (M) với (1,1) là các nút lá không có bằng chứng.
Trong tuyên truyền này trước khi bằng chứng, tất cả các thông điệp chẩn đoán ( l
tin nhắn) sẽ là vector đơn vị. Chúng ta có thể nhìn thấy từ phương trình cập nhật mà chúng ta
chỉ có nhân bằng những tin nhắn, do đó nhân với các vector đơn vị sẽ không thay đổi
bất kỳ thông số khác hoặc tin nhắn. Vì vậy, chúng tôi sẽ không hiển thị các đơn vị vector l tin
tuyên truyền ở giai đoạn này.
Sử dụng phương trình niềm tin cập nhật (3.1), Bel (B), Bel (E) và Bel (P) được tính toán,
trong lúc gửi mới thông pA (B), pA (E) và PJ (P) được tính bằng cách sử dụng
(3.5) và gửi ra ngoài.
Node A đã nhận được tất cả các thông điệp p của nó từ cha mẹ của nó, vì vậy nó có thể cập nhật Bel (A)
và tính toán các thông điệp p của riêng mình để đi xuống của nó con J và M. Ở giai đoạn này,
chúng tôi có thể cập nhật Bel (J), vì nó vừa nhận được tin nhắn ap từ P; Tuy nhiên, nó có
chưa nhận được thông báo ap từ A, vì vậy chúng tôi sẽ không làm điều đó chu kỳ này.
Sau giai đoạn tuyên truyền thông điệp thứ hai, Bel (J) và Bel (M) có thể được tính toán,
như tất cả các thư p đã được nhận được từ . họ cha mẹ
Tiếp theo, chúng ta nhìn vào cách chứng M = T, được nhập bởi thiết l (M) = (1; 0), có thể được
truyền đi qua mạng. Đầu tiên, thông điệp LM (A) được tính toán và gửi lên
để A. l (A) và lần lượt Bel (A) sau đó được tính toán lại, và tin nhắn mới gửi đến A của
cha mẹ qua la (B) và La (E), và để con khác của nó J qua PJ (A).
Các thông điệp mới cho phép Bel (B), Bel (E) và Bel (J) được tính toán lại, và
các thông điệp cuối cùng LJ (P) tính toán và gửi từ J đến P. tính toán cuối cùng là
cập nhật của Bel (P). Lưu ý rằng số lượng tối thiểu các bước tuyên truyền cho việc này
ví dụ bằng chứng là ba, vì đó là khoảng cách của nút P xa từ
nút bằng chứng M.
3.3.3 Thuật toán tính năng
Tất cả các tính toán trong tin nhắn qua thuật toán là địa phương: việc cập nhật tin
tin nhắn đi mới là tất cả tính toán sử dụng các thư đến và các thông số.
Trong khi thuật toán này là hiệu quả trong một ý nghĩa vì tài sản địa phương này,
và nó vay chính nó để song song, triển khai phân phối, chúng ta có thể thấy rằng có một
tổng trên tất cả các khởi tạo doanh các nút phụ huynh, đó là mũ trong
số các bậc cha mẹ. Như vậy, thuật toán là tính toán khả thi khi có
quá nhiều phụ huynh. Và còn những con đường từ nút bằng chứng hoặc các nút, các
chu kỳ hơn về truyền dữ liệu phải được thực hiện để cập nhật tất cả các nút khác.
Cũng cần lưu ý rằng trong các bài thuyết trình của thuật toán này, chúng tôi đã theo trình bày của Pearl
(1988) và bình thường hóa tất cả các thông điệp . Đây là một chi phí tính toán
đó không phải là thực sự cần thiết, như tất cả các bình thường có thể được thực hiện khi tính toán
marginals (tức là, khi tính toán Bel (xi)). Các hằng số bình thường, một, là
giống nhau cho tất cả các marginals, là nghịch đảo của xác suất P (E), các tính toán
trong đó thường là hữu ích cho các mục đích khác.
3.4 Suy diễn với bằng chứng chắc chắn
Như vậy đến nay, chúng tôi đã giả định rằng bất kỳ bằng chứng là một quan sát trực tiếp các giá trị của
một biến mà sẽ dẫn đến niềm tin cho một node được thiết lập để 1 cho giá trị đó và
0 cho tất cả các giá trị khác. Đây là bằng chứng cụ thể được mô tả trong x2.3.2, được
nhập vào thông qua thuật toán như là một véc tơ với một số 1 vào vị trí của
giá trị chứng cứ và 0 ở các vị trí khác. Khi bằng chứng cụ thể được nhập vào cho một
node, niềm tin cho nút đó là "kẹp" và không thay đổi không có vấn đề gì thêm
thông tin.
Tuy nhiên, các thuật toán suy luận cũng sẽ có thể xử lý bằng chứng cho thấy
có sự không chắc chắn liên kết với nó, như trong Jeffrey conditionalization (Định nghĩa 1.5). Trong
ví dụ trận động đất của chúng tôi, giả sử rằng sau khi bạn nhận được một cuộc gọi từ người hàng xóm của bạn Mary
nói rằng cô đã nghe báo thức của bạn đi ra, một người đồng nghiệp trong văn phòng của bạn tại
thời điểm nói ông nghĩ rằng ông đã nghe trước đó trên đài phát thanh rằng đã có một trận động đất nhỏ trong
khu vực của bạn, nhưng anh chỉ là 80% chắc chắn.
Chúng tôi giới thiệu khái niệm này rất ngắn gọn trong x2.3.2, nơi mà chúng tôi đã đề cập rằng đây
loại bằng chứng được gọi là bằng chứng "ảo" hay "khả năng" bằng chứng. Chúng tôi hoãn lại
giải thích thêm về những điều khoản cho đến khi ở đây, có liên quan đến cách suy luận được thực hiện.
Một số các gói phần mềm BN lớn (ví dụ như, Netica, Hugin, Genie và
BayesiaLab) cung cấp cơ sở cho việc thêm khả năng chứng cứ, cũng như cụ thể
và bằng chứng tiêu cực. Trong thực tế, chúng tôi mô tả làm thế nào để vào khả năng chứng trong cả
Netica và Hugin trong hình 3.19. Theo ý kiến của chúng tôi, những lời giải thích của các loại chứng cứ này
trong cả văn học và tài liệu phần mềm có sẵn là khó hiểu và
không đầy đủ. Điều quan trọng cho người sử dụng tính năng này trong phần mềm để hiểu là
như thế nào khả năng chứng ảnh hưởng đến suy luận và cũng làm thế nào để làm việc ra những con số
để nhập.
Đầu tiên, đó là vấn đề làm thế nào để giải thích sự không chắc chắn về một sự quan sát. Các
thông tin không chắc chắn có thể được biểu diễn bằng cách áp dụng nó như là phân phối mới
trên các biến trong câu hỏi. Điều này có nghĩa là cho các nút trận động đất bằng cách nào đó
thiết lập Bel (Earthquake = T) = 0: 8. Tuy nhiên, chúng tôi chắc chắn không muốn "kẹp"
niềm tin này, kể từ khi bản án xác suất này nên được kết hợp với bất kỳ thêm
thông tin độc lập có liên quan đến sự hiện diện của một trận động đất (ví dụ, bằng chứng
về sự kêu gọi Mary).
3.4.1 Sử dụng một nút ảo
Chúng ta hãy nhìn vào kết hợp một quan sát không chắc chắn cho trường hợp đơn giản, một đơn
Boolean nút X, một bộ quần áo trước, đó là P (X = T) = P (X = F) = 0,5. Chúng tôi thêm một ảo
nút V, trong đó có giá trị ft; Fg, 1 là con của X, như thể hiện trong hình 3.5.The không chắc chắn trong việc quan sát X được biểu diễn bởi CPT; cho một quan sát chắc chắn 80% gives.Now này
bằng chứng cụ thể được nhập vào đó V = T. Chúng ta có thể sử dụng định lý Bayes 'để thực hiện các suy luận, như sau