Now that we have the Softmax algori

Now that we have the Softmax algorithm fully described and implemented, we should
spend some time discussing what the temperature parameter tau does. It’s easiest to
think of tau as letting us shift the behavior of the Softmax algorithm along a continuum
defined by two extreme ways to select arms. At one extreme, we set tau = 0.0. This
will give us a fully deterministic choice of the arm that has the highest estimated value.
At the other extreme, we set tau = Inf, which gives us purely random exploration like
we got out of the epsilon-Greedy algorithm. The reason this tau parameter is called a
temperature parameter is that its effect on the selection of arms is like the effect of
temperatures on atoms in traditional physics: at low temperatures, atoms will behave
orderly and produce solids, but at high temperatures, they behavior randomly and will
produce gases. Like atoms, the Softmax algorithm at low temperatures behaves orderly,
while it behaves essentially randomly at high temperatures.

Kết quả (Việt) 1:

Bây giờ chúng tôi có các thuật toán Softmax mô tả và thực hiện một cách đầy đủ, chúng ta nêndành một số thời gian thảo luận về những gì tau tham số nhiệt độ nào. Nó là đơn giản nhất đểHãy suy nghĩ của tàu như cho phép chúng ta thay đổi hành vi của các thuật toán Softmax cùng một liên tụcđược xác định bởi hai cách cực để chọn vũ khí. Ở một cực, chúng tôi thiết lập tau = 0,0. Điều nàysẽ cung cấp cho chúng tôi một sự lựa chọn hoàn toàn xác định của cánh tay có giá trị ước tính cao nhất.Ở cực khác, chúng tôi thiết lập tau = Inf, mà cho chúng ta các thăm dò hoàn toàn là ngẫu nhiên nhưchúng tôi đã nhận ra của giải thuật tham lam epsilon. Lý do tham số tàu này được gọi là mộttham số nhiệt độ là hiệu ứng của nó trên việc lựa chọn vũ khí giống như tác dụng củanhiệt độ trên nguyên tử trong vật lý truyền thống: ở nhiệt độ thấp, nguyên tử sẽ cư xửchất rắn có trật tự và sản xuất, nhưng ở nhiệt độ cao, họ hành vi ngẫu nhiên và sẽsản xuất khí. Giống như nguyên tử, các thuật toán Softmax ở nhiệt độ thấp cư xử orderly,trong khi đó ứng xử cơ bản ngẫu nhiên ở nhiệt độ cao.

Kết quả (Việt) 2:

Bây giờ chúng ta có thuật toán softmax mô tả và thực hiện đầy đủ, chúng ta nên
dành thời gian thảo luận về những gì các thông số nhiệt độ tau không. Nó là dễ dàng nhất để
nghĩ về tau như cho phép chúng ta thay đổi hành vi của các thuật toán softmax cùng một sự liên tục
được xác định bởi hai cách cực đoan để chọn vũ khí. Ở một thái cực, chúng tôi thiết lập tau = 0,0. Điều này
sẽ cung cấp cho chúng ta một sự lựa chọn hoàn toàn xác định của cánh tay mà có giá trị ước tính cao nhất.
Ở cực khác, chúng tôi thiết lập tau = Inf, mà cho chúng ta thăm dò hoàn toàn ngẫu nhiên như
chúng tôi đã nhận ra của thuật toán epsilon-tham lam. Lý do tham số tau này được gọi là một
thông số nhiệt độ là tác động của nó về việc lựa chọn vũ khí cũng giống như tác dụng của
nhiệt độ trên các nguyên tử trong vật lý truyền thống: ở nhiệt độ thấp, các nguyên tử sẽ hành xử
có trật tự và sản xuất các chất rắn, nhưng ở nhiệt độ cao, họ hành vi ngẫu nhiên và sẽ
tạo ra khí. Cũng giống như nguyên tử, các thuật toán softmax ở nhiệt độ thấp ứng xử có trật tự,
trong khi nó cư xử cơ bản ngẫu nhiên ở nhiệt độ cao.