Abstract. Reinforcement learning po

Abstract. Reinforcement learning policies face the exploration versus exploitation dilemma, i.e. the search for a balance between exploring the environment to find profitable actions while taking the empirically best action as often as possible. A popular measure of a policy’s success in addressing this dilemma is the regret, that is the loss due to the fact that the globally optimal policy is not followed all the times. One of the simplest examples of the exploration/exploitation dilemma is the multi-armed bandit problem. Lai and Robbins were the first ones to show that the regret for this problem has to grow at least logarithmically in the number of plays. Since then, policies which asymptotically achieve this regret have been devised by Lai and Robbins and many others. In this work we showthattheoptimallogarithmicregretisalsoachievableuniformlyovertime,withsimpleandefficientpolicies, and for all reward distributions with bounded support.

Kết quả (Việt) 2:

Tóm tắt. Chính sách củng cố việc học phải đối mặt với việc thăm dò khai thác so với tiến thoái lưỡng nan, tức là việc tìm kiếm một sự cân bằng giữa khám phá môi trường fi nd pro hành bảng fi trong khi thực hiện hoạt động theo kinh nghiệm tốt nhất là thường xuyên càng tốt. Một biện pháp phổ biến của sự thành công của chính sách trong việc giải quyết tình trạng khó xử này là hối tiếc, đó là sự mất mát do thực tế là chính sách tối ưu trên toàn cầu không được thực hiện tất cả các lần. Một trong những ví dụ đơn giản nhất của tiến thoái lưỡng nan thăm dò / khai thác là vấn đề tên cướp đa vũ trang. Lai và Robbins là những người đầu tiên fi để thấy hối tiếc cho vấn đề này phải tăng trưởng ít nhất loga trong số lượt. Kể từ đó, các chính sách mà tiệm đạt được hối tiếc này đã được nghĩ ra bởi Lai và Robbins và nhiều người khác. Trong công việc chúng tôi này và cho tất cả các bản phân phối phần thưởng với sự hỗ trợ giới hạn.