Имеется дерево состояний (см. рисунок) со следующими характеристиками:
ρ(s2,ρ(s2, \rho(s_2, 7|s1,a1)=|s1,a1)= |s_1,a_1)= 0,5;ρ(s3,ρ(s3, \rho(s_3, 8|s1,a1)=|s1,a1)= |s_1,a_1)= 0,5;ρ(s4,ρ(s4, \rho(s_4, 6|s1,a2)=|s1,a2)= |s_1,a_2)= 0,4;ρ(s5,ρ(s5, \rho(s_5, 8|s1,a2)=|s1,a2)= |s_1,a_2)= 0,6.
Вычислить v∗(s1)v∗(s1) v_* (s_1) .
Справочно:v∗(s)=maxa∑s′,r′ρ(s′,r′|s,a)(r′+γv∗(s′)).v∗(s)=maxa⁡∑s′,r′ρ(s′,r′|s,a)(r′+γv∗(s′)). {v_*}(s) = \mathop {\max }\limits_a \sum\limits_{s',r'} {\rho \left( {\left. {s',r'} \right|s,a} \right)} \left( {r' + \gamma {v_*}\left( {s'} \right)} \right).