今回も数式に具体例を当てはめることで理解したつもりになっていくことにする．報酬が現在の状態のみで決まる場合()のBellman Equationは以下となる．を求めるにはが求まっている必要があり，の計算にはが必要で……という感じで，全ての値が計算済である必要…