（1）时序差分学习结合了动态规划与蒙特卡洛方法的思想
动态规划是这样迭代的，需要了解环境的dynamic才能求均值： 蒙特卡洛是这样增量式迭代的，只需要经验片段就可以： 而TD是这样迭代的：
（2）TD算法的V(S)的具体估计方法 ：
直接用经验片段来估计。 最开始对每一个状态的价值V进行初始化(可以是随机初始化)。随后在环境中交互，每一次和环境交互得到的四元组 都可以用这个式子 来更新之前对当前状态的估计。 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
如果大家喜欢这篇文章的话，希望大家收藏、转发、关注、评论、点赞，转载请注明出自这里。 PS：本随笔属个人学习小结，文中内容有参考互联网上的相关文章。如果您博文的链接被我引用，我承诺不会参杂经济利益；如果有版权纠纷，请私信留言。其中如果发现文中有不正确的认知或遗漏的地方请评论告知，谢谢！ 还是那句话：不是我喜欢copy，是站在巨人的肩膀上~~
