在强化学习中，我们通常将问题分为两类：控制问题和评估问题。

  控制问题旨在寻找一种策略，使得智能体能够在与环境的交互中获得最大的累积奖励。这种问题通常涉及到动态决策过程，智能体需要根据当前的状态和环境的反馈来选择最优的动作。控制问题的目标是学习一个最优策略，使得智能体能够在长期中最大化累计奖励。

  评估问题的目标是衡量一个给定策略的好坏。我们需要给定一个策略，然后通过模拟或者其它方法估计该策略的性能。评估问题可以帮助我们比较不同策略的优劣，选择最优的策略。

  在强化学习中，一般我们首先解决评估问题，即从给定的策略中评估其性能；然后再解决控制问题，即寻找最优的策略。评估问题与控制问题的求解方法有所不同。评估问题通常可以使用各种基于模型的或模型无关的方法来估计策略的价值函数，如蒙特卡洛方法和时间差分学习算法。而控制问题则需要使用方法来选择最优的动作，例如基于值函数的方法（如Q-learning）或者基于策略的方法（如策略梯度方法）。

  总而言之，控制问题和评估问题是强化学习中两个重要的问题，控制问题关注如何找到最优策略，而评估问题关注如何衡量策略的性能。这两个问题一起构成了强化学习的核心挑战。