Peux t'on récupérer un meeple ?

Hey ! La question est dans le titre, peux t'on enlever un meeple de son emplacement ? Par exemple un château où l'on a aucune chance d'avoir la majorité, peux t'on les récupérer dans sa réserve avant la fermeture dudit château ?