Il y eut à Grambois trois châteaux successifs. Du premier, il ne reste aucune trace; du second, on sait qu'il était une grande maison, située entre la Place, la rue allant au Portail Neuf et une ruelle conduisant au four. Il s'effondra en 1553. Le troisième château est l'actuel corps de bâtiment situé sur la Place, qui abrite une habitation et l'ancien presbytère.

L'aménagement de cette ancienne demeure seigneuriale date de la fin du XVIe siècle. Les guerres de religion font rage et le village entreprend de réaménager son front est, vulnérable. Jean de Gautier, seigneur de Grambois, qui supervisait les travaux, en profite alors pour faire main basse sur l'ancienne maison claustrale, inhabitée et délabrée, et les quelques maisons et cabanons qui confrontaient l'enceinte et l'église. A la place du pâté de maison, il fait bâtir son château, qu'il choisit de singulariser par la belle tour d'angle ronde. Sur l'arrière, des jardins en terrasse sont aménagés; le tout est terminé en août 1590.

Vers 1730, Michel-Jules de Roquesante, seigneur de Grambois fit refaire la façade telle qu'on la voit aujourd'hui (porche et hautes fenêtres arrondies). Le château resta ainsi aux mains des Roquesante, puis passa à la Révolution dans celles des Cornarel, leurs descendants, jusqu'à la fin du XIX^e siècle. C'est après cette date que la demeure est lotie en deux habitations, dont l'une, jouxtant l'église, servit de presbytère jusqu'en 1994. Une partie est propriété privée et ne se visite pas.