Le projet de la construction d’un asile d’aliénés date de 1821, à l’initiative du département de la Charente-Inférieure.

A la fin des travaux, en novembre 1829, c’est le médecin Pierre Samuel Toussaint Fromentin-Dupeux qui en est le directeur, ayant conçu les plans avec l’architecte Antoine Brossard.

De 1860 jusqu’en 1890, plusieurs agrandissements sont réalisés, en dortoirs selon l’architecte Antoine Massiou, en pavillons, puis est acquise la ferme où sera construit « Le Château ».

Les aliénés paient pension, voire très forte pension selon … mais un pavillon accueille des enfants indigents.

En septembre 1941, les militaires allemands s’installent dans les lieux et transforment certains bâtiments en prison. Suivront, entre 1945 et 1949, les troupes américaines. Puis, l’hôpital départemental est rattaché à l’hôpital général. Après avoir compté plus de 1 100 malades en 1939, aujourd’hui il dispose de 250 lits d’hospitalisation.