La partie la moins connue du site est un domaine seigneurial édifié à partir du XVIe siècle et qui a sans cesse été agrandi et remanié au fil du temps. Le Domaine comporte un château dont les parties encore visibles aujourd'hui ont été construites entre le XVIe et le XIXe siècle. Il est entouré de nombreux bâtiments tels qu'un logis porte et un pigeonnier monumental du XVIe siècle, une immense grange, une ancienne orangerie, une chapelle néo-gothique et une fabrique du XIXe siècle.

Depuis 1967, le Domaine de Pescheray appartient, suite à une donation, au Secours Catholique, qui y a développé des oeuvres sociales. Il permet à 70 personnes handicapées d'être en situation de travail dans des conditions adaptées à leurs capacités.