La demeure acquit ses lettres de noblesse au XVIe siècle, lorsque le duc d’Epernon, alors colonel général de l’infanterie française et favori d’Henri IV, en fit son pavillon de chasse, non loin de son château de Cadillac, « le Fontainebleau de l’Aquitaine ».
Puis au milieu du XVIIe siècle, comme le montre la belle fresque murale située à l’intérieur de la tour, le château fut le théâtre et le témoin d’une période de fronde dont le point culminant reste le massacre des villageois dans l’église de Camblanes.
Le Château retrouva ensuite sa vocation agricole et passa de propriétaire en propriétaire au fil des siècles. Comme l’atteste le Feret de 1868, le Château Lagarette était l’un des plus importants vignobles de la région et produisait près de 70 tonneaux d’un vin « rare et précieux ». Au début du XXe siècle, il devint un temps le « Château Jullien », du nom de son illustre propriétaire, un journaliste proche d’Edouard Herriot. Avant de retrouver son nom originel au milieu des années 60, acquis par un médecin rentré d’Afrique, dernier propriétaire avant nous.