Au XIIIème siècle, Rouffillac était un fort avancé, dominant la Dordogne, dépendant de son très puissant voisin le château de Carlux et faisait partie intégrante du Vicomté de Turenne ( Pierre de Rouffillac était cité comme damoiseau de Carlux). La bâtisse souffrit à plusieurs reprises de la guerre de Cent ans et des guerres entre catholiques et protestants, très virulentes en Périgord. Au XVIIème siècle, on sait que Rouffillac était la propriété des Faure de Rouffillac. Il est avéré que Rouffillac relevait de la chatellerie de Carlux appartenant au XVIIème siècle aux Coustin de Bourzolles et était mouvante de la Vicomté de Turenne détenue par les Latour d’Auvergne, ducs de Bouillon, princes de Sedan. Vers 1737, l’organisation féodale de la région se modifia profondément : les Coustin de Bourzolles perdirent leurs biens, vendus à Adrien de Noailles qui put alors constituer le Duché d’Agen. Rouffillac a donc été mouvant du Duc de Noailles, une des maisons les plus puissantes de France au XVIIIème siècle. A la Révolution, le domaine est occupé par les Dames de la Foi de Sarlat. Il fut alors vendu par la Nation et devint la propriété de la famille de Montmeja, médecins et avocats sarladais. Au XIX siècle, le repaire noble fut transformé par Arthur de Montmeja. Tout en l’agrandissant, il a donné à Rouffillac l’aspect d’un charmant château Renaissance, sur le modèle d’un des plus beaux châteaux de la Loire. A sa mort, le professeur Pierre-Paul Grassé, académicien des sciences, éminent zoologiste, en fit l’acquisition et sauva le château en état d’abandon. Le site de Rouffillac constitue un lieu stratégique sur le cours de la Dordogne, offrant des vues exceptionnelles sur la vallée et en particulier sur le château de Fénelon. La vallée de la Dordogne constitue un paysage remarquable, protégé au titre des sites.