L’histoire du vieux bâtiment comporte successivement comme pour l’église, une période faste et une autre plus difficile.

Avec l’occupation constante du château pendant trois siècles par la famille d’Angennes (1384 – 1699), puis par Fleuriau d’Armenonville, l’église connut certaines transformations nécessitées tant par l’obligation d’assurer un entretien chronique que par le besoin de tenir compte de l’accroissement progressif des fidèles.

Le presbytère qui n’avait été tout d’abord qu’une construction réduite à l’arrière de l’église subit à son tour cette évolution.
Une rente de 1 000 livres que lui fit le comte de Toulouse permit à la cure de Rambouillet de devenir une des plus riches du diocèse de Chartres.

La superficie du terrain de forme irrégulière correspondait à près de 52 ares, composé d’une grosse exploitation rurale avec verger, potager et treille. Comme indiqué actuellement, au-dessus de la porte d’entrée, ce bâtiment a été le presbytère de l’ancienne église Saint- Lubin jusqu’en 1789.

Le 16 juillet 1796 eut lieu la vente de l’ancienne structure avec cour, jardin et dépendances moyennant 144 000 F. C’est le sieur Pillois qui acheta cette propriété mais il eut vite quelques démêlés avec les membres de la paroisse.

Cet édifice datant du XVIIIe siècle, devenu une auberge après la Révolution, fut ensuite transformé en pensionnat dans la seconde moitié du XIXe siècle. Il a ensuite été successivement utilisé par plusieurs commerces.