Marc-Antoine Thierry acquiert en 1775 l'ancien manoir de la Brosse. Très fortuné, il fait démolir la plupart des anciens bâtiments et édifier en 1776 le Château tel qu'on peut en voir aujourd'hui le corps principal.
Mais à l'origine, le bâtiment principal comportait des dépendances dont la plupart ont disparu : une chapelle où le baron maria sa fille en 1777, une salle de spectacles où le Roi Louis XVI vint assister à une représentation théâtrale donnée par les comédiens du Roi, une orangerie, une ferme, des communs et des écuries. Seule subsiste la gendarmerie de chasse, qui accueille aujourd'hui l'Ecole Nationale de Musique et de Danse.
Thierry achète de nombreux terrains pour agrandir son domaine qui s'étend le long des rues de Saint-Cloud et de Sèvres jusqu'au parc de Lesser actuel. Il crée des jardins, des bassins et des jeux d'eau dans ce vallon humide où la « rivière anglaise » en rappelle le souvenir.
Après la disparition du Baron Thierry, sa veuve doit vendre le domaine qui sera en partie démembré au XIXème siècle. Le Château est loué par appartements. En 1854, il devient la propriété de Paul Cocteau qui vend une partie du terrain au flanc de la colline, au baron Yvelin de Béville pour édifier un bel hôtel particulier.
En 1871, le Château de Thierry est acquis par Madame Paul Lelong, veuve de l'architecte de la Banque de France, qui fait mettre son monogramme P. L. au fronton de la grille ouvrant sur le carrefour de l'église. Cette grille donne aujourd'hui accès au parking sous le collège.
Le Château est converti en hôpital militaire pendant la première guerre mondiale et occupé par les troupes allemandes pendant la seconde. L'ancien hôtel Béville est occupé par l'Etat-major responsable de la batterie anti-aérienne implantée au sommet de la Brosse. Les bombardements épargneront ces deux édifices, mais l'hôtel Béville sera démoli dans les années 70 pour laisser place à la résidence de la Brosse au 16 rue de Marnes.
C'est en 1969 que la commune acquiert le Château et ce qui reste de son parc, pour édifier un collège dans la partie basse. Le collège « La Fontaine du Roy » est construit et inauguré en 1975.
La gendarmerie de chasse accueille le Conservatoire depuis 1972 et le Château est ouvert aux activités culturelles et officielles : expositions, réunions du conseil municipal, concerts, classes de musique...
L'escalier est classé monument historique et la grille d'entrée est inscrite à l'Inventaire supplémentaire.
DCP
Textes extraits du livre Ville-d'Avray, Cinq siècles d'Histoire édité par la Société des Amis du Musée, en vente à la Mairie.