Le Toit Familial s’est rendu acquéreur des cinq hectares occupés par le château et le parc, par l’entremise du CIL. La démolition du château Huet intervient en avril 1951, elle est effectuée avec le souci de préserver les grands arbres de la propriété. Le permis de construire est délivré le 21 novembre 1951. Huit grands immeubles parés de briques rouges sont édifiés, qui porteront des noms d’oiseaux : la mésange, la chanterelle, la grive, le bouvreuil, le bruant, la bergeronnette, le pinson et le rossignol.
A la fin de l’année 1953, le vieux mur triste qui enserrait la propriété a été en partie abattu, laissant ainsi apparaître les nouveaux immeubles, entourés d’arbres et de verdure. Une partie du parc a été réappropriée en jardin d’enfants, c’est le futur square de la Potennerie. En juillet 1953, il est procédé à l’inauguration du jardin du square Destombes, puis de celui de la Potennerie. Les officiels visitent les deux lieux sous la conduite de M. Bernard, chef des jardins et plantations de la ville.
Le 24 janvier 1954, le groupe de la Potennerie propose 152 nouveaux logements à la location, alors qu’une partie du parc a été réappropriée en square avec jeux d’enfants.
