Initialement propriété de la famille de Cerjat, la maison passe aux mains de la maison d'Arnay au XVIIe siècle. En 1329, le bâtiment principal est relié à une annexe, plus petite, qui se trouvait au sud[1].
En 1755, Louise-Émilie d'Arnay naît dans la maison. Elle deviendra par la suite gouvernante de la reine de Suède Frédérique de Bade ; cette dernière, de passage à Moudon en 1816, viendra planter un rosier blanc et un saule pleureur sur la tombe de son ancienne gouvernante, comme le rappelle une plaque commémorative qui se trouve aujourd'hui dans l'église de Moudon[2]. La maison restera dans les mains de la famille d'Arnay jusqu'au XIXe siècle lorsqu'elle deviendra l'atelier d'un potier en 1827[1].
Le bâtiment est inscrit comme bien culturel suisse d'importance nationale[3]. Pendant longtemps, il a été le seul bâtiment historique de la rue du Château, qui comprend entre autres la tour de la Broye, la maison des États de Vaud ou encore le château du Rochefort, a ne pas bénéficier de ce statut[2]. La maison est particulièrement remarquable par son avant-toit en bois soutenu par un poteau en chêne de 1646 ; c'est cet avant-toit qui a donné, à tort, le surnom de « maison bernoise » à l'ensemble, alors qu'il se rapproche plus des constructions des Rues Basses permettant d'abriter des boutiques dans la ville de Genève que des fermes bernoises[4].
