La partie la plus ancienne de la maison en deux parties de Castle Hill est une habitation coloniale traditionnelle à ossature en Virginie, construite en 1764 par le Dr Thomas Walker, chef colonial et explorateur de l'Ouest. Ici, à 1781, la femme de Walker a retardé le colonel britannique Banastre Tarleton pour donner au patriote Jack Jouett le temps d'avertir Thomas Jefferson et les législateurs de Virginie du projet de Tarleton de les capturer. L'imposante partie en briques, exemple du classicisme jeffersonien du maître d'œuvre John M. Perry, a été érigée en 1823-24 pour William Cabell Rives, ministre en France, sénateur américain et membre du Congrès confédéré. Des vérandas à colonnes ont été ajoutées en 1844 par William B. Phillips. La petite-fille de Rives, Amélie, épouse du peintre russe Prince Pierre Troubetzkoy, était romancière et dramaturge. Elle et son mari ont élu domicile à Castle Hill dans les premières décennies du 20e siècle. Castle Hill, situé dans le Southwest Mountains Rural Historic District du comté d'Albemarle, est également connu pour ses vastes jardins et ses terrains aménagés.