Nommé d'après le landgraviat allemand, Hesse était le siège du comté de Mathews des Armistead, une famille coloniale dont les membres, par le biais du mariage, étaient les descendants ou les parents de presque toutes les grandes familles terriennes de Virginie. Des fouilles archéologiques ont révélé les fondations de la maison coloniale d'origine, qui a brûlé à 1798. Elle a été remplacée peu après par la structure en briques actuelle, érigée à quelques mètres de là. L'emplacement des deux maisons a probablement été choisi en raison de la vue impressionnante sur la baie de Godfrey, à l'embouchure de la rivière Piankatank. La maison actuelle, avec ses façades formelles à cinq baies et ses boiseries, illustre la persistance des formes géorgiennes traditionnelles dans les comtés de l'est de la Virginie pendant la période fédérale. Hesse a été méticuleusement restauré à la fin des années 1970; c'est à cette époque que les ailes à toit en bâtière ont été ajoutées.