Marmion était le siège du comté de King George des Fitzhugh, une importante famille de propriétaires terriens de la colonie. Une étude dendrochronologique réalisée au début du 21e siècle a permis d'établir que la maison actuelle a été construite en 1758. Bien qu'il paraisse simple et peu raffiné, son salon lambrissé, aujourd'hui exposé au Metropolitan Museum of Art, est l'une des pièces coloniales les plus élégantes d'Amérique. Les autres intérieurs sont plus simples et plus typiques de l'époque. La cheminée sud présente le seul exemple connu en Virginie de briques à linteau entièrement vitré. Les dépendances d'origine, qui forment un quadrilatère autour de la maison, comprennent une cuisine, un bureau/magasin de plantation, une laiterie et un fumoir. Marmion a été vendu par les Fitzhughs ca. 1785 à George Lewis, fils de Fielding Lewis de Kenmore dans la ville de Fredericksburg. Marmion a appartenu aux descendants de Lewis jusqu'à 1977 et a depuis fait l'objet d'une restauration minutieuse.