John Wharton, un marchand maritime originaire du comté d'Accomack, a fait construire ce manoir fédéral peu après avoir acheté la propriété en 1798. Wharton fit de sa nouvelle maison le siège de ses divers intérêts commerciaux et maintint un débarcadère pour ses navires sur l'Assawoman Creek, à portée de vue de la maison. Avec ses proportions extérieures gracieuses, l'utilisation somptueuse de marbre et la richesse des plâtres et des boiseries à l'intérieur, Wharton Place est l'un des exemples les plus remarquables du style fédéral en Virginie, même si son environnement rural isolé lui confère une allure urbaine quelque peu inconfortable. Les cheminées garnies d'ornements de composition de style classique signés par Robert Wellford, de Philadelphie, sont particulièrement remarquables. Wellford fournit des ornements pour les belles demeures de toute la côte est. Ses dessins s'inspirent d'exemples anglais contemporains.