Le patriote révolutionnaire Carter Henry Harrison était le premier propriétaire de Clifton. En tant que membre du Comité de sécurité de Cumberland, Harrison rédige les instructions pour une déclaration d'indépendance de "toute allégeance à sa Majesté britannique", présentée à la Convention de Virginie de mai 1776. La convention a été l'une des premières à se prononcer ouvertement en faveur de l'indépendance des États-Unis. Clifton faisait à l'origine partie d'une concession léguée à Thomas Randolph en 1723 par son grand-père Robert ("King") Carter. Datant du milieu des années1700, le manoir du comté de Cumberland est un excellent exemple de la formalité architecturale qui pouvait être atteinte dans l'architecture géorgienne en utilisant une construction en bois. Le bois était souvent préféré à la maçonnerie car les maisons en bois avaient tendance à être moins humides. La maison conserve son bardage mouluré d'origine et une belle suite de pièces lambrissées. Les pièces de Clifton sont dotées de cheminées néo-grecques plus tardives, copiées sur le Practical House Carpenter d'Asher Benjamin (1830).