Érigé dans le comté de Rockbridge ca. 1815Clifton était à l'origine la résidence du Maj. John Alexander, un vétéran de la guerre de 1812 qui a été membre du conseil d'administration du Washington College (aujourd'hui Washington and Lee University à Lexington) de 1812 à 1853. La veuve d'Alexander a vendu Clifton à l'avocat William Preston Johnston de Louisville, au Kentucky, qui a été l'aide de camp du président confédéré Jefferson Davis pendant la guerre de Sécession. Invité par Robert E. Lee à rejoindre la faculté du Washington College, Johnston a été professeur titulaire jusqu'à 1872. Alors qu'il réside à Clifton, Johnston rédige une biographie de son père, le général confédéré Albert Sidney Johnston. John Johnston a ensuite été le premier président de l'université de Tulane. Sur une colline surplombant la Maury River, l'imposante maison avec sa corniche en briques moulées est un exemple caractéristique d'une propriété de la noblesse de la région. Le portique à deux niveaux de Clifton, un ajout de la fin du siècle 20, a été conçu par l'architecte Thomas W. S. Craven.