Col Alto, l'une des nombreuses grandes résidences anciennes entourant le centre-ville de Lexington, a été achevée en 1827 pour James McDowell, gouverneur de Virginie de 1847 à 1849. La conception de la structure néo-classique est attribuée à Samuel McDowell Reid, un architecte amateur qui était le cousin de McDowell. Typique des premières maisons de style élevé de la région, Col Alto présente des détails classiques généreux, mis en valeur par un fin travail de brique. En 1898, Col Alto a été acheté par Henry St. George Tucker, doyen de la Washington and Lee University Law School et plus tard président en exercice. Tucker a également siégé au Congrès de 1921 à 1932. La fille de Tucker, Rosa Tucker Mason, qui a acquis Col Alto en 1932, a demandé à l'architecte new-yorkais William Lawrence Bottomley de concevoir une impressionnante véranda de style palladien. Mason a également chargé l'architecte paysagiste Rose Greely d'aménager le terrain. À la fin du 20e siècle, la propriété du Col Alto faisait partie d'un ensemble d'auberges.