James Monroe, sénateur américain, gouverneur de Virginie, ministre auprès de la France, de l'Angleterre et de l'Espagne, et cinquième président des États-Unis, a acheté cette ferme, initialement nommée Highland, en 1793. Il a achevé la maison sur 1799. L'ami et mentor de Monroe, Thomas Jefferson, a choisi l'emplacement de la maison, à proximité de Monticello, la résidence de Jefferson. Monroe appelait cette maison sa "cabane de château". La famille Monroe a quitté Highland en 1823; elle a été vendue en 1826. Ouverte comme musée par le philanthrope Jay Winston Johns, cette propriété du sud du comté d'Albemarle appartient aujourd'hui au College of William and Mary et commémore la résidence de Monroe dans cette région.

Les travaux archéologiques menés sur le site connu aujourd'hui sous le nom de James Monroe's Highland ont révélé, à l'adresse 2016, que la résidence des Monroe n'était pas l'aile arrière de l'habitation principale qui se trouve actuellement sur la propriété. L'aile arrière était plutôt une maison d'hôtes du début du19ème siècle, utilisée par les visiteurs pendant le mandat présidentiel de Monroe, et agrandie par la suite.  La résidence principale d'Ash Lawn-Highland, plus grande et datant de la période Monroe, a probablement été détruite par un incendie entre le milieu des années1830et le début des années 1850.