Faisant autrefois partie d'une ferme laitière prospère qui desservait Fredericksburg et ses environs, Elmhurst a été construit en 1871, avec des ajouts en 1900 et dans les années 1910. Bien qu'aucun des autres bâtiments laitiers n'ait survécu, la maison représente toujours la période de transition dans le comté de Spotsylvania après la guerre civile, lorsque l'économie agricole s'est diversifiée à la suite de la perte de main-d'œuvre. Elmhurst était la maison de Washington Elms et de sa famille, des fermiers venus de New York en Virginie. Après sa mort en 1895, la famille Elms a poursuivi l'exploitation laitière jusqu'en 1907, date à laquelle elle a vendu la propriété à C.W. Jones, un homme d'affaires populaire de Fredericksburg. Jones a apporté quelques modifications à la maison de style italianisant, notamment à son impressionnant porche avant, mais a poursuivi l'exploitation de la laiterie jusqu'à 1933. À ce moment-là, la propriété a été subdivisée en lots résidentiels, reflétant la croissance rapide de la ville de Fredericksburg. Elmhurst a subi d'importantes modifications dans les années 1980, mais au moment de son inscription dans les registres, il avait été réhabilité avec sensibilité et était à nouveau un exemple de ce style architectural relativement peu courant à Fredericksburg.