Surplombant les collines ondulantes du comté de Powhatan, le long de la rive sud de la rivière James, Elmington est une résidence à deux étages, trois travées et un sous-sol complet, construite en briques à cinq rangs, entre 1858 et 1859. Avec son toit à deux versants à l'italienne et son portique toscan placé au centre, la conception de la maison est le résultat d'une longue correspondance entre son propriétaire, Robert Kelso Dabney Jr, et le célèbre architecte américain Alexander Jackson Davis (1803-1892), qui a d'abord produit des dessins sur 13 pour le projet. Dabney ne construisit que l'aile est de la maison proposée ; il prévoyait de construire une aile ouest, une tour et une véranda semi-circulaire lorsque sa fortune et sa famille le justifieraient, mais la guerre de Sécession intervint. Après la guerre, Dabney a fait faillite et Elmington a été vendu à 1871. La maison telle que Davis l'avait conçue n'a donc jamais été achevée. Cependant, Elmington est l'une des cinq commissions domestiques exécutées en Virginie par Davis.