Rivermont, achevé en 1852, était la résidence du juge William Daniel, Jr, l'un des principaux citoyens de Lynchburg au 19e siècle. La villa néo-grecque a été orientée de manière à offrir une vue sur le fleuve James et la ville. Lors de la construction de la maison, les entrepreneurs Bailey et Lanahan ont adapté des détails de l'ouvrage The American Architect de William Ranlett, notamment le porche d'entrée avec ses chapiteaux de la Tour des vents. Après la guerre civile, l'homme d'affaires et ingénieur civil Major Edward S. Hutter a acquis Rivermont. Hutter a suivi l'exemple du juge Daniel en développant le quartier de Daniel's Hill autour de la maison, et la société Rivermont qu'il a créée par la suite était considérée comme la première société de développement foncier de la ville à la fin du 19e siècle.