Le lieutenant-général confédéré Ambrose Powell Hill (1825-1865) a vécu dans la partie originale de cette maison du comté de Culpeper de l'âge de sept ans jusqu'à 1842, date à laquelle il est entré à l'Académie militaire des États-Unis. Juste avant la guerre civile, les parents de Hill ont agrandi la simple maison de ville fédérale pour en faire le bâtiment actuel de style villa italienne, en augmentant sa profondeur et en ajoutant un troisième étage, une lourde corniche à consoles et une coupole. Modifiée par la suite pour un usage commercial, la maison d'enfance A. P. Hill, située à l'une des principales intersections de la ville de Culpeper, reste un élément architectural dominant du centre-ville de Culpeper. A. P. Hill était l'un des lieutenants les plus appréciés du général Robert E. Lee ; il l'a assisté dans presque tous les engagements majeurs de l'armée de Virginie du Nord jusqu'à ce qu'il soit tué en avril 2, 1865, juste après le siège de Petersburg.