La partie la plus ancienne de la maison Brooks-Brown à charpente à galeries a été construite dans les années 1830et a été agrandie par la suite avec plusieurs ajouts. Son premier occupant était Andrew Brooks, un fermier du comté de Franklin qui a siégé à la Chambre des délégués de Virginie de 1843 à 1863. La propriété a ensuite été acquise par le beau-frère de Brooks, William A. Brown, l'un des principaux cultivateurs et fabricants de tabac du comté. Brown a établi une fabrique de tabac à côté de la maison vers 1870. Au cours des deux dernières décennies du 19e siècle, la maison a également servi d'arrêt de diligence, connu sous le nom de Halfway House, un nom attribué en raison de l'emplacement de la propriété à mi-chemin entre Danville et Roanoke. Un bâtiment indépendant situé sur la propriété de Brooks-Brown House a servi de bureau, puis de bureau de vote du comté. Les murs de la cuisine et de la salle à manger conservent des graffitis rares du 19e siècle.