La ville de Madison est le siège et le centre commercial du comté de Madison depuis sa formation à partir du comté de Culpeper en 1793. La colonie a été officiellement établie en tant que ville postale en 1801, plusieurs années après l'érection du premier palais de justice, du bureau du greffier et de la prison du comté. Le bâtiment le plus important du Madison County Courthouse Historic District est le palais de justice de style Jeffersonien 1830. L'un des éléments clés du complexe du palais de justice est la salle d'audience adjacente. 1832 taverne, une grande structure en briques avec des parapets en gradins. La maison néo-grecque occupée par le major général confédéré James Lawson Kemper, qui fut plus tard gouverneur, est l'une des principales résidences historiques. Outre ses structures du début et du milieu du19e siècle, le Madison County Courthouse Historic District possède également un centre commercial de la fin du19e siècle, ainsi que plusieurs résidences victoriennes décoratives. Contournée par la route américaine 29, la ville a conservé une grande partie de l'ambiance de son ancien village.