La ville de Stuart, connue à l'origine sous le nom de Taylorsville, est devenue le siège du comté de Patrick lors de sa création en 1791. Avec le palais de justice du comté comme centre, le Stuart Uptown Historic District englobe le cœur du siège du comté et comprend des bâtiments gouvernementaux, financiers, religieux et commerciaux datant du milieu du19ème siècle au milieu du20ème siècle. La ville a connu une croissance rapide au début des années 1880suite à la construction d'une nouvelle ligne de chemin de fer Danville et New River qui passait par la ville. En 1884, Taylorsville a été constituée en ville et rebaptisée Stuart en l'honneur du major général confédéré J. E. B. Stuart, né à 20 miles à l'ouest.