Le siège du comté de Grayson a été établi à cet endroit, à Old Town, près de la ville de Galax, en 1799. Le deuxième palais de justice, une structure en bois, a été construit peu de temps après. Un petit bureau de greffier a été érigé sur le site 1810. En 1833, le comté a chargé James Toncray de construire un palais de justice en briques. Toncray, l'un des principaux constructeurs de palais de justice dans le sud-ouest de la Virginie, a construit le palais de justice du comté de Wythe en 1818 (démoli) et le palais de justice du comté de Scott en 1829. Il a construit les palais de justice des comtés de Montgomery et de Floyd (tous deux démolis) en même temps qu'il travaillait sur la structure du comté de Grayson. Toncray a utilisé une composition tripartite, avec des ailes à deux étages, pour chacun de ses palais de justice. L'ancien palais de justice du comté de Grayson est devenu une résidence privée après que le siège du comté a été déplacé dans la ville d'Independence et qu'un nouveau palais de justice du comté de Grayson a été construit à l'adresse 1908. Il a ensuite été utilisé comme hôtel, puis comme grange. L'ancien palais de justice du comté de Grayson et le bureau du greffier ont été restaurés par des particuliers à l'adresse 1988.