Fort Chiswell Mansion a été construit pour deux frères, Stephen McGavock et Joseph Cloyd McGavock, et surplombe la propriété d'origine des McGavock dans le comté de Wythe, aujourd'hui détruite. Les McGavocks ont été les premiers colons de la région et ont acquis de vastes étendues de terre. Leur première maison se trouvait à Fort Chiswell, un poste de défense situé sur la route de la Grande Nature. C'est là qu'ils ont ouvert un établissement commercial au service des nombreux pionniers qui se déplaçaient vers l'ouest. En 1839, les deux frères McGavock ont passé un contrat avec Lorain Thorn et James Johnson pour construire cette maison en briques sur une falaise au-dessus de la colonie de Fort Chiswell. La structure néoclassique, interprétée au niveau provincial, présente un portique à deux colonnes et des cheminées d'extrémité semi-extérieures jumelées, entre lesquelles se trouve, à chaque extrémité, une grande fenêtre de grenier de style palladien. Il reste une série de bâtiments de service en briques ; le cimetière de la famille McGavock se trouve au sommet d'une colline voisine. L'imposante demeure a longtemps servi à signaler l'importance des McGavock aux nouveaux arrivants de la région, et ce point de repère bien en vue surplombe aujourd'hui l'Interstate 81.