Inverness illustre l'évolution de l'architecture et des pratiques de construction dans le centre de la Virginie, tout comme son histoire reflète les grandes tendances des pratiques agricoles au cours des deux derniers siècles. La maison principale s'est développée en quatre étapes à partir de 1800 et a atteint son point culminant avec l'icône du "Vieux Sud" à portique réalisée vers 1907. Jusqu'à la fin de la guerre civile, Inverness a appartenu à la famille Dickenson et est passé d'une modeste ferme du comté de Nottoway à une ferme exploitée par plus de 25 esclaves. Après la guerre, Samuel S. McLean, personnage haut en couleur des nouveaux États de l'Ouest, a acquis et baptisé la propriété. Il a participé à la ruée vers l'or en Californie, a servi dans le gouvernement territorial du Colorado et a fait partie de la première délégation du Montana au Congrès américain. McLean aurait nommé la capitale du Montana Helena en l'honneur de sa fille Helen. Cette même Helen et son mari, James P. Agnew, droguiste et banquier du comté de Nottoway, ont fini par s'installer à Inverness et y ont exploité une ferme laitière. L'exploitation laitière est restée dans la famille jusqu'aux années 1970. En 1993, Mme Lillian Agnew Leath a fait don de la propriété au National Trust for Historic Preservation's Gifts of Heritage Program. La fiducie a vendu la propriété d'Inverness avec des servitudes d'espace ouvert et de préservation.