Le Mount Columbia est situé sur l'un des points les plus élevés du comté de King William, sur une propriété qui faisait à l'origine partie du vaste domaine du College of William and Mary. La maison en deux parties illustre le raffinement du goût architectural qui s'est manifesté dans la région au début des années 1800. La partie la plus ancienne, une simple maison à une seule cellule construite pour Gideon Bosher dans les années 1790, est typique des maisons des planteurs modérés de l'intérieur des terres de l'époque. La partie avant de style fédéral sophistiqué, construite dans les années 1830pour le fils de Bosher, William, reflète la tendance croissante de la noblesse à afficher sa prospérité d'une manière plus élégante. L'aspect général de la dernière partie a peut-être été influencé par le manoir exécutif de Virginie. Le frère de William Bosher, John, charpentier, et son voisin Christopher Tompkins, maître d'œuvre, ont tous deux participé à la construction du manoir.