Pendant près de deux siècles, la famille Fudge a vécu dans cette demeure considérablement agrandie. Les Fudges étaient d'origine allemande et venaient du comté de Rockingham ; leur nom était à l'origine Futch. La propriété a été acquise par les frères Christian et Conrad Fudge en 1795. Vers 1798, Conrad Fudge a construit une maison en rondins à deux étages qui constitue le cœur de l'habitation actuelle. Fudge a considérablement agrandi la maison dans les années 1820, en y ajoutant une grande partie en briques et de nouvelles cheminées. Son fils Andrew a hérité de la propriété en 1849. Il a cultivé les terres et exploité une distillerie, tout en exerçant les fonctions de greffier du comté. Joseph, le fils d'Andrew, et trois de ses frères ont participé à la guerre de Sécession en servant dans la Stonewall Brigade. Joseph a hérité de la propriété et a encore agrandi la maison en 1897, lui donnant son aspect victorien actuel. La maison, qui se trouve aujourd'hui dans les limites de la ville de Covington, a été vendue à la famille Fudge en 1991.