Melrose a été construit par Charles Alexander Scott en 1813 près de son moulin sur la rivière James dans le comté de Fluvanna. Scott était membre de la famille locale influente qui a exploité Scott's Landing et fondé Scottsville. La maison en briques de style fédéral, à deux étages, avec un hall central, est en liaison flamande au-dessus et en liaison américaine au-dessous de la nappe phréatique. Melrose est situé de manière très spectaculaire au sommet d'une série de terrasses en terre s'élevant au-dessus de la section de la rivière des Sept Îles, que l'on peut entendre mais pas voir depuis la maison. Un incendie à 1836 a détruit une grande partie de l'intérieur, mais Melrose a été rapidement restauré dans les murs d'origine et la plupart des boiseries intérieures de cette période ont survécu. Le toit en ardoise a probablement été installé à la même époque.