Scottsville a vu le jour en 1732 lorsque Edward Scott, bourgmestre du comté de Goochland, a fait breveter 550 acres juste à l'ouest de la future ville. La communauté du sud du comté d'Albemarle a prospéré, atteignant son apogée au début du 19e siècle avec l'ouverture de la rivière James et du canal Kanawha. Scottsville est rapidement devenu un important marché de la farine. Son déclin a commencé en 1865 lorsque les troupes du général Philip Sheridan de l'Union ont pillé l'endroit, détruisant le canal et les bâtiments commerciaux. Scottsville ne s'est jamais vraiment rétablie, et sa croissance entravée a préservé son caractère historique. Le district historique de Scottsville compte encore quelques 100 bâtiments plus anciens, dont près de la moitié datent d'avant la guerre civile, notamment des églises néo-classiques et un large éventail de maisons vernaculaires. On y trouve également le Mount Walla( 1820 ), qui est répertorié individuellement dans les registres.

Sur le site 2004, le district historique de Scottsville a été élargi pour inclure une grande partie de la ville de Scottsville, de la rivière James au nord et à l'ouest, en passant par les collines et les falaises de la ville, et la proposition d'inscription actualisée comprend un inventaire complet des bâtiments du district dans les comtés d'Albemarle et de Fluvanna.
[Liste VLR : 12/3/2003; Liste NRHP : 2/11/2004]