Exemple remarquable de maison de ville de style fédéral, la Carter-Gilmer House a été construite en 1820 par le Dr Charles Carter, membre de la Chambre des délégués, qui tenait un cabinet médical dans un petit bâtiment en briques situé dans la cour latérale. Cinq générations de la famille ont vécu dans cette résidence de Charlottesville, descendants en ligne directe de Charles Carter et du Dr George Gilmer de Williamsburg, un ami proche de Thomas Jefferson. En 1955, la maison a été cédée par la famille Gilmer à Henderson Heyward, un architecte qui a transformé le bâtiment en appartements.

Les bâtiments et les quartiers répertoriés dans le cadre de la proposition d'inscription de Charlottesville Multiple Resource Area représentent une section transversale de toutes les périodes historiques de la ville, depuis la fondation de Charlottesville dans les années 1760jusqu'à l'avènement de l'automobile et l'impact qu'elle a eu sur l'expansion de la ville. On y trouve également des bâtiments qui ont joué un rôle important dans l'histoire de la communauté noire de Charlottesville. La maison Carter-Gilmer a été inscrite sur les registres de l'ARM de Charlottesville sans avoir fait l'objet d'une proposition d'inscription officielle.