La Charlottesville Industrial and Land Improvement Co. a construit ce bâtiment en 1889-90 et l'a cédé, ainsi qu'une certaine quantité de terrain (bloc 2 du plan de Rose Hill), à James et James A. Armstrong, "en contrepartie de l'occupation dudit bâtiment pour la fabrication d'articles de bonneterie - et de l'emploi de soixante à soixante-dix personnes pendant cinq ans et d'une moyenne de cent ouvriers journaliers". Le fait que l'Armstrong Building soit le plus ancien bâtiment d'usine conservé à Charlottesville, et le seul bâtiment industriel de style Second Empire, en fait un élément important du tissu architectural et historique de la ville et du quartier de Rose Hill.

Les bâtiments et les quartiers répertoriés dans le cadre de la proposition d'inscription de Charlottesville Multiple Resource Area représentent une section transversale de toutes les périodes historiques de la ville, depuis la fondation de Charlottesville dans les années 1760jusqu'à l'avènement de l'automobile et l'impact qu'elle a eu sur l'expansion de la ville. On y trouve également des bâtiments qui ont joué un rôle important dans l'histoire de la communauté noire de Charlottesville. L'usine de tricot Armstrong a été inscrite dans les registres de l'ARM de Charlottesville sans avoir fait l'objet d'une proposition d'inscription officielle.