Le Doctors Building a été construit à une époque de changements architecturaux, médicaux et sociaux radicaux au milieu du20e siècle. Conçus dans le style international, les immeubles de bureaux médicaux reflètent une approche progressive, efficace et accessible des soins de santé dans leur esthétique épurée et moderne. Construit par l'entrepreneur local bien connu Lanier Anderson, le bâtiment de trois étages en briques a été achevé en 1957 et a été suivi en 1960 par un bâtiment annexe de deux étages en briques. L'ensemble des bâtiments constitue un point de repère pour les changements intervenus après la Seconde Guerre mondiale dans le domaine des soins médicaux et de la conception des cliniques, à partir de la loi Hill-Burton sur l'étude et la construction des hôpitaux (Hill-Burton Hospital Survey and Construction Act) de 1946. Au cours de ses trois premières années d'existence, les salles d'attente ségréguées du bâtiment principal correspondaient aux attentes d'un système de ségrégation raciale, toléré jusqu'à 1965, même dans les établissements de santé construits avec des fonds fédéraux provenant de la loi Hill-Burton. Malgré des salles d'attente ségréguées dans les premières années, le Doctors Building était l'un des rares bâtiments publics de la Main Street à Danville où les Afro-Américains pouvaient entrer librement. En plus de témoigner de l'émergence de changements sociaux importants, le cadre résidentiel des Doctors Buildings dans le district historique de Danville illustre clairement les tendances en matière de planification et de développement communautaires au cours des années 1950qui ont précipité la décentralisation des centres-villes.