Nommée en l'honneur de John B. Cary, surintendant des écoles publiques de Richmond de 1886 à 1889, cette structure de granit crénelé a été conçue par Charles M. Robinson, le talentueux architecte superviseur du Richmond Board of Public Instruction de 1910 à 1929. À ce titre, Robinson a doté la capitale de la Virginie d'un ensemble remarquable de bâtiments scolaires, dont l'Albert Hill School et le Thomas Jefferson High School. Robinson a également préparé des plans directeurs pour les universités James Madison et Radford, et a conçu des bâtiments pour d'autres établissements d'enseignement supérieur de l'État. Robinson était un adepte des différents styles historiques ; son choix d'un mode néo-gothique à créneaux pour l'école de Cary témoigne de sa polyvalence. Malgré son caractère historique, le bâtiment était tout à fait moderne lorsqu'il a été inauguré en 1913. Le nom a été changé en West End School en 1954 lorsqu'elle est devenue une école pour les élèves afro-américains. Fermé à l'adresse 1989, le bâtiment de l'école John B. Cary a été réhabilité pour être réutilisé en tant que logement avec assistance.