La James A. Fields House a été acquise en 1897 par Fields pour en faire sa résidence principale et son cabinet d'avocat. Fields, né esclave, est devenu un citoyen afro-américain éminent à Newport News après avoir fait partie de la première promotion de l'université de Hampton en 1871. Après avoir été nommé par le délégué Robert Norton, Fields a été juge de paix à 1879, devenant ainsi le premier officier judiciaire noir de Virginie. En 1881, il est diplômé de la faculté de droit de l'université Howard à Washington, D.C., et continue à enseigner à de jeunes étudiants noirs pendant 14 ans et à donner des cours particuliers à des étudiants plus âgés sur les théories et la pratique du droit. M. Fields a été élu à plusieurs reprises à l'Assemblée générale et a été procureur du Commonwealth pour le comté de Warwick (aujourd'hui la ville de Newport News). Après la mort de Fields, sa maison italienne en briques a brièvement abrité le Whittaker Memorial Hospital, créé en 1908 en tant que premier hôpital pour les Noirs à Newport News.