Fort Monroe's Quarters 1, construit en 1819 avant l'achèvement des murs de fortification, fut la première structure permanente érigée par l'armée au fort, situé dans la ville de Hampton. Ce bâtiment de style fédéral était à l'origine la maison et le bureau du colonel Charles Gratiot, l'ingénieur en chef chargé de la construction du fort. Pendant de nombreuses années, il s'agissait de la plus grande résidence du poste et du domicile de l'officier le plus haut gradé du poste. Parmi les nombreuses décisions importantes prises par les chefs militaires qui y ont résidé, la plus significative a sans doute été la déclaration du général de l'Union Benjamin F. Butler ( 1861 ), au début de la guerre de Sécession, selon laquelle les esclaves en fuite étaient des "contrebandiers" de la guerre. La liste des dirigeants qui ont résidé ou séjourné au Quarters 1 à Fort Monroe comprend le marquis de Lafayette, héros de la guerre d'Indépendance, le président Abraham Lincoln et le général Ulysses S. Grant.