Joseph Foster, originaire de Newport, en Angleterre, fut le premier propriétaire de ce manoir en forme de T construit dans le comté de New Kent, près de la rivière Pamunkey. Bien que la perte des premiers registres du New Kent empêche une datation précise, la maison a probablement été construite entre 1685 et 1690, lorsque Foster représentait le New Kent à la Chambre des bourgmestres. Foster's Castle partage avec Criss Cross et Bacon's Castle, situés dans le comté de Surry, la distinction d'être les seuls manoirs de la période Stuart qui subsistent en Virginie. Ces manoirs sont dotés d'un porche fermé surmonté d'une chambre, caractéristique typique des maisons anglaises post-médiévales. La majeure partie de l'intérieur original du château de Foster a été remplacée au début du 19e siècle, et les murs d'un étage du corps principal de la maison ont été portés à deux étages sur le site 1873. Malgré ces changements, les pans de murs qui subsistent du château de Foster constituent un document important de l'architecture la plus ancienne de Virginie.