Ingleside a été construit en 1834 sous le nom de Washington Academy, l'une des nombreuses écoles préparatoires privées créées en Virginie pendant la période antebellum pour éduquer les fils de la société de plantation. La structure à portique, avec ses détails simples, est un exemple rare d'architecture institutionnelle rurale de l'époque. La tradition veut que les fondateurs de l'école du comté de Westmoreland aient conçu le bâtiment en s'inspirant du Capitole de Thomas Jefferson à Richmond. L'académie a fonctionné pendant une décennie avant que la baisse des inscriptions ne l'oblige à fermer. Après la vente de la propriété en 1847, le bâtiment a été transformé en résidence privée et a reçu son nom actuel. Après de nombreux changements de propriétaires, Ingleside a été acheté en 1890 par Carl Henry Flemer de Washington, D.C., et est devenu depuis le noyau de la célèbre Ingleside Plantation, Inc, une pépinière et un domaine viticole, exploités par la famille Flemer.