La maison sans prétention de Cleydael a été construite en 1859 pour servir de retraite estivale dans le comté de King George au Dr. Richard H. Stuart. En installant sa maison loin du fleuve Potomac, Stuart était persuadé qu'un site à l'intérieur des terres, sur un terrain élevé, offrirait un répit plus sain par rapport aux étés moites de la Tidewater. Le plan en forme de T de Cleydael a permis une ventilation supplémentaire. Le Dr Stuart a installé sa famille à Cleydael pendant toute la durée de la guerre civile, pensant qu'elle serait à l'abri des activités militaires. Le général Robert E. Lee a envoyé ses deux filles chez leurs cousins à Cleydael lorsqu'il a été contraint de quitter Arlington. Après l'assassinat d'Abraham Lincoln, John Wilkes Booth, avec des compatriotes, a demandé l'aide médicale du Dr Stuart à Cleydael. Stuart, au courant de l'assassinat, se méfie et refuse à ses visiteurs assistance et abri, les renvoyant après leur avoir offert le dîner.