Charles Fenton Mercer, officier militaire, législateur et partisan de la colonisation des Noirs, s'est installé dans cette région du sud-est du comté de Loudoun en 1804. Il a donné à sa propriété le nom d'Aldie Castle, la maison de ses ancêtres écossais. Le grand moulin marchand qui constitue la pièce maîtresse du district historique d'Aldie Mill a été construit en 1807 par William Cooke, partenaire de Mercer, et reste l'un des premiers moulins les mieux équipés de Virginie. Le complexe en trois parties comprend ce qui était une usine de plâtre à une extrémité et un magasin à l'autre. Les deux roues Fitz à balancier du moulin d'Aldie, installées sur le site 1900, sont les seules à subsister en Virginie. Surplombant le moulin se trouve une grande maison de style fédéral, construite par Mercer en 1810 comme résidence. Derrière le moulin se trouve la maison du meunier. Le groupe est complété par un ancien pont en pierre qui enjambe la rivière Little. Le moulin a fonctionné jusqu'aux années 1970, date à laquelle il a été donné à la Virginia Outdoors Foundation, qui a entrepris une vaste restauration. Aldie Mill est aujourd'hui la propriété de la Northern Virginia Regional Park Authority.