La prospérité des villes portuaires de la côte atlantique au cours de la période qui a suivi la guerre de l'Indépendance se reflète dans les belles maisons de ville de style fédéral construites par les marchands et les dirigeants municipaux. La ville de Norfolk comptait autrefois de nombreuses habitations de ce type, mais elle n'en conserve qu'une poignée. Parmi elles, la Taylor-Whittle House est comparable aux plus belles maisons fédérales de tous les ports, affichant des proportions et des détails raffinés à l'extérieur et une belle ornementation à l'intérieur. La maison a été construite vers 1791 pour le marchand George Purdie ou le maire de Norfolk John Cowper. Il a été acheté sur 1802 par Richard Taylor, un importateur anglais. Un autre occupant, le gendre de Taylor, Richard Lucien Page, accompagna le commodore Perry au Japon et organisa plus tard la marine confédérée de Virginie. La maison a été léguée à la Historic Norfolk Foundation en 1972. Située dans le quartier historique de West Freemason Street, la maison Taylor-Whittle appartient aujourd'hui à la ville et est louée pour le siège d'une association.