Bloomsbury, dans le comté d'Orange, a été fondé peu après 1720 par le colonel James Taylor, père, l'un des premiers propriétaires terriens de la région et ancêtre des présidents James Madison et Zachary Taylor. La date de la section originale n'est pas documentée, mais il est possible qu'elle ait été construite dès 1722 pour James Taylor II. Bien que l'extérieur soit discret, l'intérieur finement aménagé du Bloomsbury présente un plan unique et un escalier inhabituel. Selon la tradition familiale, le large palier de l'escalier, avec sa rampe décorative à balustres tournés, formait une galerie de musiciens. La taille de la maison a été doublée par l'ajout d'une simple annexe de deux étages vers 1800. Bloomsbury est exceptionnellement bien préservé et conserve un cadre rural pittoresque composé de vastes champs et de collines boisées au pied de la montagne Jerdone, à l'est de la ville d'Orange. Sur le terrain se trouvent un fumoir du 19e siècle, un cimetière du 18e siècle et les vestiges d'un rare jardin primitif avec des terrasses et un espace en contrebas.