L'hôtel de Nesmond fut initialement la résidence du panetier de Philippe le Bel au XIVe siècle, puis du duc de Bar. En 1643, François-Théodore de Nesmond, président du parlement de Paris, le réaménage complètement et lui donne son aspect actuel.