La voie porte le nom de « Rohan », qui est une altération de Rouen, en raison de son voisinage avec l'hôtel des archevêques de Rouen, donnant sur la rue du Jardinet. Cette cour, créée avant le XVe siècle, a porté le nom d'« Impasse de la cour de Rouen ». Henri II y fait construire plusieurs bâtiments pour sa maîtresse Diane de Poitiers.