Erigé en 1901 au sein du nouveau quartier de la Porte Dauphine, l’immeuble arbore une magnifique façade dont le dessin évoque l’Orangerie du Palais de l’Élysée construit en 1718. Le double décrochage met en valeur l’élément central et confère une grande légèreté à l’ensemble. Cet effet est encore rehaussé par le majestueux escalier de marbre et la balustrade. Le grand soin apporté au choix des matériaux, aux détails de l’architecture, au dessin et à l’habillage des fenêtres et portes-fenêtres en font un bijou d’architecture remarquable, qui justifiait d’inscrire l’édifice à l’inventaire supplémentaires des Monuments Historiques, chose faite en 1972.

Dans les années 1920, la riche et jolie héritière américaine Federica Berwind rachète la maison, et lui donne le nom de son défunt mari : l’immeuble devient alors connu sous le nom d’Hôtel Seton-Porter. Elle y emploie plus de vingt personnes à son service et organise des réceptions avec des figures de la haute société parisienne des années folles. 

La deuxième Guerre Mondiale la propulse au premier rang des bénévoles de la Croix-Rouge américaine. Elle transforme alors l’immeuble en annexe de l’hôpital américain. Lorsqu’elle rentre aux Etats-Unis à la fin de la guerre, l’hôtel est laissé à l’abandon. En 1950, c’est son ami Gaston-Louis Vuitton qui rachète l’hôtel pour le compte de l’Union des Fabricants. Depuis lors, il est le siège de l’Association et du Musée de la Contrefaçon.