Le bâtiment a été construit sur le site d'un complexe muséal de style colonial espagnol détruit par le tremblement de terre de 1989. Les formes élégantes et l'utilisation originale des matériaux, caractéristiques de Jacques Herzog et Pierre de Meuron, ont provoqué une opposition active des autorités conservatrices de la ville, mais la persistance de l'administration du musée a néanmoins permis de mettre en œuvre le projet.
La structure est entièrement revêtue de cuivre (un total de 7602 panneaux de différentes formes ont été utilisés) et est le plus grand bâtiment recouvert de ce métal au monde.
L'élément principal du projet est une tour incurvée qui s'élève au-dessus de la cime des arbres du Golden Gate Park, où se trouve le musée. Il offre une vue sur la ville et relie également le bâtiment à San Francisco: la taille de la tour lui a permis de devenir un élément notable du paysage urbain.
Le volume principal, de plan rectangulaire, est coupé par de petites cours plantées de fougères. Des murs de verre ont fait de ces jardins une partie de l'intérieur du musée.
Une attention particulière a été portée aux architectes pour souligner l'écoulement continu de l'espace: l'entrée du musée est reliée à un grand hall par une cour ouverte, de là un large escalier mène aux salles du deuxième étage. Ceci est également facilité par les plans d'étage incurvés des salles d'exposition. Les intérieurs du musée sont décorés de bois d'eucalyptus.
Le coût de l'ensemble du projet était de 190 millions de dollars, qui ont été collectés par des particuliers, malgré le fait que la collection (art d'Afrique, d'Océanie, de Méso-Amérique) et le musée lui-même appartiennent à la ville.