הבניין נבנה במקום של מתחם מוזיאונים בסגנון קולוניאלי ספרדי שנהרס ברעידת האדמה ב -1989. הצורות האלגנטיות והשימוש המקורי בחומרים, האופייניים לז'אק הרצוג ופייר דה מורון, עוררו התנגדות פעילה מצד הרשויות השמרניות בעיר, אך ההתמדה של הנהלת המוזיאון איפשרה בכל זאת ליישם את הפרויקט.
המבנה עטוי נחושת לחלוטין (בסך הכל נעשה שימוש ב 7602 לוחות בצורות שונות) והוא הבניין הגדול ביותר המכוסה במתכת זו בעולם.
המרכיב העיקרי של הפרויקט הוא מגדל מעוגל המתנשא מעל צמרות העצים של פארק שער הזהב, שם ממוקם המוזיאון. הוא מציע נופים של העיר, והוא גם מקשר בין הבניין לסן פרנסיסקו: גודל המגדל איפשר לו להפוך לאלמנט מורגש של הנוף העירוני.
הנפח העיקרי, מלבני בתכנית, נחתך על ידי חצרות קטנות נטועות שרכים. קירות זכוכית הפכו את הגנים הללו לחלק מחללי המוזיאון.
תשומת לב מיוחדת הוקדשה לאדריכלים כדי להדגיש את זרימת החלל הרציפה: הכניסה למוזיאון מחוברת ללובי גדול על ידי חצר פתוחה, משם גרם מדרגות רחב מוביל לאולמות הקומה השנייה. ניתן להקל על כך גם מתוכניות הקומה המעוקלות של אולמות התצוגה. חללי הפנים של המוזיאון מעוטרים בעץ אקליפטוס.
עלות הפרויקט כולו הייתה 190 מיליון דולר, שנאספו על ידי אנשים פרטיים, למרות העובדה שגם האוסף (אמנות מאפריקה, אוקיאניה, מסואמריקה) וגם המוזיאון עצמו שייכים לעיר.
