Originalmente diseñado por el arquitecto Waddy Wood para ser utilizado como un templo Masónico, el edificio principal de 78,810 pies cuadrados, fue terminado en 1908. Su estructura original está registrada en la Lista de Lugares Históricos de Washington DC y en el Registro Nacional de Lugares Históricos. La fachada exterior, de estilo Neo-Renacimiento, incorpora elementos de diseño Toscano y Mediterráneo, además del simbolismo Masónico.
En 1983, el museo adquirió el edificio para mantener su colección y después de una extensa renovación, abrió sus puertas al público el 7 de abril, 1987. Esta renovación fue reconocida con el premio a la Excelencia en Preservación de Edificios Históricos otorgado por el Instituto Americano de Arquitectos entre otros.
En 1993, el museo adquirió el edificio adyacente, de 5,300 pies cuadrados, y después de otra renovación, en 1997, se inauguró el Ala Elizabeth A. Kasser, lo que otorgó al museo un total de 84,110 pies cuadrados. No es sorprendente que el museo se ha convertido en un punto destacado en Washington.