1973年に完成した本館は、1960年代にメタボリズム・グループの建築運動を牽引した菊竹清訓氏の設計であり、立方体、円柱、三角柱を組み合わせたダイナミックな造形をしています。本館の内部は4つの展示室からなり、大小さまざまな作品の展示ができるよう配慮され、機能的かつ個性的な空間となっています。
入り口から見上げると船の帆のような中央部分の大展示室は、中に入ると12メートルの吹き抜けの空間が広がり、トップライトからの自然光が荘厳な雰囲気を演出しています。この大展示室を囲む明るい回廊と、矩形の展示室が本館です。

本館から渡り廊下をぬけると、1988年に増築された新館へとつながります。
新館では、長年大きなスロープのある展示室をお楽しみいただいていましたが、2012年にリニューアルを行い、さまざまな作品の展示に対応できる広い空間に生まれ変わりました。同時に、収蔵・管理施設を充実させています。1996年に増築した別館は、新館から通路を経てつづく2階を汎用性の高いシンプルな立方体の企画展示室としています。明るい窓のある階段を下りると、1階にはビュフェこども美術館が設置されています。