Tuto budovu najdete v historické části města na hlavním Havlíčkově náměstí. Nachází se v původně měšťanském domu zvaném Chmelovodský a později Stará lékárna. Původní stavba pochází z 1. poloviny 15. století, později v 17. a 18. století radikálně přestavěna.

Stálou expozicí se galerie prezentuje od roku 1979. Zpočátku byla zaměřena tematicky, dnes v různých obměnách představuje stěžejní díla sbírkových fondů. Dále jako jako jediná se specializuje na moderní českou knižní ilustraci, kresbu a grafiku dvacátého století. Jsou zde prezentována díla našich předních autorů jako například Jana Zrzavého, Cyrila Boudy, Adolfa Hoffmeistera, Jaroslava Panušky, Jiřího Trnky, Emila Filly a řady dalších.