V 16. století zde nechal Petr Vok z Rožmberka vybudovat palác pro svou ovdovělou matku Annu z Rogendorfu. Následně zde vybudovali zbrojnici. Ta se dočkala v 19. století rekonstrukce a přesunula se do ní výroba piva.