Za vznik dnešního města a hradu se zapříčinil staročeský rod Buziců. Ti zde již ve 13. století založili menší hrádek. Buzicové vlastnili Březnici až do roku 1406. Dalším majitelem se stal mincmistr Petr Zmrzlík ze Svojšína, což byl příznivec husitů. Proto bylo městečko i s hradem roku 1422 vypáleno a dobyto panským vojskem.
Koncem 15. století byl objekt pozdně goticky přestavěn. Za pánů z Lokšan byl hrad přestavěn na renesanční zámek obklopený mnoha vodními plochami. Po nich se na Březnici vystřídalo mnoho majitelů, přesto si svůj renesanční vzhled udržel. Fasáda zámku je zdobena renesančními sgrafity. V interiérech stojí za pozornost hlavně Lokšanská knihovna. Patří mezi nejstarší knihovny klasického typu u nás. Zajímavá je galerie malíře Ludvíka Kuby.