Augustiniánský klášter založil v roce 1371 významný muž Albert ze Šternberka, rádce Karla IV. a litomyšlský biskup. Třicetiletá válka znamenala pro objekt zkázu, za vpádu Dánů celý vyhořel. K rozsáhlé přestavbě v tónech baroka bylo přistoupeno až v roce 1705, kdy už panství patřilo Liechtensteinům. Z osobností, které se podíleli na úpravě interiéru, vynikají olomoučtí umělci- sochař Filip Sattler a malíř Jan Kryštof Handke.
Z původního středověkého kláštera se dochovalo jen torzo- jižní a západní ramena křížové chodby a část sklepů. Nový vznešený plášť dostal i původní středověký kostel náležící ke klášteru. Krátce po dokončení prací však byla v roce 1784 šternberská kanonie na základě reforem Josefa II. zrušena, kostel Zvěstování Páně se stal farním a honosné novostavbě nadešly zlé časy.
Dnes je bývalý klášter zařazen do Programu záchrany architektonického dědictví financovaného Ministerstvem kultury ČR. Objektu i celému městu prospívá kulturní dění v jeho prostorách. Konají se tu výstavy, prezentují se práce studentů z celé republiky a na nádvoří se v létě pořádají koncerty. Prohlídkám veřejnosti jsou přístupné klášterní sály a sklepy s vinotékou.
