Trojkřídlá renesanční architektura zámku s dochovanou původní dispozicí a arkádovým dvorem, vybudována na místě původní tvrze, upravená ve druhé polovině 17. století a v 18. stol v barokním stylu.

Kamenný portál se znakem hrabat Žerotínů, velmi hodnotný architektonický prvek z r. 1750 , původně umístěný na hospodářské budově ve dvoře krásenského zámku, v roce 1986 přemístěný k severnímu křídlu zámku Žerotínů. Stavbu zámku počal Jan z Perštejna v roce 1538.

Do 1815 zde sídlili Žerotínové, pak zámek patřil rodu Kinských, který jej prodal rakouskému státu. 1855 až 1909 sloužil jako ženská trestnice, jediná na Moravě a Slezsku. Od roku 1996 se pracuje na jeho rozsáhlé opravě. Nyní zde sídlí kulturní zařízení města.