Podle dochovaných písemností byl bystřický zámek postaven v první polovině 15. století pány z Tvorkova. Je ojedinělou ukázkou postupné modernizace panských sídel.

Zatímco jiní svá sídla přestavovali a modernizovali, v Bystřici byly staré budovy ponechány a k nim se postupně přistavovaly nové, které lépe odpovídaly požadavkům na pohodlnější bydlení. Zámek zdobí malby Jana Svitáka z roku 1805 a Hanuše Schwaigera z konce 19. století.

K zámku náleží rozsáhlý park, který ve své době patřil k nejkrásnějším parkům na Moravě, byl však již v roce 1935 zrušen. V současnosti je majetkem armády ČR a je bohužel veřejnosti nepřístupný.