Původní gotický Bystřický hrad, jehož existence se předpokládá již ve 13. století, byl pravděpodobně ze všech čtyř stran obehnán příkopem či hradbami.

Dodnes dochovaná nejstarší část hradu jsou spodní sklepy na východní straně a zbytky obranné věže na druhém nádvoří, ostatek pochází z konce 16. a začátku 17. století. Hrad byl v této době přestavěn na renesanční zámek, takto je dochován do dnešní podoby.

Z náměstí je vidět pouze klasicistní průčelí Novobystřického zámku, jinak je zámek neudržován, přístupný je jen příležitostně.