Zámek Ždánice stojí na místě původní opevněné tvrzi z počátku 16. století. Z podnětu Oldřicha z Kounic byl zámek o několik desítek let přestavěn na renesanční zámek.

Po bitvě na Bílé hoře až po rok 1945 patřil zámek rodu Lichtenštejnů. Za jejich působení byl zámek přestavěn ve stylu raného baroka. Dnešní podoba je prakticky výsledkem této poslední velké přestavby v 17. století.

Zámek v minulosti sloužil také jako sídlo vrchnostenského úřadu či okresního soudu. Od duhé poloviny minulého století zde byly sklady.

Dnes je zámek sídlem Vrbasova muzea. Návštěvníci si zde mohou prohlédnout expozice, zaměřené na sbírky skla, zbraní, nábytku, nerostů či řemesel.