Výstavbu rotundy lze pravděpodobně datovat do druhé poloviny 11. století. První písemná zmínka o ní je až z roku 1396. Po roce 1420 byla opuštěná, sloužila k různým účelům i jako obydlí (v apsidě byla umístěna kuchyň, v klenbě byl vybourán otvor pro komín).

V průběhu 15. a 16. století byla několikrát poničena. Roku 1719 byla rotunda upravena a vrácena k církevním účelům. Za vlády Josefa II. byla kaple zrušena a odsvěcena, sloužila jako vojenské skladiště střelného prachu.

Ve 40. letech 19. století měla být zbořena, aby nepřekážela nově budované silnici v pevnosti, ale nedošlo k tomu. Dnešní vzhled je výsledkem několika oprav.

Románská rotunda sv. Martina je jednou z nejvýznamnějších a nejstarších dochovaných románských staveb na území našeho státu.