Začátek 19. století je spojen s poklesem řemeslné textilní produkce na Broumovsku, ať už šlo o vesnické tkalce či městské soukeníky. Zrušení poddanství roku 1848 však uvolnilo pracovní sílu a vytvořilo tak cestu pro vznik místní průmyslové výroby textilu.

V roce 1856 Josef Schroll, jeden z nejznámějších podnikatelů a obchodníků s plátnem, postavil v Olivětíně první mechanickou tkalcovnu a byla tak zahájena industrializace regionu. Zřízením nové soustavy státní správy místo vrchnostenské dosáhli také broumovští měšťané vytoužené nezávislosti na klášteru. V roce 1850 byl v Broumově zřízen okresní úřad jako sídlo politické správy nejen bývalého klášterního panství, ale i Policka, Teplicka a Stárkovska.

Samotné město pak v průběhu 2. poloviny 19. století prodělalo prudký rozvoj. Byly postaveny nové tovární objekty, honosné vily, dělnické domy, veřejné budovy jako nemocnice a školy, byl vybudován městský vodovod a kanalizace.