Židovské rodiny sídlily v Žamberku už v 17. století. Židovská čtvrť však byla několikrát poničena požáry. Část domů byla naštěstí dochována v přestavbách. Synagoga byla postavena pravděpodobně roku 1811, později byla stavebně upravována. Roku 1954 byla budova přestavěna a přidána věž. Dnes je využívána křesťanskou církví. V interiéru je vitrína s památkami po zaniklé židovské obci.