Jménem Rabštejn se původně označoval les na levém břehu Kamenice mezi Kamenickou Novou Vískou a Janskou, asi 3 km západně od České Kamenice. Později se začalo celé skalnaté údolí říčky nazývat "Rabštejnské Švýcarsko".
Za 2. světové války byl v sousedství tehdy již opuštěné přádelny u Kamenické Nové Vísky zřízen pracovní tábor s 20 dřevěnými domy a byla sem přemístěna část výroby z brémské letecké továrny Weser, zničené spojeneckými nálety. Těsně po válce byl Rabštejn přeměněn na internační tábor pro nacistické vojáky a vzniklo zde také sběrné středisko pro obyvatele německé národnosti, vystěhovávané do Německa. Na jeho místě byl později vztyčen dřevěný kříž a v roce 1959 u něj byla umístěna pamětní deska. Dnes tábor připomíná kamenná pyramida s pamětní deskou, postavená na oploceném travnatém prostranství u cesty.