Až do začátku 17. století byl Kačerov také ryze českou vesnicí. Po Bílé hoře však přišel v souvislosti s pronásledováním nekatolíků odliv českého obyvatelstva a přicházeli sem noví němečtí osadníci. Ještě v roce 1890 stálo v Kačerově přes sto domů, v nichž žilo bezmála 600 lidí. Od té doby se jejich počet postupně snižoval a po druhé světové válce se Kačerov stejně jako jiné vesnice v pohraničí po odsunu německého obyvatelstva vylidnil.

Za to, že neskončil v rozvalinách jako jiné vysídlené obce v pohraničí, vděčí neuvěřitelné náhodě - lyži, která ujela prvorepublikové filmové hvězdě Evě Gérové. Když s rodinou v Kačerově koupila chalupu, stala se prý prvním zdejším poválečným osadníkem. Měla půjčenou chaloupku na Kunčině Vsi, když jí údajně ujela lyže a ta se jí zapíchla až dole do potoka. Když ji hledala, objevila Kačerov s opuštěnými krásnými chalupami a zamilovala se do něj. O jednu chalupu si zažádala a přilákala i své známé, čímž se zachránilo deset hodnotnějších chalup.

Atmosféru starých časů můžete v kačerovském údolí nasávat i dnes. Snad ji jen trochu kazí sloupy elektrického vedení z konce 80. let. Až do té doby tu elektřina nebyla.