唐へ留学し天台数学を修めた慈覚大師の死後、その遺言により、赤山明神を祀ったことを起源としている。
赤山明神は方位の神であり、赤山禅院は方除け・厄除けの寺として信仰を集める。