創建は古く、椎古2年(594)。聖徳太子によると伝えられている。
後の時代に、建礼門院が出家し隠棲した地である。文治元年(1185)の壇の浦の合戦で平家は滅びたが、建礼門院はひとり源氏の手によって救われた。その建礼門院は、寂光院の傍に庵を結んだ。
石段を登っていくと山門があり、くぐると小さな本堂と書院が建っている。
本尊は地蔵菩薩立像。その脇に、建礼門院像と侍女像がある。