飯道山は山内に巨岩、奇岩がそびえ立つ、古来より山岳信仰が栄えた霊山で、金奇山・餉令山とも呼ばれ、標高約664メートルの一ノ峰は「古権現」とも称し、最初に飯道神が降り立った所と伝わります。これよりやや低い二ノ峰には、飯道神社が鎮座します。
飯道神社の創建は古く、社伝によれば、奈良時代の和銅七年（714）熊野神社の分霊を勧請したとされ、また平安時代の「延喜式神名帳」に載る式内社でもあります。
慶安二年（1649）に再建された本殿は、極彩色を施し、千鳥破風、軒唐破風を組み合わせた華やかな意匠の建造物で、国の重要文化財に指定されています。昭和五十一年（1976）の解体修理の際には、鎌倉時代に遡る千点を越す懸仏が発見されており、この時期に信仰が確立されていったことがうかがえます。
また飯道山は近江屈指の修験霊場でもあり、中世は山内の飯道寺とともに栄え、鎌倉時代後半より熊野三山との結びつきが強まります。中でも山内にあった修験寺院梅本院と岩本院は醍醐寺三宝院を本寺とする当山派（真言系）に属し、正大先達寺院として、その影響は各地に及んでいました。また高野山を再興した高僧で、豊臣秀吉の信任も得ていた木食応其が晩年に当地に隠棲、ここで亡くなり、その入定窟が残っています。
その後、明治の神仏分離に際して寺院関係が排除され、今は華麗な飯道神社本殿とかつての飯道寺の石塁が残るのみですが、かつて山伏たちが山岳修行に勤しんだ行場は今も霊場として信仰の場となっています。