息障寺は、比叡山延暦寺に属する天台宗の古刹で、滋賀県と三重県にまたがる標高471.1ｍの岩尾山の中腹に開かれた山岳寺院です。山中の随所に奇岩、巨岩がそびえ立ち、中でも奥の院となる巨石には像高5ｍにおよぶ室町時代作の不動明王像（甲賀市指定文化財）が彫られ、岩尾の不動さんと呼ばれています。
寺院が開かれた経緯は不明ですが、寺に伝わる由緒では「伝教大師最澄が比叡山を開く前に用材をこの山に求められたところ、大蛇が棲み木こりの道を妨げたため、大師は禁竜の法で大蛇を倒し、ようやく木を伐り出すことができた。大師は材木を琵琶湖に流し、これにより比叡山の根本中堂が完成、その報恩のために霊岳に伽藍を造営し、池原延暦寺と称することになった」と伝わり「比叡山試みの寺」とも言われています。
この周辺には伝教大師最澄にちなむ伝説が色濃く残り、岩尾の一本杉は大師が食事の時に刺した箸が杉の大木になったと伝わり、岩尾の不動さんは大師自ら刻んだ像とされています。
山中にある巨石は、山伏たちが山岳修行に励んだ行場とみられ、境内に役の行者の石造を祀るなど、修験道の文化が息づいています。甲賀流忍術もこうした修験道の影響を受けて成立したものでしょう。