吉良荘西条を治めた中世吉良氏の菩提寺として足利（吉良）満氏が文永八年（1271）に建立したと伝えられます。
京都・東福寺から聖一国師（円爾弁円）を迎え、中国・経山寺の絵図にならって壮大な伽藍が造営され、三河の安国寺として栄えました。
天文十五年（1546）に今川義元の軍師として名高い太原崇孚が入ると妙心寺派に転じ、織田氏との兵火によって堂の多くを焼失したといいます。
家康の重臣鳥居元忠が現存の釈迦堂（県指定文化財）を寄進し、釈迦三尊像等を安置されたとされ、彼の墓といわれる石塔が境内墓所に遺っています。

見事な三河クロマツ（市指定文化財）の林に囲まれた釈迦堂（県指定文化財）は、室町時代の建築です。
毎年4月第2日曜日の「お釈迦さん」（花祭り）では多くの参拝者で賑わい、堂内の釈迦三尊像（県指定文化財）や四天王像（市指定文化財）が特別公開されます。
境内には中国鐘の影響を受けた八葉宝鐸型梵鐘（県指定文化財）や方丈本尊の如意輪観音坐像（市指定文化財）など、中世の実相寺の繁栄を物語る文化財が数多くあります。
また、方丈や庫裏は、江戸時代の禅宗建築の様式をよく残す建物として国の登録文化財になっています。