1252年（建長04年) 後深草天皇の勅願により現在の熊野皇大神社の別当寺として開山した。
1590年（天正18年) 豊臣秀吉が小田原の北条征伐の時、「碓氷峠堀切りの合戦」に巻き込まれ神宮寺僧侶は軽井沢宿に避難する。
1709年（宝永06年) 現在の旧軽井沢の地に移り、本堂建築に向け墓地を移転する。（その後、銘々墓地は、軽井沢が別荘地として発展の障害になる為、大正初めに西梅原地籍に造成し移転する。）
1710年（宝永07年) 本堂建立に着手する。
1927年（昭和02年) 「関 俊成」住職就任。
1950年（昭和25年) 「関 偉舟」住職就任。
1989年（平成01年) 「関 淳俊」住職就任。