据史书记载，皇甫坦“善相人”，有未卜先知之术。《宋史》中有一则记载:湖南帅李道雄素来敬奉皇甫坦。有一次找来自己的几个女儿请他看相。当他看到其中一女时，大惊道:“是他日为天下母。”既而将此事告诉宋高宗。宋高宗遂将此女许配给皇太孙、孝宗第三子赵惇。赵惇登基为帝后，李氏贵为皇后，是为慈懿皇后。李氏“性妒悍”，权力欲极炽。入主后宫不久便操纵宫中事务，使朝政为留正等反战主和妥协派所把持，陈亮、辛弃疾等一些主战派人物遭到排挤打击，并造成宋光宗与其父宋孝宗间的不和，导致宋光宗退位。所以宋光宗大为恼怒，迁怒于皇甫坦，大骂“皇甫坦误我”。该记载说明皇甫坦与高宗关系确实密切，“相人”有一套。遗憾的是，他却因此而失去恩宠。从青城山祈祷还庐山后，便没有再出山。宋淳熙五年(公元1178年)农历9月，他抱憾地离开了曾红极一时的尘世，庵也随之没落，至明代更为僧徒所据，改为庙宇，道迹无存。