关于钦山寺的由来还得从一则传说说起：
公元712年胡人犯边，唐玄宗派兵迎敌却首战失利，胡人兵马进逼，消息传到皇宫，玄宗沉默良久之后大叫：不教胡马度阴山，谁也？近臣答道：李广也。于是玄宗便派人到李广家乡李家祠堂旁修建了一座寺院，祭祀英雄在天之灵。说来也巧，第二仗大获全胜。此寺即钦山寺前身乾明寺。其实，《史记·李将军列传》记载：汉名将李广，原籍“槐里”（汉县名，在今陕西兴平县东南），后来迁居成纪（汉县名，在今甘肃泰安县北）。李广非澧籍人，但此处确有李氏祖祠。
据民国三十三年续修李氏族谱一支系谱，澧县李氏“世居澧南钦山寺侧为县望族”，谱上绘有李氏老宅图、祖祠图、祖茔总图。遗憾的是一直没有找到总谱，但依照姓氏起源考，周朝李利贞为李氏始祖，此后李氏一脉相传，李唐以前天下李姓一家（唐皇素有以李姓赏赐臣下习惯）。李姓历史名人谱中有“李广，汉代名将”的记录，可以断定李氏祖祠的祖宗堂上高供李广神位，所以后人据此传说李广故里在此。
但同样依据《史记》记载，李广可能到过此地。“吴楚军时，广为骁骑都尉，从太尉亚夫击吴、楚军。”既到楚地征讨，又听说此处有李氏祖祠，路过或专程拜谒祖宗、联络借助宗族势力，也在情理之中，所以说那棵据说幸存2500年的伤痕累累、斑迹重重的古罗汉松，真有可能拴过李广的战马。另据《州志》载，在州西南十里的钦山峪，有钦山、雷锋、彭岭等层峦叠嶂，环周三十余里，草木荟蔚，一碧相连，泠水会流，东注于澧。中有钦山寺。相传寺庙基下，即为渔仙洞，“深不可测，风声怒号，毒蛇藏焉，故迭石其口，建庙镇之。”传说“迭石”者即为汉李广将军。南宋初桃源籍进士曾任澧阳县尉，写过一首五言长诗《钦山渔仙洞寻龙君御所在》记叙其事（见高守泉辑注《历代名人咏澧州》）。
当时寺内有一镇寺之宝，僧俗称之“九火铜菩萨”重百余斤；“九火”指经九次冶炼的高纯度精铜，雕作精美绝伦，也不知是哪朝哪代宝物，已无从考证；但为历代方丈续传，从来秘不示人。由于历史的原因，雄伟的殿宇，高大的佛像荡然无存，寺内什物无几，哪里去寻这镇寺之宝！历史给我们留下的仅有几行记载，一棵千年古罗汉松，一口唐时水井，一片瓦砾。 乾隆皇帝在乾隆二十六年下江南巡视，途径澧州，前往古钦山乾明寺礼佛，听闻于钦山大雄宝殿堂上，闻有镇寺之宝（即传说中的钦山寺镇寺之宝————---九火铜菩萨这尊铜佛由历代方丈主持传承保管，秘而不宣至清朝末年，寺毁僧散，这尊铜佛从此也没了下落，乾隆又赠金匾一块，题名<；钦山寺>；故钦山寺之名沿用至今；后于清嘉庆年间立碑记载存于寺中为佐证，解放初期有不少老者都见过此碑。大跃进年代，在那种与天斗，与地斗，与人斗其乐无穷的思想鼓动下，钦山寺在破四旧、立四新的口号中被毁，一栋栋红墙绿瓦一夜坍塌，两人围的大立柱和梁上园木领条树被拖去修了县政府和学校及澧州文庙，寺中碑林抬去填了水库江堤；从演佛法师住锡钦山寺，主持全面工作后，四处拜访老者，查阅历史资料，将失散的古寺之物件寻访回寺，现找回部分石碑和和尚墓塔等物，但惟有这乾隆皇帝所赠不见，是为遗憾！钦山寺历史上从皇帝，大臣到访，更有不少文人墨客和达官贵人到此朝拜，如郑板桥，李商隐等独立民主，自由的先驱，国父孙中山先生也曾谴其秘书刘善初给钦山寺送来一套梅、兰、竹、菊的名画。今有乾隆八年郑燮所赠竹联一付，现存于钦山寺
贺龙拜访钦山寺
贺龙原本名“文常”，字“云卿”，传说“贺胡子”（贺龙）一次在钦山寺关王殿见“赵子龙师卧龙龙兄龙弟，张翼德尊玄德德君德臣”这幅对联后，因仰慕赵云之情甚殷，这才将自己的大名改为“贺龙”，以致镇守澧州之后更是驰骋疆场，叱咤风云，大名如雷贯耳，让敌闻风丧胆，跻身开国“十大元帅”之列。1920年7月19日，澧州镇守使王雅被其副手卿衡谋杀于慈利猫儿峪。王雅的儿子育寅于7月24日在慈利东岳观率9个团7000人举兵报仇，自任常澧护国军司令，引贺龙为援手，又派人亲报广东大元帅府孙中山，孙中山对他们大家赞赏。7月29日，王、贺攻进澧州。卿衡逃走，不久，孙中山委任林国轩为湘军靖国军总司令。贺龙率部始驻彭山，贺龙驻军彭山时，几次去钦山寺访禅，并到寺中吃过斋饭。