李浚之出身世代书香门第。据《家谱》记载，祖上“累世耕读”，田产散居于古鬲津河西岸。李浚之的祖父李长庚，字子耆，晚号癯翁。年轻时乡试屡次不中，后弃学从商四十余载，从此家业振兴，富甲一方。李长庚虽以商兴家，但倡导以德治族，在乡里行善积德，从不做损人利己的事情，在地方上威望甚高。李长庚嗜书如命，对族人勤于教诲，一生积累十六册读书摘抄笔记。1915年，编辑成《臞翁丛钞》两卷出版。
李浚之的父亲李品三，晚号榆园主人，是李长庚的第三个儿子。在当地以孝道出名，为人豪爽洒脱，一生广结天下艺林名士。1920年，李浚之在和庄之南相距一牛鸣地购置百亩田地而建园。因园内有榆树近万棵，故命名为“榆园”。园中建别墅，以环境幽雅而闻名大江南北。李浚之堂兄李清芬绘制“榆园图”一幅，张权、张检、王孝禹、吴昌硕、翁斌孙、华世奎、张克家、张颐、张林鹤、张阿龄、严修、章钰、王汉辅、吴重憙、荣庆、蒋式瑆、赵元礼、谢宗楷、姜筠、李多节、张瑞荫、张榛、张之节、隋思湛、王振声、杨寿枢、蒋方虁、洪瑞甡、汪鸾翔、鲍振镛、徐宗浩、刘家琛等当时的文人雅士为“榆园图”题写诗文。1932年，李浚之将榆园图和诗文题记辑成《榆园图题咏》一册出版发行。
李浚之兄弟三人，李浚之为李品三的次子。在家庭的熏陶下，兄弟三人秉承祖训，研经读史，修身家齐，嗜金石篆刻，好诗文绘画。