关于潘氏的姓氏来源说法为下:
出自姬姓，为周文王子毕公高后。毕公高封其子季孙于潘，附庸于毕国。据说其地在今陕西省北部，子孙以采邑命氏。
出自芈姓，春秋时楚国有潘氏，见于家传者始租为潘崇。潘崇官拜楚穆王太师。 《 通志。氏族略三》 :"潘氏，芈姓，楚之公族，以字为氏。潘崇之先，未详其始或言毕公高之子季孙食采于潘，谬矣。潘岳家风诗自可见。晋亦有潘父，恐自楚往也。汉有潘瑾，后汉有潘勉。"
出自北方鲜卑族，后魏时，代北鲜卑有姓破多罗者，后改潘氏。
由于《史记》载有潘崇的事迹,故潘氏大多以潘崇为始祖。潘崇的儿子潘尪，为楚大夫;孙子叫潘党，继为大夫。
聚集地(迁徙分布)
潘姓，从人数上说，是台湾的第四十二个大姓，大都聚住在北部的台北等县。潘姓自闽迁台的资料，却非常丰富。据记载，永历二十八(公元1673年)，有一位潘步曾在族后盖寮捕鱼;康熙二十年，有潘、蔡、王、洪、李、白六姓，倡建今高雄市旗后妈祖宫;乾隆末年，有漳州人潘盛清、潘恭人入垦今台北县石门乡的德茂、富基、七股三村，以及有潘碧公入垦同乡的老梅村等等。
堂号
"黄门堂":晋代潘岳为河阳令，累官黄门侍郎，诗作是最好，和陆机合称"潘陆"。
潘氏又以"荥阳"为其堂号。
家乘谱牒
山西:荥阳重修潘氏宗谱四卷、潘氏合谱一卷、潘氏族谱不分卷;
上海:潘氏家谱六卷;
江苏:山阳潘氏统宗谱十卷、山阳潘氏统宗谱十二卷、淮安潘氏续修宗谱、润东顺江洲潘氏宗谱四军四卷、贤庄潘氏宗谱四卷、毗陵永宁潘氏续修宗谱十二卷、潘氏族谱十六卷、毗陵桃原里潘氏宗谱四卷、毗陵棠林潘氏宗谱十二卷首一卷、潘氏宗谱三卷首一卷、荥阳潘氏家谱不
分卷;
浙江:富桐潘氏宗谱八卷、萧邑崇化潘氏宗谱八卷首一卷、萧山钱清北祠潘氏宗谱六卷、慈溪潘氏宗谱四卷、吴兴纯孝里潘氏世谱、潘氏宗谱三卷、潘氏家谱不分卷、古溪潘氏家谱十二卷、东洋潘氏宗谱八卷、华墙潘氏家谱不分卷、临海潘氏宗谱四卷、荥阳潘氏宗谱二卷:
安徽:历阳潘氏宗谱四卷、庐江潘氏宗谱十四卷、新安潘氏宗谱四卷、新安潘氏宗谱不分卷、新安潘氏源流族谱、大阜潘氏族谱、潘氏支谱、六安潘氏宗谱十卷;
江西:万载湖源潘氏族谱三卷;
湖北:潘氏族谱四卷首一卷、潘氏宗谱十九卷、潘氏宗谱四十七卷、潘氏宗谱二卷、潘氏支谱四卷;