潘姓是一个多源的姓氏，其主要来源有以下五支：其一，以邑为氏。系出自姬姓，是
周文王第15子毕公高的后裔。西周初年，毕公高之子季孙(或曰伯季)食采于潘，因以为氏。潘地究在何处，史无明载，当在今陕西北部某地。其二，以国为氏。春秋时期有一个潘国，其地约在今淮河流域的河南固始一带。潘国后来为
楚国所并，设置潘邑。潘国子民遂以原国名为姓，以表达对故国的思恋之情。其三，以字为氏。系出自芈姓，具体出于何人不详，后因故改姓潘。楚成王时，太子商臣的老师潘崇即是此支潘姓发展初期的杰出人物。潘崇在商臣继位后任太师之职，使潘姓成为楚国望族。其四，少数民族改姓。北魏孝文帝迁都洛阳后，
鲜卑族的三字姓破多罗氏被改为潘氏。其五，赐姓潘氏。清朝康熙末年，台湾岸里大社(今台中市神岗)酋长阿穆归顺清廷，被赐姓潘。
光绪年间，台湾高山族人相继归附清廷，被赐姓潘。发展至今，台湾高山族中，潘姓已成为人数最多的姓族。