潘姓主要源自姬姓，是周文王姬昌的后代，在西周初期的时候，周文王的第15个儿子毕公高赐封于毕地，而建立了毕国，毕公高的儿子季孙又封于潘地，最终以邑为姓形成了潘姓氏族。当然还有少部分则是和其他姓氏一样，源自少数民族改姓而来。

1. 起源自姬姓

在《五德志》中就曾经提到“姬姓的别姓分支很多，比如潘姓、养姓等”，而《广韵》一书中也提到周文王的孙子、毕公高的儿子季孙被封于潘地，季孙姓姬，他是姬友的儿子，季是他的氏，孙则是尊称，他是当时鲁国的贵族，最终也成为了潘姓的得姓始祖，当时他的后人都以潘地的地名为姓。

2. 源自芈姓

这一说法主要来自《通志·氏族略》，据说芈姓潘氏的始祖主要是潘崇，当时他主要辅佐楚穆王，因为颛顼后裔陆终的儿子季连被赐姓为芈，所以楚穆王也传承了芈姓，而他的大臣潘崇则因为有功所以被封为太师，子孙就以潘为姓了。

3.起源自少数民族改姓

鲜卑族改姓:北魏时期孝文帝进行了汉化改革，当时鲜卑族的破多罗氏被改为了潘姓，还有清朝康熙年间，台湾省的酋长归顺清朝政府，便被赐姓为潘，光绪年间又有大批的高山族人归顺朝廷，于是也被赐姓潘，所以现代台湾省不少高山族人都是姓潘的。

其他少数民族改姓:与赵姓的起源和来历一样，潘姓也一样还有其他的少数民族改姓而来，其中包含了土家族、瑶族、回族、壮族以及京族等，基本上都是汉化而来的，就算是现代还有一些潘姓氏族居住在朝鲜半岛或者越南境内。