潘祕（?—?），三國孫吳武陵郡漢壽縣（今湖南省漢壽縣西北）人，潘濬之子，潘翥之弟。
孫權把姐姐的女兒陳氏嫁給潘祕，調任湘鄉（今湖南省湘鄉縣）令。襄陽習溫擔任荊州大公平。潘祕經過拜望習溫，問他：「先父原來說君侯當為州里議主，現在果如其言，不知道州里誰當代替你？」習溫回答：「沒有比潘君你再合適的了。」後潘祕為尚書僕射，代替習溫為公平，很得州里的贊譽。
