潘岳，字安仁，荥陽中牟人。祖父潘瑾，是安平太守。父亲潘芘，是琅王牙内史。潘岳年少时以才智聪颖著称，乡里称他为奇童，认为可与汉代的终军贾谊匹配。早年被征到司空太尉府，选举为秀才。泰始中年(268)，武帝司马炎亲自耕田，潘岳作赋赞美其事。潘岳才华名声在当世为第一，被众人嫉妒，于是滞留了十年。出任河陽令，自负有才华而郁郁不得志。当时尚书仆射山涛、领吏部王济、裴楷等都被武帝亲近礼遇，潘岳内心很不以为然，便在阁道上题写了一首歌谣：“阁道东边，有条大牛王济危轭，裴木香为革酋，和峤催促不得休。”不久转任怀县令。
转任怀令。由于当时客舍追逐小利废弃农耕，奸邪婬乱亡命之徒，大多凑聚在一起，败坏法津，祸乱政令，皇帝赦令除去。十里一个官建的客栈，让贫穷的小户老少守护着，又派官吏掌管，按客舍数收税钱，潘岳上奏议道：
“谨案：客舍的由来很久了，行路人依赖它停顿歇息，居住的人少收点费用，交易往来，各得其所。官家没有徭役赋税，因过往行人获利，恩惠施加百姓而公家没有一点耗费。古语说：‘许由推辞帝尧的任命，而住在客舍。’魏武帝曹丕也认为合宜，他在诗中说：‘客舍整顿设置，勾通往来商贾。’如此说来，那么从帝尧到现在，没有不准私用客舍的法令，只有商鞅怨恨它，那本来不是圣世的言论。如今四海已经会同，九服都能纳贡，四面八方往来，为公私而奔波的人布满路途。京城附近往来的人更加车辐凑集，客舍也稠密。冬天有温暖的房屋，夏天有凉爽的林荫，喂养马匹的厩圈成行，器用保障供给。劳累的牛必定歇驾，乘凉的人就近投宿，发车或卸鞍，都有憩息的处所。
“另外各种抢劫盗贼就是在边境绝迹的地方兴起，在人多的地方中止。如果十里萧条，则奸邪不轨之心就产生；道路和客舍相连，则寇贼震慑。再说一听到呼叫声就有救援，事情已发就有人追赶，不救援的人有罪，不追赶的人遭惩罚，禁止残暴逮捕逃犯，常常有人主管。所有这些都是私建客舍的优点，也是官建客栈所缺乏的。另外行路人贪求路程，买粮做饭，都在早晨和傍晚。盛夏之时白天炎热，又只好星夜兼程，如果加以限制早早关闭官家客栈。有的为了避开客栈晚上关闭，便跑到路旁躲藏，这就成了藏匿盗贼的渊源。如果认为客舍大多败坏法制教化，那么官办的客栈，又都是什么人？那河桥梦津等地，解券契交钱财，高官督察，计算收入校订支出，几品郎官在两岸相互检查，尚且害怕有失误，所以那是用利禄悬赏，按功劳计报酬。现在低贱的官吏等人，独自专断官家客栈的赋税，主管开关客栈的权力，仗着不用校点的权势，正好成为道路上的蠹虫、奸利繁殖的原因。如果能遵循历代的旧风尚，获得行客和居住者的欢心，使客舍洒扫干净，等着征夫旅客选择合适的人家歇息，难道不是众百姓翘首期望的吗？”
请命的公曹陈列这个意见，朝廷依从了。
潘岳频繁执掌二邑，勤于政绩。调任补充尚书度支郎，迁任廷尉评，由于公事免职。杨骏辅政时，选拔突出的吏佐，引用潘岳当太傅主簿。杨骏被诛后，潘岳也除了名。当初，谯地人公孙宏年少，孤独贫穷，寄居在河陽种田，善于弹琴，又很会写文章。潘岳当河陽县令时，爱他的才能技艺，招待他很厚道。至此时，公孙宏当了楚王司马玮的长史，主管生杀大权。凡是随杨骏的属官仆从都应受到株连；同官署的主簿朱振已经被杀。潘岳当晚急事在外，公孙宏对司马玮说他是暂时代理职务的官吏，所以得以幸免。不久，选为长安县令，作《西征赋》，记述所经过之处的山水人物，文辞清雅旨趣深远，言辞多，不著录。征补为博士，还未入召，便因母亲疾病而离官免职，不就任著作郎，转任散骑侍郎，迁任给事黄门侍郎。
潘岳性情轻浮急躁，追逐世利，与石崇等人谄媚侍奉贾谧，每次等到贾谧出来，便总是跟石崇二人望着尘土下拜。诬陷愍怀太子的文章，是出自潘岳之手。贾谧有二十四个朋友，潘岳是排在最前头的一个，贾谧的《晋书》断限，也是潘岳的文辞。他的母亲多次训诫他说：“你应当知足，为何要贪求不已呢？”可是潘岳最终不能改。仕宦之路既然不通，便作《闲居赋》。
当初，其父潘芘当琅王牙内史，孙秀作潘岳的跟班，为人狡诈而沾沾自喜。潘岳憎恶他的为人，多次鞭挞侮辱他，孙秀常常怀恨在心。到赵王伦辅政时，孙秀当中书令。潘岳在省内对孙秀说：“孙中书令还记得过去我们曾打交道否？”孙秀回答说：“心中藏之，何日忘之？”潘岳由此知道自己不能幸免。不久孙秀便诬告潘岳和石崇、欧陽建密谋遵奉淮南王司马允、齐王司马礒一起作乱，于是诛杀了他，夷灭三族。潘岳将到刑场时，与母亲诀别说：“辜负了阿母。”当初被收捕时互相都不知道，石崇已送到东市，潘岳后到，石崇对他说：“你也如此啊！”潘岳说：“可算是白首同所归。”原来潘岳在《金谷诗》中说：“投分寄石友，白首同所归。”便应了此谶。潘岳的母亲和哥哥侍御史潘释，在燕地做县令的弟弟潘豹、司徒掾潘据，以及潘据的弟弟潘说，兄弟的儿子，已出嫁的姑娘，不论长幼同时被害，只有潘释的儿子潘伯武逃难才得以幸免。潘豹的女儿与他母亲相互抱头痛苦不可分开，遇有诏书原谅宽宥了她们。
潘岳姿容美丽，辞藻艳丽，尤其善于制作哀悼诔祭的铭文。年少时常常挟着弹弓出洛陽道，妇女遇到他，都手拉手围成圆圈环绕，把果子投给他，于是满载而归。当时张载很丑，每次行走在路上，小儿便用石块瓦片扔向他，张载十分颓丧地返回。