皇甫谧，字士安，幼名皇甫静，是安定朝冉阝人，汉代太尉皇甫嵩的曾孙。过继跟着后叔父，迁居到新安。二十岁还不好学，东游西荡没有节度，或认为他是白痴。曾经得到瓜果，便送给后叔母任氏。任氏说：“《孝经》上说：‘虽用三牲奉养，如果让我们担忧，还是不孝。’你现在二十多岁，目不存教育，心不纳道义，没有什么能安慰我。”于是感叹道：“从前孟母三次迁居使孟子成仁，曾参的父亲杀猪以行教诲，究竟是我居住时没有选择好邻居哩，还是教育缺少方法呢？为什么你愚钝得这么厉害呢？修身心重学业，是你自己得到好处，对我有什么呢？”因而对着他流泪。皇甫谧于是感动激愤，到同乡人席坦那儿读书，勤奋不怠。家中贫穷，亲自耕种，带着经书务农，于是博通典籍和百家之言。皇甫谧沉稳闲静清心寡欲，开始有了高尚之志，以著述为务，自号为玄晏先生。著有《礼乐》、《圣真》论。后来得了手脚麻木之症，还是手不释卷。
有人劝皇甫谧修名声广交游，他却认为不是圣人谁能够做到入仕和隐居并存呢？居在田里之中也可以尧舜之道为乐，又何必崇尚世利，烦劳于官事，然后才成名呢！”便作《玄守论》来回答。论中说：
有人对我说：“富贵是人们所希望的，贫贱是人们憎恶的，为什么等着自己受穷却不改变呢？况且道所看重的是治世；人所赞美的是逢时。先生你年迈齿变，饥寒不能赡养，老死沟壑之间，又有谁知道呢？”
我说：“人所最珍惜的是生命；道所必定保全的是形体。生命形体所不能侵犯的是疾病。如果扰乱全身之道而损害性命，怎么能摆脱贫贱保存自己的欲望呢？我听说拿别人的俸禄就要为别人忧虑，身体强壮的人尚且受不了，何况我是体弱多病呢？再说贫困是士之常情，卑贱是道之事实，处在常情合乎事实，到死不忧虑，跟烦劳精神得到富贵相比哪个更好呢？另外活着不被人知道，死去不被人叹惜，是最好的了。哑巴聋子这种人，是天下最有道的了。一个人死了天下都恸哭，认为是损失，一人活着四海都高兴，认为是补益。然而悲伤和高兴都不能对生死有所补益。因此至道不会减少，至德不必增益。为什么？它本体充实。如果运转天下人的思念来追寻损生的灾祸、增广没有补益的疾病，哪算是最高的道德呢？只有无损，才是最坚固的了；只有不增益，才是最厚实的了。坚固所以最终才不能使他减少，厚实所以才最终不能使他瘠薄，如果能领悟到坚厚的实质，处于不薄的本性，立于损益之外，游离于形骸之外，那么我的道就完满了。”
于是不做官。沉溺于学习典籍，废寝忘食，当时的人称他为“书婬”。或有人告诫他过分笃学，将会损耗精神。他说：“早晨得知真理，晚上死去也可以，何况寿命长短是上天注定的呢？”
皇甫谧的叔父有了儿子，已经二十岁，到他四十岁时死了后母，于是他返回本宗。
城陽太守梁柳，是皇甫谧父亲叔伯姐妹的儿子，要上任时，别人劝他为梁柳饯行。他说：“梁柳当百姓时拜访我，我送迎不出门，吃的不过是腌咸菜，贫穷的人不用酒肉为礼。现在他当郡守我去送行，这是看重城陽太守的职位而轻视了他梁柳这个人，哪里合乎古人之道呢？这不是我能心安理得的事。”
当时魏郡召为上计掾，推举当孝廉；景元初年(260)，相国征召，他都不应召。后来乡亲劝他接受任命，他为此作了《释劝论》来表达志向。其辞说道：
相国晋王司马昭征召我等三十七人，等到泰始年(265)司马昭受禅登基，一同受命的人没有谁不到朝廷，都拜为骑都尉，或者赐爵关内侯，进宫侍奉朝见，享受侍臣的礼遇。只有我疾病困扰，没赶上国家的宠幸。同宗的父老兄弟和我的同僚，都以为是天下大庆，百姓依赖之世，即使不能成礼，也不应该安睡，纵使病重，也合当出仕。我考虑到古今圣明君主的礼制，无论大小事情，都按实情决断，我实力不能担负重任，哪是怠慢呢？于是我病卧在床上感叹道：“进取是自身的光荣；退隐，是命运中的实情。假使我没有疾病，持有高尚的隐居不仕的节操，尚且可以被宽容，何况我的确病势沉重呢？所以尧舜的时代，士人中有的收敛隐居的形迹，有的为国事过家门而不敢入。皋陶这些人之所以两遂心愿，是遇到了好时代。所以朝廷重视致力为国的臣子，民间赞美保全志向的士人。他们到底是什么人呢？方今圣明的帝王兴起，名声与前哲匹配，仁道不远，也应该如此啊！客人或用常理逼迫我，或为我违背世事而忧虑。我认为朝廷有宽厚圣明的君主，下面一定有接受旨意的人，天网恢恢，入仕与否是一样的，对入仕还是隐居又有什么可怨呢？”于是研究宾客主人的论点，解释别人的责难，名叫《释劝》。
客人说：“听说上天有日月星辰以显示光明；大地蕴藏神灵，以吐生万物。所以黄钟依次排列，律吕形制不同。因此春天百花开放，夏天果实累累，秋天凉风除暑，冬天结成冰霜。人的规律相同，顺应玄机而发。天地人三才相连获利，如同符契相合一样明白。所以士人中有的一同仕于唐尧，有的事先感悟于有莘氏，有的托梦感动国君，有的放下渭水滨的钓竿，有的敲着牛角打动齐桓公，有的脱下褐衣当秦国宰相，有的不顾谤议而安定郑国，有的乘坐马车拯救艰难，有的铺荆坐地以求友，有的借助道术于黄石公。所以才能够龙腾虎跃，出类拔萃，技超群辈，扬高声奋远威，奏出宇宙清越的声音。由此看来，仕进行德贵在及时，为什么屈居在此而不施展呢？现在你凭着超群出众的才智，精心研习六艺经典，挚意探求众妙之门也有年月了。既然遇到皇帝禅位的朝廷，又值投身仕宦的时刻，委身圣明的君主，与知己之人共处，时世清明治道纯真，可以高飞，这真是我们洗发云汉、鸿鹄高翔的时代。而你藏匿光彩追求林薮，内含美质却未显示，飞龙潜藏于九泉，固执地坚持自己的高节，抛弃通向康庄之路的途径，保守耿介之人的小节，不是也跟道的旨趣乖谬了吗？
“再说我听说北斗转动则天位正，五常之教排定顺序则人理定。如今王命恳切周至，交给有司考虑，如不受命，在上招致违背君主的牵累，在下招致惊扰众人的怀疑。通达之人以齐同为贵，你何必独自不同？群贤能依从，你何必独守初衷？如今同时受命的都已来到，如同饥饿不等就餐，便在仕途上显扬文采，都已位至天官。而你却独自滞留在隐居之所，放浪形骸于世外，退隐于家园，不瞧一眼美好事物，恩惠不施于人，行为不合于道，身遭大祸，性命难保。如果太陽神羲和快马加鞭，等到大火星西坠时，你再临川恨晚，还能补益什么！重视光陰轻视璧玉，是圣人所约定的，《诗经》上说‘颠倒衣裳’，表明有所规劝。你应明察先哲的楷模，符合圣明朝廷的诚心，灵翼冲向云天，天池沐浴龙鳞，推开宫门，步入宫廷，登上玉阶，陪伴帝君，会迅速变得光彩照耀，更有许多流风余韵。你辅佐唐虞那样的君主，教化尧舜那样的臣民，宣扬弃置刑法而不用的政治，匹配殷周那样的大臣，记功于大钟，并立秩序常伦，活着享受钟鼎之食，死后成为显贵之臣，不也美好吗？而你却忽视金银的光辉，忘却官服的灿烂，辞去光彩的容服，守着旧布粗衣到老，不也太辛苦了吗？”
主人我笑着回答说：“唉，你们可以说是只见艳丽的外观，却没看到隐士的形迹；只见世俗人不被容纳，却不明白圣君的兼爱；只知道按规矩尺寸求方圆，却不知道大形体无边无际。所以说，天空玄黄而清彻，大地寂静而安宁，包含万类，广被群生，寄身圣世，依托天道神灵。如同春天陽气散发，冬季陰气凝聚，泰液池蕴含光彩，太极元气浑然蒸腾，众人仰慕造化，大制征兆不同。所以入仕的人享受天禄，隐居的人安于丘陵。因此寒暑冬夏递相推衍，四个星宿递相居中，陰陽不用治理，运行变化无穷，自然安排确定，能够两全其美。二物都灵验，这才叫大同；彼此无怨恨，这才叫至通。
“到了衰落的周朝末年，看重欺诈，轻视诚信，为权力所牵制，凭财利求殊荣。所以苏秦出来游说而六国合纵，张仪入秦而连横势成，廉颇活着而赵国受尊重，乐毅离去而燕国被轻视；公叔痤病死而魏国衰败，孙膑在魏国受刖刑而齐国安宁，范蠡文种被亲附而越国称霸，屈原遭流放而楚国倾覆。因此国君没有固定的法令，臣属没有固定的美名。损害仁义废弃诚信，或衰亡或兴盛。所以冯谖弹剑感动孟尝君，子家子有返还赏赐的说辞，项羽施展拔山之力，蒯通陈述鼎足三分的形势，东郭先生被田荣劫持，颜阖因为被鲁君逼着入仕而羞耻。这些都是抛弃礼义丧失本真，只是以一朝一夕的急难为荣，哪里是推行大道的根本呢？
“至如圣明的国君创制化物，让德行跟二皇参同，使风俗跟虞夏齐一，要温温和顺，不要斤斤明察；要混混不息如深泉，不要浩浩荡荡而显名；要松散而无拘束，不要向刻契那样为绳打结；要茫茫而无边际，不要区区而细分别；要浑然朴实而文采日益清楚，不要一下子显示出冰雪之白，要厚道地任用德政，不要琐碎地执行苛法。因此，抓住时机者行动有成，喜欢隐遁的人无所逼迫。所以说，一明一暗，得道的标准；一张一弛，符合礼义的常规；一浮一沉，一并得到它的本真。所以君主有勤劳谦虚的爱好，下面就有不求名誉的臣子；朝廷有聘用贤能的礼节，郊野就有逃窜躲藏的小人。因此支伯以幽疾为由拒绝了唐尧，而老子在西郊寄托踪迹，颜回安于陋巷以成名，原思把十分贫困当作欢乐，荣期用三首乐曲感动孔子，黔娄凭布衾身份获得谥号，段干木守道不仕而能保存魏国，荆莱志向高远向江崖，严君平凭占卜而道术显著，四皓在洛水之滨潜藏至德，郑真靠躬耕获美誉，幼安能向今人发布号令，这些人都持有难以改变的节操，守住不改变的旨意，遇到超群拔俗的国君，才保全了他们的志向。所以如果有独自能决定的计策，就不用同众人一道商量；能守住不动的安定，就不用同众宾谋虑。所以能够抛弃外表的豪华，疏通内心的真道，除去显赫的明路，步入昏昏的尘埃，宛转各种情状的容貌仪表，排解空寂来寄身，安居无事之宅，结交放弃名利之人。轻如鸿毛，重如湮灭，不能减少什么，测量它会更加幽深。真是我们这些人的师表，也是我迅疾奔走不能达到的。你们议论我失去常理惊骇众人。我也奇怪你的直论不够折中。
“才能不适用，是众人所指斥的，我卧病多年，是朝廷所遗弃的，因此胥克因蛊疾而被废弃，左丘明就记载下来；伯牛有病，孔子为他感叹。黄帝在演九经中创立典制，岐伯剖腹除掉肠子，扁鹊到虢国而死人回生，文挚为齐王徇命，医和在秦国晋国显露医术，仓公在汉代探求到医学秘密，华佗以独特的见识保存了医学精髓，张仲景的药方精妙绝伦；只遗憾我活着没见到这种人，所以向明主请命诉苦，请求研究失传的学问。的确我活得太辛苦，希望诚心能降霜露，所以待罪而穷居。”
此后晋武帝频频下诏书敦促不已，皇甫谧上疏自称为草莽臣，他说：“我因衰病疲困，迷恋于学术旨趣，因病而弃官隐退。逍遥于山林，人伦纲纪没放弃，与鸟兽为群。皇上选拔人才，并收草莽之士。因此皋陶选作司法官，不仁的人远遁。我虽然愚钝瞑顽，但备受晋朝的恩德，还是知道唐尧时的人击壤之乐，本应该奔赴京城，在阙外向皇上称寿。可是我命运不好，招来灾祸，长久地被重病缠绕，半身麻木不仁，右脚偏小，十九年了。又因饮用寒食药，超过节度，辛苦荼毒，到现在已经七年了。数九寒冬袒露身体饮冰，三伏酷暑烦闷不堪，外加咳嗽气逆，有时像热疟疾，有时像伤寒病，浮躁不堪，毒气下流，四肢浮肿酸痛。于今身体虚弱，救命于顷刻之间，父兄不忍出行，妻小长言诀别，但迫于皇威，勉强挟持上路，疾苦加重，不能前进，只好委身待罪，躺在床上叹息，我听说韶乐卫风不能一齐奏，雅乐和郑风不能并行。所以谷阝子到周室，灾祸延及王叔；虞丘称贤之时，樊姬就闭口不言。君子和小人，行礼器具不同，何况我是才智低下，又怎能混杂在贤臣之中呢？庸夫穿锦衣，与他的服饰不相称。我私下听说同时受命之士都已到齐，只有我有疾病，在床蓐负罪，虽然贪恋明主之时，却惧怕死在路途。假使我没有病，现在又已遇到尧舜之世，那么我坚守隐逸之志，也会被容许。我听说上有圣明的君主，下面就有叙述情委的人。希望皇上留意原谅，另外，褒扬杰出才士，到傅公岩求隐士，到谓水边寻钓者，不要让渣滓长期玷污了清流。”皇甫谧言辞恳切备至，于是朝廷同意。
一年后，又推荐为贤良方正，都没就任。自己上表向皇帝借书，皇帝送给他一车书。皇甫谧虽然身患重病，但阅读书籍不懈怠。当初服用寒食散，药性与病相抵触，常常病得不像人，曾悲愤至极，想引刀自杀，经叔母劝谏才停止。
济陽太守蜀人文立，上表认为任命士人有烦琐的贽礼，请求除掉这种礼节贽币，下诏同意了。皇甫谧听说后感叹到：“亡国的大夫不能同他商量谋划保存国家，竟然要革除历代的礼制，可以吗？‘束束布帛堆成堆’是《易经》上明确的礼义，用黑色和浅红色的布帛为贽，自古有之。所以孔子说早晚努力学习礼等着别人询问，用席上的珍宝以待聘用。士因此要行三次揖让礼才能进见，说明进见之难；谦让一次就告退，说明辞去太容易，至如商汤对伊尹，文王对姜太公，或亲自到莘野，或立即同车而归，惟恐礼节不重，又哪能吝惜礼节周到的费用呢？再说一个礼节不周到，贞节的女子也会感到耻辱，何况任命贤士呢？孔子说：‘子贡呀，你可惜那只羊，我可惜那种礼。’贽礼为什么要抛弃呢？朝政失去贤人，在这方面就体现出来了。”
咸宁初(275)，又有诏书说：“男子皇甫谧沈静有素，坚守学业爱好古籍，与流俗旨趣不同，任命他为太子中庶子。”皇甫谧坚决推辞说病重。天子起初虽然不勉强他，不久却又下诏征他为议郎，后又下诏补为著作郎。司录校尉刘毅请求任命他为功曹，他都没应召。撰写论文谈葬送之制，名叫《笃终》，其文说：
我认为生存死亡是天地的定制，人理必定会如此的。所以古礼到六十岁就制办寿具，直到九十岁，各有等级差别，这是防终的常法，难道是流俗多有忌讳吗？我虽未到制办寿具的年龄，但是疾病长年缠身，连遭丧难，神气亏损，疲病到极点了。时常担心早期夭折，恐怕不能寿终，因此粗略地陈述我的心怀。
人所贪求的是生存，所憎恶的是死亡。虽然贪求，却不能延长生命，虽然憎恶，也不能逃遁死亡。人死后精神形体消散，魂魄无处不到，所以精气归向上天；依托的性命完结，形体返回本质，所以尸体埋在大地。因此精神没有形体，就与精气一同升降；尸体不能长期保存，与大地合为一形。形神不隔断，是天地之本性；尸体与大地合并，是返回本真的道理。如今我活着不能保护好七尺身躯，死后又何故要用一个棺材隔离土地呢？如此说来衣食是用来玷污尸体的，棺椁是用来隔离本真的，所以桓司马以为做石棺还不如死后速朽，季孙氏的美玉陪葬跟暴露形骸相同；宋文公厚葬，《春秋》认为华元不像臣子；杨王孙裸葬，《汉书》认为他比秦始皇贤能。假如魂魄有知，那么人鬼礼制不同，黄泉的亲族，死者多于活人，一定会准备各种器物，等待后死之人。现在如果以生存比况死亡，不是灵验的主意。如果死者无知，则白白夺走活人的财用，活人的财物减少而没有益处，却诱发了奸邪之心，这是招致暴露形骸的灾祸，增加对死者毒害的办法。
埋葬就是收藏，收藏就是要人们看不见。如果做大大的棺椁，准备许多财物，无异于把金子埋在路边并在上面写好标牌。即使最愚蠢的人，也一定会讥笑。用丰盛的财物厚葬而开导了奸邪之心，有的剖开棺椁，有的牵拽形骸，有的剥去衣服捋下胳膊上的金环，有的摸着肠子找珠玉。就算焚烧尸体，也不会比这更让人痛心。从古到今，没有不死的人，也没有不被盗掘的坟墓。所以张释之说：“假使坟墓有引起贪欲的财物，即便固若南山还会有缝隙；假若坟墓中没有引起贪欲的财物，就算没有石椁，又有什么值得忧戚呢？这话正确啊，真是我们的老师。赠送死者的礼物加厚，不是厚待了死者，而是活着的人自己的作为。顺从了活人没有益处的意愿，抛弃了死者应有的归属，这是聪明的人所不做的。《易经》上说：“古代安葬，用柴草当衣服，安葬在山野，不垄土不树碑。”因此死后能返回本真，不会因安葬死者，而伤害活人。
所以我要早晨死晚上就安葬，晚上死早上就安葬，不设棺椁，不施缠布帛，不修沐浴，不制新衣，殡口含的珠玉一律去掉。我本想裸露着形体入坑，身体与土接触，又怕人们习染风俗已久，立即改变很困难，所以现在粗略地定下葬制。奢侈不用石棺，节俭不露形体，气绝以后，便拿出合时的服装，戴幅巾穿旧衣，用粗竹席包裹尸体，麻绳捆住两头，放在床上。选择不毛之地，挖个坑深十尺，长一丈五尺，宽六尺，坑挖好了，抬着床到坑边，把尸体从床上抬到坑里。平生之物，都不能随带，只带《孝经》一卷，以示不忘孝道。粗竹席之外就可封土。填土与地平齐，种上原来的草，让它在上面生长，不要种树木，不要铲除地面，使之不留痕迹，无处寻找。看不到想要的东西，那么奸邪之心就不生。始终没有惊惧，千载不用忧患。形骸与后土同体，魂魄与元气合灵，真是厚爱之至。如果有后来死亡的亲属，不要合葬。合葬从周公开始，不是古制。舜葬在苍梧，他的两个妃子没有合葬，以此为定，何必用周礼。不要问师工，不要求卜筮，不要拘于俗言，不要张设神座，不要十五天内早晚上食。礼制不在墓地设祭，只是每月在家里摆席祭奠，满一百天就够了。临祭一定要在白天，不要在夜晚。服丧在家中常居，不要设庐守墓。古代不堆高坟墓，是明智的。现在堆坟植树，真是愚蠢。如果不这样做，就是在地下剖戮尸体，死后又加伤害。灵魂如果有知，就会含冤悲愤，长久地做个恨鬼，杨王孙之子，可以此为戒。临死之誓难以违背，希望不要改变。
最终不入仕。太康三年(282)病卒，享年六十八岁。儿子童灵和方回等遵从他的遗命安葬。
皇甫谧所著的诗赋诔颂论等很多，又撰有《帝王世纪》、《年历》、《高士》、《逸士》、《列女》等传，《玄晏春秋》等，都受到世人重视。他的门人挚虞、张轨、牛综、席纯都是晋代有名的臣子。