山涛字巨源，河内怀县人。父亲山曜，是宛句县令。山涛早年丧亲，家中贫困。少年即有器量，独立不群。喜好《庄子》、《老子》，常隐居乡里，掩盖自己的志向才能。与嵇康、吕安为友，后又遇阮籍，常在一竹林中交游，志趣契合，为莫逆之交。嵇康后来被治罪，临死前对儿子嵇绍说：“有巨源在，你就不会孤独无靠了。”
山涛年四十岁才进入仕途，为郡主簿、功曹、上计掾。被举为孝廉，州里征召为河南从事。曾与石鉴共宿，夜里起来用脚踢一下石鉴，对他说：“现在是什么时候，你还在睡！知道太傅司马懿称病卧床是何用意吗？”石鉴回答说：“宰相三次不上朝，给他个尺把长的诏书让他回家就是了，你何必操心呢！”山涛说：“咄！石生不要在马蹄间来往奔走啊！”于是丢掉官吏用的信符走了。不到两年，果然发生司马懿杀死曹爽的事件。山涛遂归隐不问世事。
山涛与司马懿夫人宣穆张皇后是中表亲，因而能见景帝司马师，景帝说：“当今的吕望是想做官吧！”命司隶举山涛为秀才，授郎中职。转为骠骑将军王昶从事中郎。很久以后，又拜为赵国相，迁为尚书吏部郎。文帝司马昭给山涛写信说：“足下任职清明，高雅之操超群出世。顾念家中贫乏，今送去钱二十万，谷二百斛。”魏主曾赐景帝春服，景帝转赐给山涛，又因山涛母亲年老，赐给藜杖一根。
晚年与尚书和荄交友，又与钟会、裴秀亲近。因钟、裴二人争权夺利，山涛不偏不倚，处于中间，二人都从山涛那里得到好处而对他无恨。后迁为大将军从事中郎，钟会在蜀作乱，文帝将西征。当时魏氏诸王公都在邺，文帝对山涛说：“西边的事我亲自去处理，后方的事诚心委托于您。”以本官行军司马职务，拨给亲兵五百人镇守邺。
魏元帝咸熙初年(264)，封为新沓子。转为相国左长史，统领别营兵。当时文帝认为山涛是乡闾中素有德望的人，命太子拜见他。文帝将齐王司马攸过继给景帝，平时又看重司马攸，曾问裴秀道：“大将军开国建业，未成而亡，我只是继承他的事业，故欲立司马攸为太子，以归功于兄长，怎样？”裴秀认为不可。又以此事问山涛，山涛回答说：“废长子立少子，违背礼制，是不吉祥的。国家的安危将由此事决定。”于是才定下司马炎为太子。太子亲自拜谢山涛。晋武帝司马炎受魏主禅让即位，任山涛为大鸿胪，护送陈留王到邺。泰始初(265)，加奉车都尉，晋爵为新沓伯。
羊祜执政时，有人要陷害裴秀，山涛厉言正色保护裴秀，因此不合一些权臣之意，出任冀州刺史，加宁远将军。冀州风俗鄙薄，无推贤荐才之风。山涛鉴别选拔隐逸之士，查访贤人，表彰或任命三十多人，都显名于当世。山涛受到百姓士人的仰慕推崇，当地风俗也为之改变。又转为北中郎将，督邺城守备事。又入京为侍中，迁为尚书。因母老请求辞职，皇帝下诏说：“君虽心在奉养老母，然而职务有上下公私之分，家中早晚有人侍奉医药，君当暂割情爱，以兴一心在公之德。”山涛决心退出官场，表疏上了几十次，皇帝很久才答应了他的要求，授议郎职衔回府第。武帝因山涛清贫俭约，无法供养家人，特别供给每日膳食，加赐床帐被褥。礼遇厚重，时人莫能与比。
后任命为太常卿，因疾病没有就职。遇母丧，回乡里。山涛年过七十，守丧超过常礼，亲自背土堆坟，亲手植松柏。皇帝下诏说：“我所以行教化于天下，是靠授贤者以官职。当今风俗衰败，人心尚于竞进，应当分明善恶，以退让之风镇之。山太常虽在居丧，意志不可勉强改变，而当今国家任务繁多，怎能遂自己心愿呢！现以山涛为吏部尚书。”山涛以母丧身病为由辞让，表章情意恳切，遇元皇后死，勉强扶持还洛陽。为诏命所逼迫，勉强就职。前后荐拔的人遍及京师和州郡，都是有用的人才。
咸宁初(275)，转为太子少傅，加散骑常侍，授尚书仆射，加侍中，领吏部。因年老有病，坚意辞让，上表陈情。上章表数十次，很久没有就职理事，左丞白褒奏山涛违诏。武帝说：“山涛因病自求辞职，只是没有听从他的要求罢了。如山涛用人不当而坐罪是可以的，何必上下动手，颠倒轻重呢？不得再追究此事。”山涛内心不安，上表谢罪说：“自古以来行王道者守正而已。陛下不能因为一个老臣而改变国法，臣有何心向皇上陈辞。请照白褒所上之表处置，以显示不枉刑法。”武帝又下手诏说：“白褒所奏是虚妄的，我所以未追究他的责任，是我不喜欢动辄发怒，你是明智而有度之人，哪能介意呢！应当就职理事，不让他们再上章表就是了。”山涛决心引退，因为堂弟媳发丧，就回外舍。皇帝下诏说：“山仆射近日暂时出居，因有所操劳而未还，这不是我坐侧席而待贤的意思。现派遣丞掾奉旨告谕，若身体尚未康复，便坐舆车抬回府寺。”山涛辞让不能获准，才就职理事。
山涛再次任职十余年，每逢官位有缺，山涛总选几个备用的人，看到诏旨倾向于某一人，然后明言上奏，先将皇帝所想用的人提出，所以皇帝所想用的人，有时没有先提出来，众人不了解详情，认为是山涛凭自己的意愿用人。有人在武帝面前说山涛的不是，故武帝亲手写诏告诫山涛说：“用人的标准是有才，不遗漏疏远孤贱而有才的人，教化才能行于天下。”而山涛还是照样行事。一年以后，众人的意见才平息。山涛所荐拔上奏的人物，列名成册，当时称《山公启事》。
山涛在朝处于各派中间，晚年值杨皇后亲党专政，不愿用杨氏，多次讽谏皇帝，皇帝虽领悟其意而不能改正。后来因年迈病重，上疏告退说：“臣年近八十，苟延残喘于旦夕，若对国家还有毫末之益，怎能留余力于盛世。迫于衰老，不能再负重任。当今四海无事，天下思从教化，从民心而行无为之政，百姓自能正己。只是应当崇尚风教以使民俗归厚罢了，陛下又有何事可做。臣耳聋目昏，无力奋进。君臣父子之间无须掩饰，因而直陈愚情，望答应我的请求。”于是摘下帽子，赤脚徒步送还印绶。皇帝下诏说：“天下事还多，加之吴国初平，各项事业都处于草创阶段，应当共同尽力以化成天下。君不识往日我留君之深意，而以小疾为由求退，这不是我希望于你的啊！朕犹坐于侧席而待贤者，未得垂衣拱手而治天下，君何能引退而求高尚之名呢！应当倡导至公无私之心，不要再做那追求虚名的烦琐之事。”
山涛上表苦苦求退，皇帝又下诏不许。尚书令卫馞上奏说：“山涛因有小疾，久不履职。频繁下诏，还不服从诏命。朝中议论以为这样不能成全他的高尚之节，也违背在职为公的要求。若山涛病情沉重，也不宜居官位。可免去山涛官职。”皇帝下诏给卫馞说：“山涛有德操，素为众望所归，而深心退让，十分恳切。故连续下诏，必求改变他的主张，以匡扶朝廷，弥补缺漏。主事者不明诏书深意，反而加以曲解，这有损于崇贤之风，给我加上轻贤无德之名，怎能给远近之人做出表率呢？”山涛不得已又就职理事。
太康初(280)，迁为右仆射，加光禄大夫、侍中，掌选如故。山涛因年老身病坚决要求辞职，皇帝亲手写诏说：“君之道德为世人楷模，况先帝已识君高远之志。我将依靠你以使风俗淳厚，为何要舍弃朝政以求高名呢！我的至诚之心还不足以使你明白吗？为何上表的言论是那样恳切。应当及时自勉，以慰我深切之望。你不改变引退之志，朕将卧不安席。”山涛又上表坚意辞让，皇帝不许。
平吴之后，武帝下诏罢除天下兵役，表示海内平安无事，州郡都解散军队，大郡设置武吏一百人，小郡设五十人。武帝曾在宣武场讲武，山涛当时有疾，皇帝下诏乘坐人拉的辇车跟从。山涛当时与卢钦讨论用兵之本，认为不应该废除州郡武备，他的论点很精湛。当时人们都以为山涛虽不学孙、吴兵法，而其论兵暗与兵法合，武帝称赞说：“真是天下之名言啊！”然而却不能用。惠帝永宁(301～302)之后，多次发生事变，盗贼蜂起，各郡国都因无军备而不能制止，于是导致天下大乱，果如山涛所言。
后拜为司徒，山涛又坚意辞让，皇帝下诏说：“君年迈而德高，是朝中元老，因而授给君台辅之位，而君崇谦让之远名，反复推辞，令我心中忧虑。君当坚持始终，辅助朕身。”山涛又上表说：“臣侍奉天朝三十余年，对德政教化无毫厘功效。陛下私心爱臣不已，枉授三司之任。臣闻德薄而位高，力少而任重，则上有败坏国事之祸，下有损伤家庙祖宗之咎。愿陛下念累世君臣之恩，乞求骸鼻以归故里。”皇帝下诏说：“君辅助朝政，保护治理皇家，匡扶之功，为朕所依赖。司徒之职，实掌国家教化，因而敬授予你，以满足群臣百姓之望，怎能只顾谦让而贬低自己呢！”武帝下令不准山涛再上章表辞职，使者把印绶交给卧病在床的山涛。山涛说：“将死之人，怎能玷污官府呢！”病卧舆车归家。太康四年(283)死，终年七十九岁。皇帝下诏赐棺木朝服各一具、衣一套、钱五十万、布百匹，以供丧事之用，策命追赠司徒蜡印紫绶、侍中貂婵、新榻伯蜡印青朱绶，用太牢祭祀，谥号为康。将葬时，又赐钱四十万、布百匹。左长史范晷等上奏说：“山涛旧宅第仅有屋十间，子孙多，容纳不下。”武帝为山涛家建了住宅。
当初，山涛为布衣，家境贫困，对妻子韩氏说：“忍住饥寒，我以后当登三公之位，但不知你能做三公夫人否！”做高官之后，仍正派节俭，虽爵同千乘之君，不畜婢妾，俸禄赏赐，都散给亲戚故人。
当初，陈郡袁毅曾为鬲令，性贪而行污，贿赂公卿而求称誉。也送给山涛丝百斤，山涛不愿拒受而异于人，便收下藏于阁楼上。后来袁毅的事被揭发，用槛车送京师廷尉受审，凡受贿的人都被检举。山涛就取出丝交给办案的官吏，丝上积满尘土，封条印章未动。
山涛饮酒八斗才会醉，武帝想试他的酒量，准备了八斗酒让山涛喝，而暗地又添一些酒，山涛喝八斗就不再喝了。
山涛有五个儿子：山该、山淳、山允、山谟、山简。