张华字茂先，范陽方城人。父亲张平，是渔陽郡守。张华少年孤贫，自己牧羊，同郡人卢钦见了张华后很器重他。同乡人刘放也以为张华有奇才，把自己的女儿嫁给了他。张华的学识优异而渊博，辞藻和顺而华丽，聪敏而多才，图卦谶纬方技之类的书无不详览。少年即注意修身，言行谨慎，举止必合乎礼度。见义勇为，周济危难。器量宽阔，胆识弘大，当时的人多不能测其高深。
开始未为人所知，作《鹪鹩赋》以自说，其辞为：
造物主何等巧妙多端，使万类各得其形体。鹪鹩这种小禽，也获生而受气。体陋小而不能远飞，无玄黄美羽以自贵；毛不可以做器用，肉不可以充美味。鹰..过而不顾，又何畏乎网罗。深草密林，是其游乐场所。飞不至高空，翔不与群鸟合。其居易于安身，其求易于满足；一枝可以筑巢，数粒足以饱腹。栖息不必常所，游乐无所盘桓，陋室是荆棘，美屋是磟兰。举翼有逸趣，停足身即安。听天顺理，与万物互不为患。此禽似为无知，处世全身似有大智。不怀害以致害，不饰容以招累。静则守本性而不矜夸，动则循自然而求简易。任自然以为生存之本，无用于人，不慕于世。
雕鹰..鸡有钩嘴利爪，鸿鹄鹭鹚高翔于云际，昆鸟鸡藏于幽险之处，孔雀生于偏僻之地，晨凫大雁举翼而远逝，都因羽美而肉肥，才使无罪而身死；衔芦以避箭，白费心机，终毙命于此世。苍鹰凶猛而加绳，鹦鹉聪慧而入笼，受人驯养终得屈志，悬于高阁孤独一生；弄巧舌以顺主子之意，摧羽毛为猎人所用。恋钟岱之林野，慕陇坻之高松。虽受宠于今日，未若往昔之从容。爰居本是海鸟，避风来到内地；巨雀生于条支，越岭送至中原，被提挈而行万里，受威逼而供祭坛。只因体大形伟而害其身。
陰陽陶铸万物，万物生于一区。巨细不同，种繁类异。鹪冥筑巢于蚊睫，大鹏翱翔于天际，比上不足，比下有余。远观天地之间，吾又怎知大小之物谁有乐土。
陈留人阮籍看到这篇赋，叹道：“这是辅助帝王建大业的人才啊！”从此声名开始显著。
郡守鲜于嗣推荐张华作太常博士。卢钦又推荐于文帝司马昭，转为河南尹丞，未上任，授予佐著作郎。不久，迁为长史，兼中书郎。朝廷议事所发表的意见，及所上表奏，多被采纳施行，遂任中书郎正职。晋武帝受禅让即位，拜为黄门侍郎，封关内侯。
张华记忆力极强，学识渊博，天下古今事物，了如指掌。武帝曾问汉宫室制度及建章宫千门万户情况，张华应对如流，听者忘倦，并在地上画出图样，左右视不移目。武帝甚觉奇异，时人比作春秋郑国子产。过了几年，拜为中书令，后又加散骑常侍。母亲去世时悲哀异常，武帝下诏劝勉，强令料理政事。
当初，武帝与羊祜暗谋划伐吴，群臣多以为不可，只有张华赞成这一计划。以后羊祜病重，武帝派遣张华到羊祜那里询问伐吴之计，语在《羊祜传》。到大举伐吴时，以张华为度支尚书，计算运输粮草，与武帝一起制定作战计划。众军已进发，未获成果，贾充等奏请杀张华以谢天下。武帝说：“伐吴是我的主意，张华只是与我意见相同罢了。”当时大臣们都以为不可轻进，张华独坚持己见，以为伐吴必胜。及吴灭，皇帝下诏说：“尚书、关内侯张华，以前与已故太傅羊祜共创大计，遂掌管军事，部署诸军，算定谋略，运筹于内，决胜于外，有谋划之功勋。现晋封为广武县侯，增食邑一万户，封其子一人为亭侯，食邑一千五百户，赐绢万匹。”
张华名重当世，为众人所推崇信服，撰写修订晋史及礼仪宪章的任务，都托付给张华，有很多增减与修改，当时的诏书诰文，都是张华所起草，声誉更盛，有宰相之威望。而荀勖自以为出身大族，仗恃武帝对他有深恩，憎恨张华，常欲伺机将张华调到外镇任职。适逢武帝问张华：“以后的国家大事谁可寄托？”张华回答说：“有明德而又是至亲者，莫如齐王司马攸。”这不符武帝的本意，算是细小的违旨，于是荀勖离间张华的陰谋得逞，外调张华为持节、都督幽州诸军事、兼护乌桓校尉、安北将军。招抚接纳新归附者，戎狄华夏尽怀其德，东夷马韩、新弥诸国依山傍海，离幽州四千余里，历代不曾内附者二十余国，都遣使朝贡。于是远夷宾服，四境无事，连年丰收，兵马强壮。
朝中议论欲召张华回京作宰相，又欲进号仪同三司，却遇到了冯恢的阻挠。张华曾在武帝面前说过冯恢之弟冯..的坏话，而冯..深得武帝宠信，常陪侍左右，一次与武帝闲谈魏晋之事，借机向武帝说：“臣私下认为钟会谋反之祸是太祖造成的。”武帝脸色一变说：“你这是什么话！”冯..免冠谢罪说：“臣愚钝瞎说，罪该万死！然臣微末之意，还可以申述。”武帝说：“你还要说什么？”冯..说：“臣以为善驾车者必熟习马力的盛衰，善为政者必懂对官吏控制适度，故子路因好胜被抑制，冉求因退让被进用，汉高祖子弟八个诸侯王因过于宠信被夷灭，汉光武诸将由于受抑制而善终。这并非为君者有仁有暴，也不是为臣者有智有愚，而是压低与抬高，给予与夺取的不同造成的。钟会才能见识有限，而太祖夸奖太过，赞美他的谋略，宣扬他的名声才略，授以大权，委以重兵，故使钟会自认算无失策，功勋无比，飞扬跋扈，遂造成谋反叛国之罪。如果太祖用其小能，从大的方面控制他，抑制他的权势，用各种规则约束他，则叛乱之心无从发生，叛乱之事无从出现。”武帝说：“是这样的。”冯..叩头说：“陛下既然肯定为臣的意见，应防微杜渐，不要使钟会之类的人再造成灾祸。”武帝说：“当今还有像钟会那样的人吗？”冯..说：“东方朔有句话：‘谈何容易。’《易经》上说‘臣不密则失身’。”武帝让在旁的人退出，说：“你尽情说吧！”冯..说：“陛下谋划之臣，大功著于天下，海内无不闻知，据方镇统军马之任者，都在陛下忧虑之列。”武帝沉默不语。不久，征召张华做太常。因太庙屋梁折，免官。武帝在位期间，一直以列侯身份朝见。
惠帝即位，以张华为太子少傅，与王戎、裴楷、和峤都因有德望被杨骏嫉妒，不得参与朝政。杨骏被杀后，将废黜皇太后杨氏，群臣会集于朝堂，议者都顺承旨意，以为“《春秋》贬绝文姜，今太后自绝于宗庙，也应废黜。”只有张华认为“夫妇之道，不涉于父子关系，皇太后并没有得罪先帝。今杨骏为其亲，只能说不能为天下母仪，应仿效汉废赵太后为孝成后的例子，贬太后称号，仍称武皇后，居于别宫，以成全终养之恩”。意见不被采纳，遂废太后为平民。
楚王司马玮受密诏杀太宰汝南王司马亮、太保卫馞等，内外兵乱繁起，朝臣恐惧，手足无所措。张华告诉惠帝说：“司马玮以假诏书擅自杀害二公，将士仓促行事，认为是国家旨意，故听从司马玮。今皇帝可派特使持幡使外军解除戒严，事件即可平息。”惠帝采纳了张华的意见，司马玮的兵果然失败。及司马玮被杀，张华因首先献谋有功，拜为右光禄大夫，开府仪同三司、侍中、中书监，金印紫绶。张华辞去开府仪同三司。
贾谧与贾后共同商量，以为张华出身庶族，儒雅有谋略，上无威逼君主的疑虑，下为众望所归，打算依靠他总摄朝政，大事咨询于他。尚犹豫未决，问于裴輎，裴輎平时很尊重张华，非常赞成这样做。张华遂受重用，尽忠国事，辅佐朝政，弥补缺漏，虽当惠帝昏弱贾后肆虐之朝，而天下安定，这是张华的功劳。张华怕贾后亲族势力强盛酿成灾祸，作《女史箴》以讽劝。贾后虽凶暴嫉妒，还是敬重张华。很久以后，朝廷论张华前后功勋，晋封为壮武郡公。张华推让十余次，皇帝下诏敦促开导，这才接受。几年以后，代替下邳王司马晃为司空，兼著作事。
贾后谋划欲废太子，左卫率刘卞很受太子信任和优待，每次宴会，刘卞也一定参加。每次看到贾谧骄傲无礼，太子很憎恨他，并在语言容色上表露出来，贾谧对太子也愤怨不平。刘卞向张华询问贾后欲废太子的事，张华回答说：“没有听说。”刘卞说：“我刘卞本是贫寒憔悴之士，在须昌作小吏，受到您的提拔成就，才有今日。士感恩于知己，因此才无所不言，而您对我还有怀疑吧！”张华说：“假令有这回事，君准备如何对付呢？”刘卞说：“东宫才高德重之人如林，四个卫率有精兵万人，您居宰辅重位，如得到您的命令，朝见皇帝，总领尚书事，将皇后废于金墉城，只需要两个黄门就可以了。”张华说：“今天子在位，太子是皇帝之子，我又没有接受废立的诏命，唐突行此事，是眼中没有一国之君，人子之父，而且是以不孝昭示天下。即使能成功，也不免获罪，何况外戚权臣满朝，权威不在一人，怎能安然无事呢！”贾后使人作祷神之文，内含叛逆之意，让太子醉中抄写，呈于惠帝。惠帝在式乾殿会集群臣，以太子手书遍示群臣，大家都不敢说话。只有张华进谏说：“这是国家大祸。自汉武帝以来，每废黜正嫡，总要引起动乱，况且晋有天下时间不长，望陛下慎重考虑。”尚书左仆射裴危页以为先要检查传书的人，又请检验字体真假，不然，恐有伪诈。贾后拿出太子平时写的启事十几张，众人比照，也没有人敢说不是太子的手书，议论到太陽偏西仍不能决断，贾后知道张华等护太子意志坚定，因而上表请求将太子免为庶人，惠帝同意了贾后的意见。
当初赵王司马伦为镇西将军，扰乱关中，氐羌反叛，皇帝让梁王司马肜代替司马伦。有人劝张华说：“赵王贪婪昏庸，信用孙秀，到哪里哪里乱，而孙秀狡诈多端，是奸人之雄。今可让梁王杀掉孙秀，就削去了赵王的一半力量，以此谢关右之人，不是很好吗？”张华接受了这个意见，梁王司马肜也答应了。孙秀的友人辛冉从关中来，对司马肜说：“氐羌自己造反，不是孙秀造成的。”因而孙秀得免于死。司马伦回京后谄媚贾后，要统领尚书事，后又求作尚书令。张华与裴輎都坚持不可，由此造成怨恨，司马伦、孙秀把张华看作仇人。武库起火，张华怕有人乘机作乱，派兵把守周围，然后安排救火，所以历代藏的宝器及汉高祖斩蛇剑、王蟒头、孔子屐等全被烧毁。当时张华看到斩蛇剑穿透屋顶飞出，不知去向。
当初，张华所封的壮武郡有棵桑树变成了柏树，懂得的人认为这是不祥之兆。张华的住宅及官署多次出现妖怪。张华的少子张韪因中台星散裂，劝张华逊位引退。张华不听，说：“天道玄奥莫测，只有修德以应天变罢了。不如静观以待，听天由命。”及司马伦、孙秀将废贾后，孙秀使司马雅夜见张华，告诉他说：“今社稷将危，赵王欲与公共同匡扶朝廷，为霸王之事。”张华知道孙秀等定会谋篡夺之事，就拒绝了。司马雅发怒说：“刀刃将加于颈上，你还说这样的话！”头也不回就出去了。张华正白天卧床休息，梦见房屋忽然倒塌，醒后心中厌恶，当天夜里灾难发生，司马伦诈称皇帝有诏召张华，于是与裴危页一起被捕。张华将死时对张林说：“卿要害忠臣吗？”张林称有诏书，指责张华说：“你身为宰相，负天下之重任，太子被废，你不能为之而死，这是为什么？”张华说：“式乾殿议论此事时，我竭力劝阻，众所周知，并不是我不谏啊。”张林说：“谏而不从，何不退位？”张华无话可答。片刻，使者来到说：“有诏令斩公。”张华说：“我是先帝老臣，赤心如丹。我不畏死，只怕王室将有大难，祸不可测啊。”于是在前殿马道南被杀，并夷灭三族，朝野无不悲痛。终年六十九岁。
张华爱惜人才，劝勉荐拔人才从不厌倦，即使穷贱杂役之士有一技之长些许之善者，便赞叹称道，扩大他们的声誉。张华爱好书籍，死时家无余财，只有文史书籍满架盈箱。曾经搬家，光书就拉了三十车。秘书监挚虞撰定官书，都是根据张华的版本校勘的。天下奇闻异事，世上少有者，张华那里都有。因此博识多闻，当世无人可比。
惠帝时，有人得一鸟，毛长三丈，拿来给张华看，张华见了很凄惨地说：“这叫海凫毛，此物出现，则天下将乱了。”陆机曾请张华吃饭，席上有一盘腌鱼块，当时宾客满座，张华打开盘子便说：“这是龙肉。”众人不信，张华说：“试以苦酒浇上，必有异常变化。”浇上苦酒以后，发出五色光芒。陆机回头问送腌鱼的人，那人说：“在园中茅草堆下得到一条白鱼，样子异常，腌制以后，味道特别美，所以献上。”武库封闭很严，忽然发现库中有只雉雏。张华说：“这必然是蛇变成的。”打开武库一看，雉雏旁边果然有块蛇皮。吴郡的临平一处堤岸崩塌，出现一个石鼓，用槌敲击没有声音。皇帝问张华，张华说：“可取蜀地桐木，刻成鱼形，则可以敲响。”于是照张华的办法去做，果然数里之外都可以听到鼓声。
当初东吴未灭时，斗星与牛星之间常有紫气，相信道术的人都认为这是象征吴正强大，不可征伐，只有张华不以为然。吴平之后，紫气更加明显。张华听说豫章人雷焕精通谶纬天象，就邀请雷焕，与他同宿，避开旁人对他说：“我们一起去寻察天象，可知将来的凶吉。”二人登楼仰观天象，雷焕说：“我观察很久了，斗星牛星之间，很有异常之气。”张华说：“是何吉祥征兆呢？”雷焕说：“是宝剑的精气，上彻于天。”张华说：“你说得对。我少年时，有个相面的说，我年过六十，位登三公，并当得到宝剑佩带。这话大概是效验的。”因而又问道：“剑在哪个郡？”雷焕说：“在豫章丰城。”张华说：“想委曲您到丰城做长吏，一起暗地寻找此剑，可以吗？”雷焕答应了。张华大喜，立即补雷焕为丰城令。雷焕到丰城后，挖掘监狱屋基，下挖四丈多，发现一个石匣，光气异常，匣中有双剑，剑上都刻有字，一名龙泉，一名太阿。这天晚上，斗牛之间的光气消逝了。雷焕用南昌西山北岩下的土擦拭二剑，光芒艳丽四射。用大盆盛水，把剑放在上面，看去光芒炫目。派使者送一剑和北岩土给张华，留一剑自己佩用。有人对雷焕说：“得到两个只送一个，瞒得过张公吗？”雷焕说：“本朝将要大乱，张公也要在乱中遭祸。此剑当悬于徐君墓树之上。此为灵异之物，终究会化为他物而去，不会永远为人所佩带。”张华以为南昌土不如华陰赤土，给雷焕写信说：“详观剑文，此剑就是干将，与其相配的莫邪，怎么没有送来？虽然二剑分离，天生神物，终于会会合的。”因而送给雷焕一斤华陰土。雷焕以此土拭剑，更加精彩明亮。张华被杀后，宝剑不知去向。雷焕死后，其子雷华为州从事，带剑经过延平津，剑忽从腰间跳出落入水中，雷华使人入水寻剑，找不到剑，只见两条龙各长数丈，盘绕水中，身有花纹，寻剑的人惊惧而回。片刻光彩照人，波浪大作，于是此剑消逝。雷华叹道：“先父的化为他物之说，张公的终将会合之论，今日算是验证了。”张华博学多识大多类此，不能详细记载。
后来司马伦、孙秀被杀，齐王司马礒辅政，挚虞向司马礒写信说：“张华死后不久，我进入中书省，得到张华在先帝时答诏书的草稿。先帝问张华可以肩负重任辅佐国家托以后事的人，张华回答：‘有明德而又至亲者，莫如齐王司马攸，应留在京师镇抚国家。’他这种忠良之谋，坦诚之言，在他死后才被发现，令人信服，与那些随波逐流苟且偷安的人是不可同世而论的。议论他的人指责张华在愍怀太子被废时不能直言廷争。当此之时，直谏的人会加上违命之罪而死。先圣教导我们，死而无益者，不能责人不死。所以晏婴作为齐国的正卿，在崔杼之难中不为国君而死；季札是吴国的宗臣，不争逆命顺命之理。循理竭力而仍无所成，是不为圣人之教所责备的。”于是司马礒向皇帝上奏说：“臣闻使衰微者复兴，绝嗣者有继，这是圣王高明之政；贬斥恶者，褒扬善者，是《春秋》的美义。所以武王灭商后，封比干之墓，旌表商荣之闾门，对生者与死者都应这样做，道理是一样的。孙秀叛逆作乱，灭掉开国功臣的封国，杀死正直的大臣，以毁损王室；恶人肆虐，功臣之后多被诛灭。张华、裴危页因德高威重而被杀，解系、解结以无足轻重之位而被害，欧陽建等无罪而死，百姓都同情他们。当今陛下拨乱反正，天下维新，然而上述受害诸族未蒙恩处理。昔日栾谷阝降在奴隶仆役之中，而《春秋》仍载其过；幽王断绝功臣之后，弃逐贤者子孙，而诗人写诗以讽刺。臣枉居高位，思进诚心浅见，若合圣意，可令群臣共同商议。”大臣议论时各人意见不一，而多数人认为张华是冤案。壮武国之臣竺道又请求长沙王，要求恢复张华的爵位，意见不一，久而未决。
惠帝太安二年(303)，下诏说：“爱恶不同而相攻，奸邪丑化正直，自古就有。故司空、壮武公张华，竭尽忠贞，一心辅助朝政，有谋划之功，国事每每依赖于他，以前因张华有辅国济民之大功，应同于其他功臣封国建号，而张华坚决辞让至于八九次，深刻陈述不宜封建的大道理，终有受挫危家辱身的顾虑，言辞诚恳，足以劝勉远近之人。张华至诚之心，可誓于神明。张华因伐吴之功，在先帝时受过封爵。后来加封，既不符国家体例，也不宜以小宝超过以前的大赏。张华被害，都是因为奸人图谋作乱，枉受冤屈。现恢复张华侍中、中书监、司空、壮武公、广武侯官爵及所没收的财产印绶符策，派遣使者吊祭。”
当初，陆机兄弟志气高昂，自以为是东吴名家，初入洛陽，不重视中原人士，见到张华则一面如故，钦佩张华德望风范，以师长之礼待之。张华被杀后，陆机作诔文，又作《咏德赋》以悼念张华。
张华著有《博物志》，还有一些诗文，都流行于世。张华有两个儿子：张..、张韪。