刘粹字道冲，沛郡萧县人。他的祖父刘恢，官至持节、监河中军事、征虏将军。刘粹家住京口。他少有大志，能力出众，开始当本州从事，高祖攻克京城后，他当参建武将军。随同刘裕平定京都，他转任参镇军事，不久加任建武将军、沛郡太守，又兼任下邳太守。后又当车骑中军参军。随同刘裕征讨广固，战功非常多。又因为起义的功劳，被封为西安县五等侯。大军回京，他转任中军谘议参军。卢循进逼京城，京口的镇守责任重大，太祖当年只四岁，高祖叫刘粹辅助太祖镇守京口。不久转任游击将军。
他迁任建武将军、江夏相。卫将军刘毅，是刘粹的族兄，刘粹尽忠于刘裕，不和刘毅相结好。高祖想除掉刘毅，众人都怀疑刘粹在夏口，高祖更加信任他。到大军西进时，刘粹非常卖力，刘毅被消灭后，他被封为滠陽县男，食邑五百户。母亲去世，他辞了官。不久高祖讨伐司马休之，起用刘粹为宁朔将军、竟陵太守，带水军进入黄河。第二年，他被任为辅国将军，又迁任相国右司马、侍中、中军司马、冠军将军，迁任左卫将军。永初元年(420)，他因为是开国元勋，改封为建安县侯，食邑一千户。二年(421)，因为役使监吏，被免除官职，不久又被用为督江北淮南郡事、征虏将军、广陵太守。三年(422)，在本职的基础上兼管豫、司、雍、并四州和南豫州的梁郡、弋陽、马头三郡诸军事、豫州刺史，兼任梁郡太守，镇守寿陽，颇有政绩。少帝景平二年(424)，谯郡流民六十多家叛逃魏境。赵炅、秦刚等六家后悔了，再南投陈留襄邑县，呆在谋等村。刘粹派部将苑纵夫讨伐叛逃民户，没有赶上，于是苑纵夫便杀了谋等村三十家的人丁，男子一百三十七人，女人小孩一百六十二人，苑纵夫被抓到劳改营。刘粹因此事被贬为宁朔将军。当时魏兵南侵，刘粹派将军李元德袭击许昌，杀了魏国颍川太守庾龙，这时陈留人董邈自称小黄盟主，杀了魏国的征虏将军、广州刺史司马世贤，把司马世贤的脑袋送到京城示众。
太祖继位，刘粹迁任使持节，督察雍、梁、南北秦四州和荆州的南陽、竟陵、顺陽、襄陽、新野、随六郡诸军事、征虏将军，兼任宁蛮校尉、雍州刺史，襄陽、新野二郡太守。在任职期间他很少征用民力，爱护百姓，罢除和尚尼姑二千多人，用来补任府中劳力。元嘉三年(426)，文帝讨伐谢晦，派刘粹的弟弟车骑从事中郎刘道济、龙骧将军沈敝之接受刘粹指挥，从旱路进攻江陵。刘粹用刘道济当竟陵内史，让他和沈敝之以及南陽太守沈道兴率骑兵和步兵到沙桥，被谢晦的司马周超打败，将士们死伤超过一半，于是刘粹被降为宁朔将军。当初谢晦和刘粹关系很好，用刘粹的儿子刘旷之当参军，刘粹接受命令南伐，毫不犹豫，太祖因这一点很赞赏他。谢晦也把刘旷之送回去而没有害他。第二年，刘粹去世，享年五十三岁。被追认为安北将军、持节，本官照旧。
刘旷之继承刘粹，官到晋熙太守。刘旷之去世，他儿子刘琛继承。刘琛死，没有儿子，封爵被取消。刘琛的弟弟刘亮，顺帝升明末年(479)，当尚书驾部郎。刘粹的非正嫡的长子刘怀之，当临川内史，和臧质一同造反被杀。