刘遂清，字得一，青州北海人，后梁开封尹刘寻阝的侄子。父亲刘琪，以鸿胪卿身份退休。刘遂清小时聪颖仁惠，开始时，事奉后梁担任保銮军使，历任内廷各司使，唐庄宗进入汴州，没有改任他的职务。明宗继承皇位，加封检校尚书仆射，任为西都监守。过了一年，因中山王都有谋反的迹象，任命刘遂清为易州刺史，使他阻扼敌人攻击的要道，到了州郡之后，很有抵御侵犯的谋略，境内百姓依赖他。平定王都叛乱，加封检校司空，调任棣州刺史。天成、长光年间，历次主管淄、兴、登三个州郡，都有好的政绩。
晋高祖即位的第二年，任命他为凤州防御史，加封检校司徒，碰上母亲去世守丧，丧期满后起用，任内客省使、右监门卫大将军。天福六年(941)，高祖幸临邺都，调任宣徽北院使兼判三司，加封检校太保。七年，少帝即位，任右领军卫上将军，赐与竭诚翊戴保节功臣名号。八年，出镇郑州，加检校太傅。开运二年(945)，调任安州防御使。不久，上表称说有病，下诏准允随其自便，他回到上蔡，在驿馆去世，当时是开运三年四月。
刘遂清生性特别孝顺，任淄川郡守时，从北海迎接他的母亲到淄川来，他母亲到了郡境之后，刘遂清驰马上前，拉着马缰陪着母亲走了几十里，乡亲父老观看的人像墙一样站立两旁，当时的人为有这样的儿子感到荣耀。刘遂清一向不曾读过诗书，但多计策谋略，主管三司时，每次发给百官俸禄，都与判官说“：这些人不一定都有才能，很多是世袭俸禄的人家，应该汰除那些没用的废物，留下那些有能力的人才。”有人回答说“：从前唐朝浑、郭、颜、段四家，每一次赦免令下来，都以一个儿子任官，已成为常制；并且继续奖赏施与恩泽，成为国人的美谈，没有因按月领取俸禄而想淘汰他们的，这恐怕不妥当。”舆论因此责怪他。