李士谦字子约，赵郡平棘人。
童年丧父，以侍奉母亲有孝心而闻名。
母亲曾经呕吐，他怀疑是中毒所致，便跪下去尝呕吐之物。
在北魏岐州担任刺史的伯父李王易，对他特别赞赏，经常说：“士谦这孩子是我们李家的颜渊。”十二岁时，魏广平王提拔他做了开府参军事。
后来，因为母亲去世而辞官，守丧时伤心得形销骨立。
嫁到宋家里的姐姐，也因过度哀痛而病逝。
李士谦等服丧的日子一结束，就将自己的房子作了佛寺，独自到学舍里精研学业去了，他博览群书，孜孜不倦，很快就熟练地掌握了天文、星相占卜等各方面的知识。
齐国的吏部尚书辛术欲召纳他为员外郎，赵郡王要以德行科举荐他，李士谦都称自己有病而不去。
后来，和士开也看重他的才识，便劝导朝廷将他提升为国子监祭酒，士谦坚决推辞，才得以免除。
隋文帝夺取天下，李士谦矢志终身不做官。
士谦在少年时，父亡，未曾吃肉喝酒，从不说杀生之言。
每遇亲朋好友来访，总是盛情款待，热情奉陪，整日也不知疲倦。
李氏家族庞大，每到春秋祭神之日，必相聚狂欢，无不沉醉在一片喧闹声中。
他们曾聚集在士谦家里，士谦将丰盛的饭食亲自送到客人面前，但他先呈上黍米，并对来客说：“孔子称赞黍米是五谷之长，荀卿也说吃饭应称吃黍米，古人所推崇的东西，能容许我们违背吗？”来客老老少少都肃然起敬，不敢随便，回去后相互议论说：“见到了真正的君子，才知道我们这些人的浅薄啊！”士谦知道后，却责备自己说：“被人疏远的程度怎么到了这个地步！”士谦家里十分富有，但自己却处处节俭，常常把救济别人作为自己的义务。
在同乡，有人家里有丧事而无财力办理的，士谦总是及时赶到，尽力相助。
有兄弟俩因财产分配不均，而相互争吵、诉讼，士谦知道后，便拿出自己的钱财，补足那个分得少的人，使他与分得多的相等，兄弟俩都惭愧不已，于是相互推让，最后他们都变成了很有修养的人。
有一次，别家的一头牛跑到他家的农田里，士谦将牛牵到陰凉处，并给它备足草料，照顾之周胜过了牛的主人。
每当看见有人偷割他的庄稼，就默默走开，有意回避。
他家里的仆人曾抓住偷他家粮食的，士谦知道后，反而安慰小偷说：“你们这样做，都因家里太贫困的缘故，本来就不应受到指责。”马上叫仆人放了他们。
他的一个家仆因喝醉酒后与同乡人董震比力气的大小，董震扼住其家仆的咽喉，因用力过猛，家仆被掐死了。
董震于是惶恐不安，胆颤心惊地来向李士谦请罪，士谦却对他说：“你本来就没有杀害他的想法，为什么要请罪呢？不过你要远离这个地方，以免被官吏拘捕。”士谦性情宽厚，都像这样的。
有一年，他拿出自家的数千石粮食，借给同乡的人，碰上这年歉收，债家无力偿还，都来向士谦道歉，士谦说：“我家多余的粮食，本来就是想用来救别人的，难道是为了图利吗？”于是把向他借债的人全部召集在一起，以丰盛的酒席相款待，当着他们的面烧毁了所有借债的契约，说：“你们的债全勾销了，以后再不要为此挂念了。”让债家们各自回去。
第二年，大丰收，债家都争相来给他还债，士谦一点都没有接受。
有一年又遇上饥荒，很多人都死了，士谦又拿出他家所有的钱，买来米做成粥供给那些受饥饿的人，依靠他而生存下来的人数以万计。
士谦还将那些饿死人的尸骨收集起来埋葬好，没有漏掉一个。
到了春天，又拿出粮食种子，分给那些贫乏的人家。
赵郡的农民都非常感激他，抚着自己的子孙说：“你们都是托的李参军的福啊！”有的人对士谦说：“你一定积累了不少陰德。”士谦说：“所说的陰德是什么，所谓陰德就像耳朵里的声音，只有自己知道，别人不知道。
而现在我所做的一切，你我都知道，哪会有什么陰德哟！”士谦还善于谈论玄理，曾经有一客人在座，说他不相信佛家的因果报应，认为其他典籍都没有记载，士谦对他解释说：“积善以后就会带来福气，积恶太多就会招来灾祸。
地位高的人等待封官，扫墓的人希望多出丧事，这难道不是吉凶的报应吗？佛经上说，法轮几转，天道轮回，周而复始，永无止尽，这就是贾谊所说的，宇宙间万事万物，千变万化，没有终结，而当佛道还没有向东传来之时，那些圣明的人就已领悟它的全部真谛了。
这就像鲧变为黄熊，杜宇变为是鸟夫鸟，褒君变为蛟龙，牛哀变为野兽，君子变为鹄，小人变为猿，彭生变为猪，如意变为狗，黄母变为龟，宣武变为敝黾，邓艾变为牛，徐伯变为鱼，护卫的士兵变为鸟，写字的书生变为蛇，羊祜的前身是李氏的儿子，这些，难道不都是佛家所说的因果报应吗？”客人又说：“邢子才曾说：‘难道有松柏变为樗栎的吗？’我认为他说得对。”士谦答道：“这不是同一类事物，凡属于因果报应的都是心使他这样，难道木头也有心吗？”客人又问三种教义的优劣，士谦说：“佛像太陽，道教如月亮，儒教似星星。”客人知道不能难住士谦，就没有再往下问。
士谦平生常写些咏怀诗，但每次写好后，都将其烧毁，从不把它给别人看。
他又曾论述刑罚，遗留下来的文章已不全面，其大意是说：君主制定法令制度，应随着时代的更替进行删减增补，但不要在短时间内随便改变。
现在对那些罪大恶极的盗贼处死刑，这种刑罚虽残酷，但却达不到惩治的目的，《论语》上说：“对那些不怕死的人就不能用死去恐吓他。”我认为，这样的罪应处于肉刑，对初犯者，砍掉他的一个脚趾，对重犯者，就砍下他的右腕。
对那些该流放的砍去他右手的三个手指，再重犯者，就砍下他的手腕。
对小偷应该在他脸上刻记号，再重犯者，就砍掉他起作用的三个手指，再不收敛的，砍下他的手腕，这样，是没有不能制止的。
把那些无赖流放到边远地方这是自找暴乱，他们正好可以召来胡人，这不是惩治他们的好办法。
赌博、浪游是盗贼萌生的原因，若屡禁不止，也在他们脸上刻记号，就可以了。”有才识的人都认为这是治理国家的好办法。
开皇八年(588)，李士谦老死于家中，享年六十六岁。
赵郡的百姓听到这个消息后，无不痛哭流涕地说：“为什么不让我们去死，而让李参军去死啊！”参加送葬的有万余人。
同乡的李景伯等人认为，李士谦道德高尚闻名于田园乡间，就将其一身的言行整理成文书，请求尚书省傍李士谦一个谥号，事情最后没有办成，他们于是给李士谦立了一块碑在墓前。
李士谦的妻子是范陽人，姓卢，也很有妇德。
在她丈夫死后，没有接受一点别人给她的赠品，对父老乡亲说：“士谦一生喜欢施恩予人，现在，他虽人已去世，但我怎能违背他的志向呢？”于是又拿出五百石粮食赈救贫穷的人。