狄仁杰，字怀英，并州太原(今山西太原)人，出生于一个官宦之家。他的祖父叫狄孝绪，当过尚书左垂。父亲狄知逊，做过夔州长史。在这样的家庭里，狄仁杰受到的教育是严格而良好的，因此，他一长大成人，就通过明经科考试及弟，授汁州参军。参军原本是参谋军事，至唐，已演变成参谋性质的职官，官阶不是很高。狄仁杰初人仕途，并不顺利，当上参军不久，就被人污告。但诚如老子所言，祸福相依。隋唐时，全国分为十几个道，对这些道，中央常派官员巡视，这巡视的官员称之为黜置使。当时被派为河南道的黜置使是任工部尚书的阎立本。他接手狄仁杰一案后，便将狄仁杰召来讯问。
狄仁杰据理力争，而阎立本通过审理，不仅还了狄仁杰一个清白，更发现了狄仁杰是一个难得的人才。他称赞狄仁杰说：“君可谓沧海遗珠矣”！倘若狄仁杰遇到的不是阎立本，而是一个妒贤嫉能的小人，或一个糊涂官，那么狄仁杰的仕途恐怕也就走到了尽头。阎立本澄清狄仁杰的冤屈，认定他是沧海遗珠，就把他推荐到并州都督府当法曹。在唐代，都督府、州衙门和县衙门都设得有法曹一职，但称谓稍有不同。在府，称为法曹参军事，在州，称为司法参军事，在县，称为司法，其职能，就是掌管刑法狱讼方面的事。至今，日本和韩国，仍把律师和法官、检察官等司法界人士合称为法曹，大约就是受了我国这一官职的影响。法曹这个职务，对狄仁杰一生影响巨大。狄仁杰在法曹任上，认真学习，从而通晓了吏治、兵刑等封建典章和法律制度。这为他不久迁任大理承奠定了坚实的基础。
唐高宗仪凤元年(676年)，狄仁杰被任命为大理寺丞。大理寺丞这个职务，大约相当于现在的法院院长，负责审判工作的。狄仁杰正是在大理寺丞这一位置上，牛刀初试，一年之中，将在狱中拖延了很久、涉及一万七千多人的案件，全都审理得明明白白。按当时的制度，大理寺丞审完案子作出判决后，要将涉案人员的家属叫来，问他们是否服从判决。谁也没有想到，这一万多人的家属，居然人人称是，没有一人表示反对的。狄仁杰由是名声大震，时人称之为“平恕”。当然，狄仁杰审理的案件若都只是一些普通老百姓的普通案件，那名声再大，也将会是有限的。狄仁杰能以铁面法官的形象青史留名，还在于他为伸张正义而不顾生死冒犯皇威。当时有两个人，一个叫权善才，任左威卫大将军，一个叫范怀义，任右监门中郎将。这两人在不知情的情况下，误砍了李世民坟墓昭陵的柏树。这一来唐高宗不答应了，下旨要将二人处死。
狄仁杰得到命令却不执行，反上奏道：这两人罪不当死。唐高宗一听，龙颜大怒，对狄仁杰说：这两个家伙砍了我父亲陵墓的柏树，使我成为不孝之子，我一定要杀了这两个家伙！狄仁杰据理力争，说道：汉朝时曾有人盗高庙的玉环，汉文帝想诛杀盗环者的九族。廷尉张释之认为处罚太重，就问文帝道，盗了玉环就诛灭九族，那么有人若盗了长陵的一杯土，又还有什么更重的刑法来处置呢？于是只把盗环者杀了。如今将犯不死之罪的人处死，而且只是仅仅因为误砍了一根柏树就要杀两个大臣，后来的人们将会怎样来评价皇上您呢？唐高宗听狄仁杰说得有理，这才罢了。唐高宗也是个有头脑的皇帝，特别是在他的早期，还是有所作为的。狄仁杰反对他杀权善才和范怀义二人，他想通后称赞狄仁杰说：“你能坚持按法办事，我有一个好法官了。”