张荫梧早年就读于保定军官学校，毕业后去山西阎锡山那里。军阀混战时，奉军沿平汉铁路溃退，阎锡山出娘子关截击，张荫梧打先锋，乘胜直克北平，被阎锡山委任为北平市长。张荫梧是个野心家，历来高傲自负，他和晋军将领多有不和，不久即被撤掉北平市长职务。阎锡山、冯玉祥与蒋介石在中原混战失败，阎锡山退回山西。张荫梧回不去了，留在河北，成了失意军阀，回到了他的家乡博野县，打着十七、十八世纪颜习斋、李恕谷学派的旗号，在颜习斋的故里北杨村，办起了四存中学，是以颜、李学说中存志、存仁、存性、存学这四存而命名。他以此为据点，发展私人势力，企图东山再起，并以博野、蠡县、安国、安平等六个县为地盘，实行“自治”，称王称霸，委任县长，安置爪牙，搜刮民脂民膏。他还接任了天津河北省立民众教育实验学校校长，不久将该校迁至博野北杨村与四存中学合并在一起。后来，他又将博野、安国、唐县、定县、新乐、安平、深泽等县的简易师范合并为联立师范，也迁入北杨村。“七七”事变后，张荫梧假借第一战区委员长保定行营民训处的名义，以他所办的四存中学等几个学校的学生为中、下层骨干，开始组建河北民军，企图骗取民族英雄的称号。这个名称的来历是，明末高阳县有个民族英雄孙承宗，在河北省成立民军，坚决抵抗清军，最后全家被屠杀。高阳县南关原来有孙承宗的庙宇，东街有他的牌坊。
平津沦陷后，张荫梧为了保存生命财产和他培植的势力，带着一批四存中学的学生和一部分保卫团武装，携家小细软黄金银元席卷南逃。顺平汉路到磁县向西进入彭城镇，南渡漳河，经林县再沿太行山到达山西陵川县。他在溃退的路上，假借民训处奉第一战区司令长官命令，收编散兵游勇，并从西安、郑州、武汉等地招来几百名流亡学生，编为干部教导队，进行训练，以便扩大河北民军，张荫梧任总指挥。他打着抗日的旗号，根本就不抗日，是以抗日为名，扩大他的势力。
张荫梧和鹿钟麟之间有矛盾，他认为河北省主席轮不到鹿钟麟的头上，曾经一气之下跑到武汉要求见蒋介石。先后三次求见，蒋介石三次拒见。张荫梧也非常迷信，他在蒋介石那里碰一次钉子，就算一次卦，批一次八字，抽一次签，并且把每一次算卦抽签的内容都记在他的日记上。张荫梧连着三次求见蒋介石均遭拒绝，非常恼怒，又无可奈何。正要离开武汉，他忽然受到陈诚召见。张荫梧和陈诚在保定军官学校是同学。接着又受蒋介石赐见十分钟。随后张荫梧被委任为河北省三青团总干事长兼任民政厅长。之后，因争地盘委任县长和鹿钟麟的矛盾非常尖锐。
一九三八年九月底，冀中军区驻在蠡县附近。这时，邱立亭以冀察战区司令长官鹿钟麟代表的名义，经冀南行署主任杨秀峰(兼统战部长)介绍，到冀中区党委黄敬处来见我。邱立亭曾是我在东北讲武堂的同学，他对我讲，鹿钟麟派他来与我商谈有关冀察战区统一作战指挥的问题。我当时对他说，我是晋察冀军区的冀中军区司令员，又是八路军第三纵队司令员，归晋察冀军区聂荣臻司令员指挥，聂司令员说了算，我无权决定。冀察战区的作战指挥，必须首先经过晋察冀军区，否则就不能接受。就这样，把他顶回去了。晚上，邱立亭又到我的住处看我。他先问了我留在冀中的经过，又对我讲，蒋介石可以委任我一个军长，要钱有钱，要人有人，要饷有饷。我对他说，蒋介石是什么人?张学良大仁大义送蒋介石回去，倒被蒋介石扣起来。直到现在抗战了，还不放出来。你也是张学良的学生，怎么能说出这样的话呢?我让他不要再说下去了。后来，他竟当着我的面骂起共产党来了，说共产党“过河拆桥，卸磨杀驴”等。当时，我一听就火了，站起来拍着桌子骂道：“混蛋!敢当着我的面骂共产党，你知道我是什么人?”说着，将他撵出屋去。
第二天，我向黄敬、孙志远同志汇报了邱立亭与我谈话的经过。黄敬批评了我，说我不应该骂邱立亭，还要搞统一战线嘛!他说他的，你不同意就婉言拒绝，送走他了事，何必骂他。