包子生意至此是做不成了。王氏于是又向邻居借了一笔钱，买了些鞋面、胭脂粉、小梳子、针头线脑之类的小商品，让儿子到各处去卖。按照母亲的要求，张作霖背起货郎担，拿起唤铃，重又开始走街串巷，东游西逛。
货郎生意并不比包子生意更好做。每到一个地方，张作霖只要一放下箱子，人们便会围过来，挑这拣那，可是热闹归热闹，真正买的人却不多。当然这还不是最主要的，最主要的是张作霖已经爱上了赌博，一旦碰到赌钱的，往往会扔下货郎担上去“耍”。一来二去，不仅输光了卖货赚来的钱，连货郎担也归了别人。
看到儿子又两手空空地回来，可怜的王氏欲哭无泪。她唉声叹气地对张作霖说：“我们欠邻居的债到现在还没还上，怎么办呢？”
如果之前碰上这种事，张作霖或许也不知道该怎么办，但现在可不一样了。不管是卖包子，还是做货郎，都犹如在社会课堂进修，那些张作霖平时能够接触和认识到的人，从店铺的老板、旅店的老客、赶集的大小买卖人，再到学馆的先生、乡里的士绅，甚至是赌场里鬼混的赌徒，都是他的“一字之师”。这也使得张作霖虽然年纪不大，但已经是一个走千家踏万户，知头识尾，懂得变通的“小江湖”了。
听母亲诉说完难题，“小江湖”眉头一皱，计上心来。这一天，张作霖邻居家带崽的母猪突然掉进了村中的池塘。张作霖“看到”后站在池塘边大叫大嚷：“猪落水啦！”村民们听到喊声后都赶了过来，此时只见张作霖衣服也不脱，就扑通一声跳进水里，并将猪托出水面，赶上岸来。
邻居站在岸边目睹了这一场面，十分感动，对张作霖大加夸奖。之后，又上门向王氏致谢，对她说：“多亏‘老疙瘩’（东北人通常把家里最小的儿女称为老疙瘩，张作霖的小名叫张老疙瘩）救了猪，我们家免受了损失。你家上次借的钱我就不要了，算是一点谢意吧。”
其实猪就是张作霖连踢带踹给赶入池塘的。王氏虽然心里明白，但她也不会犯傻到把事情给挑明了，于是就顺水推舟地接受了邻居的好意。
一个寡妇家拉扯着几个孩子，实在是过得艰难。赵家沟有个兽医，正好丧妻，王氏便带着孩子改嫁了过去。老兽医为人厚道，听王氏说张作霖东来不成，西来不就，就说：“让老疙瘩跟我学兽医吧，学成了也能混个吃喝。”
东北民间的兽医主要是给马匹等牲口治病。张作霖天资聪颖，对这行又颇有兴趣，很快就学到了一些相马和医马的本事，这也是他生平掌握的第一个真正的社会技能。
跟着继父学习了一段时间后，张作霖重又走出家门，来到离赵家沟不远的图河堡镇，在镇上的一座大车店当起了杂役。图河堡镇子不大，但却是个交通中心，到大车店来落脚的客人特别多，不过其中有不少实际是乔装成客商的盗匪，东北民间称为“胡子”。
在东北，人们常常把盗匪与赌徒并列，所谓“西北连天一块云，天下耍钱一家人。清钱耍的赵太祖，混钱耍的十八尊”。赵太祖指的是北宋开国皇帝赵匡胤，此君年轻时酷爱赌博，民间甚至传说他与陈抟老祖赌棋，把一座华山都输掉了，因此赌徒皆奉他为鼻祖。至于“十八尊”，说的是十八罗汉。在佛教中，十八罗汉有“杀富济贫”“替天行道”的说法，所以就成了盗匪所信奉的神。东北盗匪往往会在胸前挂一尊小铜佛，此即十八罗汉中的第十七个罗汉，俗名布袋和尚。
传说从前有十八兄弟，家里很穷。为娘的实在维持不下去，就对他们说：“你们出去谋生吧，一年后回来见我。”兄弟们依言出去闯荡了一年，回来对母亲说：“天下不公平！”
母亲问他们为什么这样讲，回答是“富人太富，穷人太穷”。又问他们想怎么办，这群兄弟已经想好了答案：“世上什么行业都有了，就缺一个杀富济贫的行业！”
不知道是穷怕了，还是儿子实在太多，已把慈母心磨损得差不多了，老娘这个时候不是担心儿子们吃官司，而是怕牵连到自己，她说：“你们一杀人，人家不就认出是我的儿子了吗？”
这十八兄弟同时也被盗匪们认为是十八罗汉的人间化身，他们听了母亲的话后，为了不牵连家人，杀富济贫时便戴上了插着毛的面具，民间按其形象称之为“胡子”，这就是“胡子”一说的由来。现实中，由于盗匪们长年躲在青纱帐或山林里，不能剃头刮脸，搞得一个个长发飘飘，也慢慢就坐实了这一名号。
在平原上活动的“胡子”以骑马居多，俗称“马胡子”。这是因为平原上一望千里，骑马抢劫可以做到来得快、去得急，不但方便高效，安全系数相对也高。不过“马胡子”的马多半是偷来或者抢来的，马患了病，必然只能偷偷地跟兽医接洽，以后若想卖掉，也大多需要兽医转手。张作霖没出赵家沟之前，家里就经常有一些附近的“马胡子”前来治马，到了图河堡镇上后，又在大车店碰到了此类好汉。