杜月笙先生遗嘱又有云：「……诚以余出身寒微，所受国家社会之恩赐殊多，义之所在，不敢不尽力以赴之也。」
先生在世，无论在任何场合，在任何人面前，向不讳言他「出身寒微」。这是他朴质谦抑，和易近人，而且真诚坦白、胸无城府处。杜先生的童年，不仅对他个人，是一页血泪辛酸史，即令于他的家族，也有不尽的痛苦与悲惨。杜先生诞生于逊清光绪十四年，民前二十四年，时值清廷积弱，外侮日亟，欧西各国势力，相继侵入淞沪，上海若干农工商小市民阶级，环境日蹙，生计艰难。杜先生降临人间，他的尊翁文卿公正设米肆于上海杨树浦，越一年，母氏朱太夫人带他由浦东高桥杜家花园旧宅，迁赴杨树浦依文卿公同住。又一年朱太夫人诞一女，产后即告病逝，以致杜先生不仅在襁褓中痛失慈母，而且连他那位等于从未谋面的胞妹，也因家运的蹇滞，送给一位黄姓的宁波人，作为螟蛉。
先生四岁，所幸文卿公续弦张氏夫人，对先生视同己出，备予钟爱。然而好景不常，五岁时文卿公病殁，张氏夫人抚育遗孤，撑门立户，又过了两年，米店因经营不善，被迫歇业。
张氏夫人只好携同先生，遄返高桥，勉力维持生活。不及一载，衣食两缺，母子二人实在撑不下去，张氏夫人被迫脱离杜氏门庭，留下先生这个八岁大的孤儿，茫茫人海，茕独无依。幸有他的外祖母朱太夫人予以收容，但是外家的生活很苦，因此先生从八岁到十三岁那一段时期，三餐犹且不继；而负薪、种菜、领孩、煮饭，一应成人的工作，都必须挺身任之。到十五岁那年，外家也耽不下去了，他便一肩行李，两手空空，和外祖母在八字桥对泣而别，孑然一身，到华洋杂处的十里洋场，去求生存，打天下。
在这样穷苦困厄的环境之中，杜先生的父母双亲相继病故，家贫以至无力营葬，两口灵柩，先后停在杜家花园宅外的田塍上，仅于灵柩上面覆盖一些稻草，聊蔽风雨，荒丘暴露，为人子者情何以堪？但是家境如此，唯有椎心刺骨，徒呼奈何。
杜先生是从孤寒艰困中挣扎奋鬪出来的，因此他极其了解民间疾苦，人生刼难。他从小时候起便已立下誓愿，博施济众，他曾慨然的说：「将来杜某人有了钱，凡是遇到穷人，我都要加以接济！」
这句话，杜先生确能终身奉行不渝。从民国七年起，夏施痧药，冬赈寒衣，死赠棺衾，年节送钱，他对浦东故乡数以千计的贫弱病苦，一直招拂济助到民二十六年八一三事变为止而平时任何人有缓急相求，不论数额大小，他无不欣然应命。战前每月拿着专折，到杜公馆支领生活费的，多达二百余户。自民国二十四年迄二十六年，短短三年之间，他个人捐输的各项义款，为数即达一百五十万元之巨。至于民国十六年北伐之役，十七年陜北旱灾，二十年长江大水灾，二十一年一二八事变几度大难，灾黎遍野，流离失所，都曾由杜先生登高一呼，国人景从，于是广施赈济，全活无算。以是杜先生逝世后，张岳军先生挽词中有：
「卜氏输财，历济艰危昭史乘」之句，而王正廷先生亦曾挽以：
「是大众卫星，义粟仁浆施四海！」
先生早岁饱受贫穷的苦楚，待他成功发迹以后，他仍自奉俭约，不尚奢靡。他在饮食方面毫不讲究，山珍海味固所不辞，一碗咸泡饭，也能吃得津津有味。衣着一道，他更是常年一袭长衫，穿鞋子，他爱穿缎面软底，新鞋子上脚还嫌不适意，总是命人先替他穿软了，自己方始着用。
仁民爱物，薄己厚人，这是杜先生立身处世的一大原则，且能身体力行，历数十年而不渝。香港时报民国四十年八月十九日的一篇社评，对于杜先生的此一美德，论说得相当透澈：「杜氏以一『出身寒微』，『朴实无文』的平民，崛起海隅，……平日立身行己，对人接物，尚道义，重然诺，处处揭示着『朴质无文』的本性，即处处表现着令人尊爱的美德。因此，他能以布衣而抗颜当代名公钜卿，广交四方智勇力辩之士，无贵贱，无贫富，皆乐与接近。他又能急人之急，忧人之忧，忍人之所不能忍，救人之所不可救。故其事业的发扬大成，固由于他的才智使然，而社会大众在无形中给予他的同情鼓励，也有很大的影响，这些果实的获致，即是从他一生的义行中产造出来的。」