光绪十八年，杜月笙五岁，渐渐懂得人事，自以为他的家庭相当美满，父母双亲对他是一例的嫟爱备至。这一年，上海夏秋大旱，居民纷纷逃荒就食，杜月笙一家三口，困守杨树浦。阴历十二月初九，天降大雪，气候奇冷，杜文卿得了病，不及医药，油尽灯枯，他病死于妻儿之前。
温柔沉默的张太夫人，表现得无比坚强。她和杜月笙遵礼成服，为杜文卿备就衣衾棺木，母子俩哭着扶柩还乡。和杜月笙的生母死时一样，无以营葬。杜文卿的灵柩由他继室和爱儿束以稻草，也是暂厝在田塍上。他和他的原配朱氏夫人，虽然死都无法同穴，但是总算并肩而厝，仰捡看着天光。数年后，像似奇迹。两口棺木之间，长出一棵黄杨树，枝繁叶茂，覆荫杜文卿夫妇的遗骸。这一棵树，至今应仍存在。
二十五年后杜月笙发迹了，他一心想选择一处好穴为他的父母落茔，藉以了却他抱憾多年的一大心愿。可是，请了几位风水先生，竟都异口同声的说：他父母浮厝的那块地方，正好是一方寅葬卯发的血地，祇可浮葬，不能入土，因为一旦入土风水便将破坏无余。尤其那一棵黄杨树，更是杜氏子孙世代荣枯的根源，动也动不得。曾有人谓杜月笙为了迷信风水，于是任其父母灵柩继续风吹雨打，他光前裕后的建立杜祠，盛况一时无两，但却始终不让他的父母入土为安。其实这是错责了他，以杜月笙这样毕生讲求孝悌忠信的至性中人，他既能大建祠堂，怎会迷信风水不谋父母安于窀穸。杜月笙之不获迁葬父母，完全是由于亲戚尊长的坚决反对，这也是旧时风俗使然。譬如说杜月笙唯一的尊亲老娘旧朱阳声先生，便曾极力以为不可，他的论据是父母死后灵柩万万不得移动，否则死者于九泉之下，必也不得安宁。
张太夫人不愧为女中健者，她挈同杜月笙还乡，草草浮厝了文卿公的灵柩，旋不久又回到杨树浦，撑门立户，以一介荏弱的女流，继续开设杜又卿遗留下的米店，谋求两母子的噉饭。
光绪十九年，杜月笙六岁，张太夫人为他束发受书，备下束修，进了一家私垫，垫师是一位瞿老太太，多年后她还记得起杜月笙这个孩子来，她对由她启蒙的杜月笙，总是嫟爱而欢然的赞誉：
「月生小时候读书，聪明是聪明格，就是相当的顽皮！」
这一年，三月，上海忽自西北来台风，水雹随之急降，大者如拳，小者如豆。猛一阵风雹，使得全上海的麦苗尽摧。
光绪二十年，甲午，朝鲜东学党乱起，清廷追兵敉平，遂与日本开战，而海陆两路均败，启日人觊觎我国土之贪念。同年，孙中山先生创立兴中会，于美国之檀香山，国民革命，于焉有所契机。
上海方面，平静无事，人海中的一泓小小漪涟，张太夫人无法撑持杨树浦那片小米店，被迫关门歇业，她带着七岁的杜月笙回高桥。房子是有得住的，生活费用全无着落。她基于对月笙的一片爱心，咬紧牙关，也去帮人家洗衣服，赚几文钱，还不移两母子的伙食。
境遇是如此的困苦，张太夫人仍还殷殷的以杜月笙前途为念，她深知杜月笙天赋聪明，像他这样的孩子应该好好读书，她利用洗衣工资，节衣缩食，每月凑五角钱，送杜月笙到一家私塾读书。一连读了四个月，到第五个月开始必须缴费时，她实在拿不出钱来，她和杜月笙抱头痛哭，杜月笙自此辍学。
光绪二十一年，杜月笙八岁，虽说是髻龄童子，但他八年之间失恃失怙又失却了弱妹，幼小心灵实已饱经磨折，偏在这时他又受到更深钜的刺激，张太夫人因为没有人给她衣服洗，无法生活，竟然被迫脱离杜氏门庭，一去杳如黄鹤。
那年正月廿二日，戌时，上海大地震，房舍人畜，损失无算，秋季又有瘟疫盛行，患吐泻症死者甚多，俨然是霍乱重演。
当时浦东一带，盛行一种流氓地痞同流合污的组织，名曰：「蚁媒党」，声势浩大，从者甚多。他们的行径卑劣，等于人口贩子，但凡见了蓬门弱质，青年寡妇，必定千方百计，威逼利诱，以堕其节，以遂其欲。或则逼她们改嫁字人，或则迫她们卖身青楼，种种罪恶，罄竹难书。因此上海士绅痛针协时弊，纷纷组织保节会以谋对抗，旌扬节妇，助以衣食之需，三林乡、陈行乡俱由上海邑绅秦荣光倡呼设立，唯高桥尚未纳入范围。而张太夫人究系怎样坠入奸计，流落何方？以当时杜月笙年幼，始终无法查究。
继母神秘失踪，杜月笙不但乏人照料，而且连饭都没有得吃。对面住的堂兄杜金龙，学徒出身，在上海做烟纸店生意，一年到头，难得回家几天。所谓烟纸店，是一种摆在马路旁边的钱币兑换摊，因为上海五方杂处，币值繁复，一两银子换多少制钱？几千铜钱折几块鹰洋？零数凑整笔，整笔化零数，成为人们的日常需要，于是这一类小型兑换店应运而生，街头巷尾，所在多有。业者整天守住摊子，换得的是蝇头小利，养家活口都很困难。
堂兄常年不在家，堂嫂那边常时缺米缺油，杜月笙不便在他们家就食。八岁的小孩全无生活能力，饿了些时；他只好哭哭啼啼，找上外婆家，外婆是他生母朱太夫人的母亲，对这个孤苦伶仃、饥寒交迫的外孙，相当钟爱。可是外家境况一样的苦，一家大小；都靠杜月笙的老娘舅朱阳声，做泥水匠渡日。多一口入吃饭，那怕是个小孩子，也形成了他们沉重的负担。
江南有句俗谚：「冷粥冷饭好吃，冷言冷语难受！」站起来只有饭桌高的杜月笙已经懂得察言观色，见机知趣。娘舅一家，除了老外婆，很少有人给他好脸色看，为了争取老娘舅和舅母的好感，杜月笙整天沉默寡言，埋头工作，一看到家里有事，便自动的掳起袖子干。他去拾草、打柴、背那足足有他半人高的箩筐、柴夹；后园里浇粪，种菜，帮外婆舅母煮饭，带领小孩，替老娘舅跑街，采买。他以为咬紧牙关，拼命的做，可以得到舅父舅母的欢心，让他在外家存得住身。没想到舅父舅母照样对他施以白眼，偶然犯了点小错，不是厉声叱骂，便是大巴掌，爆栗子，打得他晕头转向，凿得他金星四迸。
上十岁的小孩子懂得什么呢？辛勤努力全归无效，讨好卖乖无人置理，他几乎对整个人世失望，他永远没法讨人家欢喜，他是外家的累赘，厌嫌物，眼中钉。不管他每天要做多少事，娘舅舅母始终认定他是各吃闲饭的，拋不掉的包袱。过三年忍气吞声，泪洒心田得日子，坏运到又来了。光绪二十四年，杜月笙十一岁，浦东的农夫犁地，在烂泥巴里掘出了黑米；于是谣诼纷纭，人心惊惶，说是又将有天灾人祸降临。果不其然，当年的五月二十，乎起大风，呼啸过境时，伤损了无数稼穑。从此米价大涨，早晚行市不同，最贵的时候，每石涨到七千二百文，老娘舅自顾不暇，三餐不继，对这个多余的累赘，供应难免匮乏，杜月笙常时饿得头昏眼花，坐在路边晒太阳。出身寒微先世难考
中华民国二十年六月十日，筹建经年的「杜氏家祠」落成；时值杜月生笙先生四十四岁，事业绚烂之极，声誉如日中天，以他个人的心情来说，「衣锦荣归，踌躇满志」，约略可以当之。
因为他出身一个小商人的家庭，三岁失恃，五岁失怙，八岁那年，爱他如同己出的继母，以生活所迫，脱离杜氏门庭。杜月笙依食外祖母家，三餐不继，衣履难周，更历尽了人情寒暖，世态炎凉，诚所谓「寒日饮冰；点滴心头」。十五岁时他想出外谋生，苦无资斧，脑筋动到祖传的半幢破房子上，被他舅父饱打一顿，又受了姑丈的严词呵责，他一怒而离开家乡赤手空拳，渡江到上海求生存，打天下。外祖母送他到半途之中的八字桥，相对泣别，当时他泪眼望着高桥，立了个誓：
「来日我若不能荣宗耀祖，誓不言归」
十九年后杜月笙「奉主入祠」，众庶腾欢，百朋宠锡，盛况堪称空前，时至今日，仍然有人津津乐道，许为民国开元以后，太平盛世的无上豪举。今总统蒋公颁赠匾额，再赐祝词，此外题赠匾额的还有三位退职总统暨执政，徐世昌、曹锟、段祺瑞；以及吴佩孚、章太炎、于右任、李烈钧、张学良、张宗昌、马福祥、班禅等，致翰章祝词的有胡汉民、汪精卫、郑孝胥、杨度、何成浚、谷正伦、杨杰、邓锡侯等。全国各省各埠，均派代表专程致贺。在杜月笙与其家人之后列队行进的亲友，多达五六千人。上海市民，几于空城而出，麕集街道两侧参观。曾有人说，当时盛况，较诸伦敦英皇加冕，亦无逊色。
然而无可否认，杜月笙在这一派花团锦簇，雍容华贵之中，他的内心仍有几许悲酸，一缕惆怅。除了回首当年的艰辛，他还有一腔憾恨；由于父母死得早，近支族人丁口单薄，杜月笙不但对他的先世茫无所知，甚至连他祖父的名讳也说不上来。
幸有一代朴学大师，古文泰斗章炳麟（太炎）先生，根据杜月笙儿时听闻杜家是由浙江海宁迁来这一点，详征博引，考校杜氏世系，确定江南之杜，以山阴杜衍始着。章太炎先生为此特地写了一篇「高桥杜氏祠堂记」，为传诵一时的皇皇之作，同时也是为杜月笙写传记，最重要的一篇文献
「杜之先出帝尧。夏时有刘累，及周封于杜，为杜伯。其子湿叔，违难于周，适晋而为范氏，范氏支子在秦者复为刘，以启汉家。故杜也、范也、刘也，皆同出也。杜氏在汉也，有御史大夫周，始自南阳徙茂陵。自是至唐世为先望。其八皆祖御史大夫。惟在濮阳者祖七国时杜赫，自江以南无闻焉。宋世有祁国公衍实家山阴，江南之杜自是始着也。高桥者，上海浦东之乡也。杜氏宅其地，盖不知几何世？其署郡曰京兆。末孙镛自寒微起为任侠，以讨妖寇，有安集上海功，江南北豪杰皆宗之。始就高桥祠堂祀其父祖以上，同堂异室之制，近世虽至尊犹然。故诸子庶不立别庙，独为一堂，以昭穆叙群主，盖通制然也。凡祠堂为址八亩，其壖地以诗设塾及图书馆，所以流世泽帅后昆也。余处上海，久与镛习识。祠成而镛请之为记。夫祠堂者，上以具岁时之享，下使子孙瞻焉，以捆致其室家者也。杜氏在汉唐，其为卿相在以十数，盛矣。上推至帝尧，又弥盛矣。虽然，自尧之盛，尚不能覆露其子，使袭大宝，其余虽登公辅，赐汤沐之邑，曾微百年，后之人至不能指其先世里居所在，此镛所知也。为子孙者，岂不在于自振拔乎哉？和以处宗族，勤以长地材，福倍汉唐盛世可也。其兄弟不辑其居处，日偷祸倍，矜寡无告可也。抑闻之，古之训言，保姓受氏，以守宗祊，世不绝祀，不可谓不朽。称不朽者，惟立德立功立言，宜追视杜氏之先，立德莫如大司空林，立功莫如当阳侯预，立言莫如岐公佑，其取法非远也。镛既以讨贼有功，其当益崇明德，为后世程法。然后课以道蓻，使其就文质，化为畔 ，以跂于古之立言者。有是三者，而济以和宗族，勤地材，则于守其宗祊也何有。不然，昔之九望，奄然泯没于今者七八矣。虽有丹楹之座，穷九州美味之飨，其足以传嗣者几何？吁，可畏也，乃记之云尔。」
章文中所称的：「宋世有祁国公衍实家山阴，江南之杜自是始着也。」以及：「自尧之盛，尚不能覆露其子，使袭大宝，其余虽登公辅，赐汤沐之邑，曾微百年，后之人至不能指其先世里居所在，此镛所知也。为子孙者，岂不在于自振拔乎哉？」其实，在「杜祠」落成前后，杜月笙对于纂修谱牒这一桩大事，始终念念不忘，曾经多方致力，民国十九年起，即已分刊告白，广事征集宗族资料。民国三十八年，犹请刘春甫先生代为编纂，可惜大功尚未告成，中共渡江，上海沦陷，杜月笙挈家人匆匆避港。这部未完成的族谱，随刘先生陷于大陆，不久，听说刘先生也做了古人。
但自杜月笙病逝香港，家人扶柩来台安厝，留居台湾的诸人，对杜月笙此一未竟之心愿，仍在继续征集史料，考校参证。根据章太炎先生提示的线索，利用中央研究院等各大图书馆的史籍志书，关于高桥杜家的先世，总算找出来了些头绪。
宋世有祁公衍实家山阴。章先生指的是宋朝祁国公杜衍，杜衍字世昌，大中祥符进士，历知外郡，很有政声。宋仁宗时任御史中丞，拜枢密使同平章事，可是他持正不阿，落落寡合，被朝中的小人排挤，只当了一百天的宰相，乃以太子少师告老致仕，封祁国公，卒谥文献。他是有宋一代的名臣之一
山阴，浙江县名，秦置，清代合山阴、会稽两县为绍兴府，民国废府改绍兴县。高桥杜家系自海宁迁来，海宁和绍兴，祇隔一条钱塘江。
查遍弘治本上海县志、同治本县志、民国七年上海县续志，于焉寻出杜氏先世的端倪。宋朝有杜可久，是祁国公杜衍的后代，做过青龙镇直学，以文章行世，训读诸生，他在西霞浦住家，死后葬在「杜村」。
元朝，有杜元芳、杜英发两兄弟，都是祁国公的九世孙。杜元芳字玉泉，当过德清县主簿，晚年归隐杜村，曾经造了一座翡翠碧云楼，藏书万卷，系当时上海的一处胜迹。他又建了一幢别墅在周浦，后来由他的侄孙尧夫居住，杜尧夫在周浦建了一座桥，初名尧夫桥，后改杜浦桥。自此，杜村杜浦，皆以杜氏族居而获名。
他的弟弟杜英发，字俊卿，当过建宁路蒙古字学正，迁南京教授，归隐西霞浦，号西霞道人。他为人慷慨尚义，各重一方。杜俊卿有一位叔叔无后，曾以莫姓子为螟蛉，嗣又由俊卿公承祧。叔父一死，杜俊卿悉付家产与莫姓义兄，并且广置义田储粟，资助邻里婚丧各事。
杜元芳名希仲、希仲有子名隰，字宗原，明太祖洪武年间中词科，拜太常赞礼卿，礼部给事中。朱洪武皇帝很喜欢他，告病回沪养病时期，一连两次派人存问，他死时只有三十三岁，他的弟弟杜恒，存有诗集。
宋祁国公杜衍的后人，由南而北，迁到上海，起初都住在杜村。杜村原名周浦，后属杜浦镇，座落在上海县城东南卅六里，属十七保。至于月笙一支所住的浦东高桥，位于县城东北卅六里处，隶高昌乡二十二保，两地直线距离，近在密迩，而且同属浦东区域。
明朝，一位移居浦东的杜门远祖中过进士，官拜尚书，那是杜士全，字道执，嘉靖戊午登科。他的弟弟杜士基，隆庆二十年进士，字慕明，官拜南京兵部郎中。
杜尚书很受上海人推重，他曾留下一则轶事：某年他回浦东扫墓，轻装简从，答报亲友，只带了一名老苍头，和两三名小僮，并且吩咐报名帖时不许高声。回家后老苍头说今天拜客扈从太少，恐怕有失礼制。当其时他说了一段入情入理的话：
「你们懂得什么叫做礼制吗？我亲友三党之中，贫苦的很多，他们居室湫隘，扈从去得多了，那来的廊庑安顿你们？于是主人必感局蹐，我也不得心安，只好匆匆告别，那才真是失了礼制呢！」
明代以后，杜氏族人中进士做官的，有杜宗彝，字孝若，陵州知州。杜献璠，字公鲁。杜时登、杜时胜、杜乔林，和他的儿子麟征。杜麟征的儿子甲春、同春，都是贡生，同春字子旷，做过黔江知县。
杜家最后的一名举人，是杜惠炘公，同治九年中科，字仲炎，号紫莼，任过知县，后来毕生从事教育工作。他死于光绪十八年，杜月笙已经出世了，他那年五岁。
至于，章文中所云：「其署郡曰京兆」，那是因为在汉朝的时候，南阳豪族杜周，举家徙居茂陵（今陜西兴平县东北，属京兆郡），从此，姓杜的人都称「京兆郡」。
杜月笙自己曾说：杜家的祖籍确属浙江海宁，其祖先经营丝茧行业，失败后移居上海高桥，至于是从海宁原籍迁来，抑或系由上海某地迁徙，他以儿时偶然听闻，记忆已不真切。不过，杜家在高桥的祖宅年代久远，格局颇古，不像是近数十年新建的房屋，由此可知，杜家在上海高桥实已定居过相当一段时期。杜月笙所属的这一支，和上列杜氏族人载诸志书典籍者，自属有所关连。
诗咏祀事，典备蒸尝，慎终追远，民德归厚。为使杜月笙先生获慰于九泉之下，乃以所征集之杜氏先世资料，姑予存记，列为「杜月笙传」第一章，以备来日参考。