民国三十八年五月二十七日，上海国军于歼灭共军十一万人后，因战略关系撤出上海，是日杨虎、吴绍澍等自大西路引入共军，为虎作伥，自取灭亡。共产党指派陈毅为伪上海市长，陈毅沐猴而冠以后所办的笫一件事，便是「情词恳切」的公开致电旅港上海耆绅，金融工商领袖五大亨，是为杜月笙、陈光甫、李馥生、宋汉章和钱新之。
由于长电之来，犹如石沉大海，陈毅心目中的五大亨，并无只字片话答复，陈毅还不死心，也可能是徐采丞在为他自己亟于脱离虎囗，又耍了一记噱头，陈毅「派」他以上海巿地方协会秘书长的地位与关系，专程跑一趟香港，迎迓杜、陈、李、宋、钱五大亨返沪。除采丞抵达香港以后，其结果是他自己从此也不重蹈覆辙，他留在香港，不再回到黄浦滩。
杜公馆的相关各人，陆陆续续的到了香港，上坚尼地台十八号一看，那幢房子不但不合理想，而且不成格局，厅不像厅，房不像房，眞正能派得上用场的，简直数不出几间。
但是杜公馆到了香港的人可眞不少，自杜月笙以次，有三楼孙氏太太，姚玉兰与孟小冬，长儿长媳维藩夫妇已经有四名儿女，次子维垣、三子维屏、五子维新，俱已建立小家庭，七子维善、八子维嵩还在读书，外加大小姐杜美如，孟小冬的义女美娟，光是家中的眷口便有二十多人，何况还有跟出来的随从徐道生、司机小阿三钟锡良、大司务「小鸭子」及其下手、男仆陆圆、解子信，女佣阿妹、小妹等四人。佣人又占了十个之多。
而坚尼地台十八号一楼一底的房子，楼住上的是陆根泉一家，楼下杜公馆，旣无庭园又缺围墙，外面的人朝里望，可谓「开门见山，一目了然」，全屋精华所在唯有一间半圆半方的大客厅，正房祇得三间，其余小房都是将就走廊空隙隔出来的，一间做了秘书胡叙五的办公室，另外三间住了杜美如、杜维善、维嵩两兄弟。姚玉兰和孟小冬的两间附在杜月笙的大房间外面，劈面相对，而且声息相通。
将这几个人勉强分配好房间以后，再要住人，便毫无空隙，灶披间祇够住一两个佣人，其它的佣人必须住在外面，每天早出晚归。
因此之故，二楼陈氏太太一度由台湾到香港，她反倒住进新宁招待所，三楼孙氏太太则在外面与儿子同住，杜维藩的太太先带小孩到香港，住过九龙李丽华的房子，后来杜维藩乘海非轮抵步，一家六口便花两万港纸，在建华街顶了一层楼，而跟同自上海来的王新衡望衡对宇，隔街而居。其余成了家的三儿一女，则杜维屏住堡垒街，杜维垣、维新住在渣华街，二小姐杜美霞嫁给了金元吉，她是金公馆四少奶，金廷荪由上海带出来的一大家人，也住在渣华街上。
方抵香港的杜月笙，由于精神体力的关系，加以当时环境之所限，心情之萧索，早已失却创办事业，养家活口，作长期打算的壮志雄心，这么一大家人的生活所需以及他自己每月恒在港币两万以上的庞大医药费用？需费若干？究从何出？据姚玉兰、杜美如等回忆，光祇坚尼地台一处，一月开销至少也得港币六万之数，有时候，姚玉兰还得目掏腰包贴一票蚕丝蚀了十万
杜月笙带一大家人到香港，他打的是什么算盘？无他，「坐吃山空」，用光为止，说来也是可哀，这位当代名人，挥金如土的上海大亨杜月笙，三十八年离开上海的时候，他一总祇有两笔财产，其中之一，是美金十万，当年曾因预储子女教育费的关系，交给了好友宋子良，请他带到美国代营「生意」。另一笔，约有美金三十万之谱，那是出卖杜美路那幢渠渠华厦之所得，幸亏有杨管北的一句话，方始提出预存于香港，留下来作为杜月笙走完人生最后旅程的使费。
早在民国三十六、七年间，杜月笙卽已有意卖掉那幢自家一直不曾住过，而系金三哥用大运公司卖航空奖券的盈余，为他所建造的杜美路大楼，起先准备卖给中纺公司，中纺出价美金三十万。后来，因为，杜维垣认得一位美国朋友，经他介绍，杜美路大厦终以美金四十五万元的较合理想价钱，卖给了美国驻华大使馆。
四十五万美金在上海花去了一小部份，剩下养家活口带保命的最后本钱，杜月笙时运不济，他自作主张去做一笔大生意，结果是一票蚀了美金十万左右，使得他大受刺激，病体由而日趋沉重。
说起来到是热心朋友，好意帮忙，想给杜月笙在一进一出之间赚一大票钱，这位朋友是四川人，他经常来往重庆、成都与香港，据他所知，四川是年蚕丝产量特丰，茧价本低，又碰上了时局关系，因而一跌再跌，已经跌到成本之内，低到无可再低。这位四川朋友早已决定斥集巨资，大事搜购，并且他已接洽好了中航公司的飞机，代为运港，这批丝茧运到香港以后，卽令比市价再低的话，也可以有十倍八倍的利息。
杜月笙一听，这岂不是千载难逢的良机，朋友极靠得住，生意更是十拿九稳，加十万美金股子进去，也许便在数日之间，就可以赚个三五十万，有这种好生意不做，更待何时？
当杜月笙满怀希望，欣然加入的特候，四川朋友告诉他，大部份的蚕丝都已经收购好了，货色集中在成都，祇等中航公司的飞机开始履行合约，拨机逐批运港。那时候，犯川共军纔祇攻下了巴东，川边吃紧，成都、重庆，一概安如盘石，共军跑得再快，也不可能猛一下便威胁到成都，因此，杜月笙交付过股款以后，便笃定泰山的等看赚钞票。
万万料想不到，蚕丝方待启运，十一月十日一早翻开报纸一看中国航空公司与中央航空公司的负责人，腼颜事敌，带了十二架飞机，一道飞往北平，两航投共，使全国各线空运全部中断，那是当时令人极为震撼的一条重大新闻。这一条重大新闻，对于杜月笙和他的四川朋友，乃至于及后参加的顾嘉棠，震撼的程度尤足惊人，两航叛变，航线中断，运丝的合同无人负责，大批的丝堆在成都运不出来，一时又找不到其它的交通工具可资利用，这一个打击对于当时的杜月笙来说未免太大，四川朋友几几乎为之破产，顾嘉棠的一家一当全蚀光，杜月笙则也损失了美金十万的巨款。
杜月笙急得喘疾又发，在香港时杜月笙治喘，照样是中西并重，药石兼投，经常来为他把脉开方子的医生，中医有四位，西医则三名，这七位医师俱非碌碌之辈，在香港可谓个个都有名望。三位西医是戚寿南、吴必彰与梁宝鉴，四位中医厥为苏州沧浪亭主人、名画家、名医师吴子深，还有旅港名医丁济万、陈存仁，杜月笙的门人，妇科圣手朱鹤皋。由于中西药石兼投，医生一多，意见难免分歧，究竟该用谁的医法，该吃那位的药，家人不敢做主，唯有杜月笙自己决定，因此之故，「久病成良医」的说法应了验，杜月笙反而变成他自己的主治医师了。加以亲眷朋友，来往探疾者数不在少，人人对他表示关怀，贴心，今天张三介
绍一位医师，明日李四贡献一个偏方，弄得杜月笙医生越请越伙，用药越来越杂，几个月下来的结果，他曾自嘲的说：
「如今我是拿药当饭吃，拿饭当药吃了！」
杜月笙本人无法拿出定见，决定祗请那一位医师主治，别人更不敢代出这个主张，「群医咸集，药石纷下」，对于他的喘疾，毕竟是益少害多，莫说喘疾时至今日犹无根治的方法，卽令当时有，以杜月笙的「急病乱投医」情形而言之，也是很难治疗得好。