杜夫人姚玉兰在最后一架飞机离开香港起飞以前得到她闺中密友一只电话，告诉她说给她留了一个空位子，要走就快点来，姚玉兰回复她唯有一声苦笑，她说我这边人多着呢何况杜先生交代了我不少事情，譬如说陶希圣不曾脱险，我就不能走。
「香港杜月笙」依然目标显著，风险极大，日本人可能下毒手，香港饥民暴徒说不定也动上杜公馆的脑筋，但是别人可以暂避，姚玉兰却寸步不容稍离，因为她一走开全香港的杜门相关人物就无法通讯联络，因此姚玉兰决心不避也不走，她要死守大本营。难得的是杨虎夫人陈华慷慨尚义，自愿陪伴姚玉兰，和她同生死共患难，姚玉兰感动得热泪沾襟，她问陈华说：「从今以后咱们俩命运相连，但愿妳跟着我，能够死得不冤。」
幸亏有姚玉兰硬起头皮，咬紧牙关，死守柯士甸道不去，东躲西藏的杜门中人，方始有了一个希望不浅的联络中心。徐采丞的专轮驶来，以及稍后一批批的相关人物陆续逃离香港，辗转抵达重庆。如果没有杜公馆居间联络，分别知会，可能杜月笙、戴笠、徐采丞在渝沪两地用尽心机，煞费气力，其所得的结果也是化为泡影。
香港撤退之役，在杜月笙来说是他生平一件大事，一大成功，而且也使他的个人声望迅又推上另一高峯，他所做的事为人所不敢，所不能为，他从敌人侦骑密布，大肆搜索中，救出了无数名列前矛的人物，而且他的做法是先公候私，先友好而后家眷，他为了顾全信义宁可牺牲妻子儿女。由于他向陶希圣说过要接他到重庆的话，尤有三哥金廷荪，实在因为上海蹲不住了，三十年冬正彷徨于浙闽两省，杜月笙再三再四，恳邀他到香港，金三哥十一月方到，不及半月香港卽告沦陷，杜月笙认为是他害苦了金三哥。因此，他在香港沦陷前夕拍回家中一个电报：「金三哥和陶先生一日逃不出香港，杜门中人包括太太和少爷在内，一个也不许离开。」
由香港出深圳，循东江抵韶关，沿途不仅关卡重重，盘查严密，而且敌伪军队，强梁土匪，经常出没无常，日军陷港，渝港消息中断，在港诸人又怎知道杜月笙业已设法打开了这一条路上的重重关节，因此他们亟于设法自救，便推派杜氏门徒陆增福，拎着脑袋去探路。陆增福历经千辛万苦，受过重重灾难，好不容易穿过危险地带抵达惠阳，他立刻胪呈在港诸人情况，发一封长电禀报在重庆的杜月笙。当时，杜月笙已因忧急相并，心力交瘁，淹滞病榻多日，得到陆增福的这一个电报，方始一跃而起，欢声的说：「陆摸通了，火速叫他们准备动身。」
开路先锋陆增福打过了头阵，第二泼走的便是顾嘉棠与芮庆荣，这两位杜门大将，在江湖上名声响亮，而且不分文的武的，都各有他们的一套。因为他们还是「摸」着走，自需步步为营，时时小心。何况他俩的肩上，还有为后来的大队搭线开路的重责大任。
顾、芮两位大亨果告顺利完成征尘，在香港的落难者大为振奋，他们开始集合成队，一一登程。姚玉兰之成行另有一功，那是因为陈华欣然发现她可以指挥得动洪门中人，由于杨虎在广东从事革命甚久，他又是中国海员的领袖，杨夫人的招牌亮出，居然到处顺利无阻。在香港的洪门头脑为杜、杨两夫人谋到了奇货可居的日本军民政部发给「还乡证」，两位贵夫人化妆为广东乡间女子，蓬头垢面，粗衣麤服，姚玉兰化名王陈氏，推说回一趟兴宁家乡，「还乡证」明文规定，三日之后不回香港，抓到了便要「军法从事」。
两位夫人带了随从佣妇，在洪门弟兄暗中保护之下，通过关卡，踏上广东省境，她们沿东江西上，一陆吃的苦头，和遇见形形色色的怪事罄竹难书，幸好平安无事抵达桂林，而在阴历大年初三那天抵达重庆，杜月笙欢天喜地把姚玉兰迎到汪山。为了纪念一生之中这一不平凡的旅程，姚玉兰穿上携来的乡间妇女衣服，再施原有的化妆，而在汪山附近拣一处极与粤西途中相似的背景，拍了两张照片。
余下来在香港的人分别组队，由李北涛负责「开条子」，以便凭条在有交通银行的地方支领旅费，时值香港沦陷一个半月以后，日军由于粮荒严重，下令遣返难民还乡。于是这一般日军搜捕日亟的人士便人人化装为乡民，个个申请为还乡者，他们分队出发，杂在成千上百的难民队中，相互装做不认识，然后混过关卡，通过盘查，步行而到大浦。由大浦乘渔船到葵浦要通过日军的警戒线，这一路基于杜月笙的安排，是一对黄氏兄弟负责安全警戒与交通工具，越葵浦而惠阳，或淡水转横沥，沿途步行而过，这一段杜月笙也派有专人照料，然后直到自由地区韶关，沿途均请专责人员，必要的时候，他们还自动派出武装的护卫。