人马一拨拨来，场面渐渐打开，开旅馆住长房间，终究不是长久之计，于是杜月笙便派人找房子，作小住香港的打算。这香港杜公馆便在姚兰扺步不久以后，设立于九龙柯士甸道一一三号到一一五双开间门面，楼凡三层，恰与上海华格臬路杜公馆相垺。屋主是澳门赌大亨，素有「澳门杜月笙」之称的高可宁，最近大闹澳门，为虎作伥，甘做共党爪牙的澳门烟赌头脑何某要算是他的第三代，「澳门杜月笙」高可宁有的是钞票，前些年他一口气娶了两位「名儿媳」，一个是葛兰，一个是尤敏
起先张骥先、吴家元、顾、芮、叶等人大家住在一道，后来各人的家眷也来了或有了，顾嘉棠、芮庆荣搬出去自立门户，这两位以及往后陆续从上海来的朋友、弟兄或门人，大都住在柯士甸道前后左右，亦卽德承街上一些公寓房屋，四面围绕，把杜月笙簇拥在正中间。
许世英于民国二十七年一月二十日，自驻日大使任内下旗归国，没有寻到房子以前，便住在香港杜公馆三楼，居室和老革命党张骥先遥遥相对，闲来无事，他临了八大幅王右军的圣教序，送给杜月笙，杜月笙很高兴，悬在客厅的两壁，往后江南名士，革命前辈，和于右任一齐办过民呼、民吁报的前监察使杨千里也被杜月笙接到香港，倘有重要文稿，题词题字，难免要借重他的大手笔。杨千里曾集杜句，为杜月笙题了一副对联，杜月笙便喜孜孜的挂在客厅中间，联曰：
三顾频烦天下计；一生好做名山游。
杨志雄和杨管北两位智囊，由于上海方面事务尚多，这两位总是来回的跑，杨志雄去了上海，杨管北便留在香港，杨管北要走，杨志雄再来。秦待时、江倬云、庞京周、毛和源，一般老朋友，都接受了杜月笙的忠告，相继避难香江，这帮人也是杜公馆的常客，唯独赌兴不如上海时期那么高。
当时杜月笙担任得有两项职务，那是每天都有事情做的，一个是「中国红十字总会」副会长，会长王正廷，时在菲律宾，一应业务，杜月笙交给他的得意门生，「红十字会」秘会郭兰馨代拆代行，郭兰馨便在杜公馆三楼右首要一个房间，作为办公室，长驻治公。─另一个职务是「经济委员会常务委员」，主管第九区的振济工作，日常行政事项，杜月笙派他另一得意门生林啸谷负责主持，林啸谷在楼下也要了一间房，每天过来办事。因此，柯士甸道一一三──五号杜,里面又设了「中国红十字会总会」和「振济委员会」两大机关。
振济委员会的对面，住的是以芮庆荣和吴家元，后来叶焯山到了，芮庆荣的家眷不旋踵也赶来，他搬到德承街去自立门户，他的那间房便移交给叶焯山，──叶焯山在当时算打杆，这位百发百中的神枪将，他一直在香港替杜月笙把头一道关顾嘉棠跟芮庆荣两个，住是住在外头，每天中午以前，一定会照往先早年的老规矩，准时准刻，到杜公馆来向月笙哥报到。机密大事，还是要老兄弟商议参详。
杜月笙自己一家，不论来了多少人，总归是「杭不啷」住在二楼。
无意间，仿效了曾国藩的会食制度，每天中午，开一桌饭人多再加，家人父子，亲威朋友，老弟兄，师爷秘书，还有学生子们，谈谈说说，聚而食之。菜色不多，却是极精，因为港沪之间多的是轮船飞机往来，香港市场买不到的江南菜肴，川流不息送到杜公馆，因而使这一帮流浪客减了莼鲈之思，餐餐吃得朵颐大快。交换消息，商议事体，在这一餐饭间轻松愉快的进行。
杜月笙在香港，吴家元怎么会贴得这么近？那是因为杜月笙负有重大任务，必须借重他的关系。吴家元做过青岛盐务督办，他曾是张宗昌的门下客，跟过气的北洋要人都很熟。除此之外，日本在华三大特务机关「松、竹、梅」之一，「松」机关的主持人和知鹰二，他手下有两名爪牙，何益三和李择一，跟吴家元一是好友一是赌伴藉这点香火缘，他可以自由出入华北沦陷区，达成杜月笙交付的使命。
民国二十六年十二月十六日，中日大战进行了五个多月，我国首都南京陷落，日本军方希望趁此机会，迫我订城下之盟，所以，两天后的东京「朝日新闻」便发表消息：「中国若愿议和，日可停止战争」，但是，我国上下已经决心抗战到底，中外人士都认为战事延长，日本必败，英国记者尤脱莱在战争前夕，便写了一本着名的书：
「日本的泥足」
（Jpn’sFeetofCly），战事开始，上海撤退，亚细亚杂志迅卽着论指出
「当日本军阀冒冒失失的毁坏了大上海的买办阶级资本家与江苏、浙江的银行家与地主，它便错过了获胜此次战争的唯一机会，因为──毁坏了他们便等于毁坏日人所欲实现和平妥协所必不能缺的份子，毁坏了他们的经济基础，以及他们在政府具有左右力量之政治势力。」
南京失陷，日本亟欲结束战争，他们授意德国驻华大使陶德曼，向我国提出议和条件，与此同时，进攻芜湖的日军第六师团都已经奉令「凯旋」，日本兵欢声雷动，纷纷将行装搬回码头，结果是日人议和条件被蒋委员长断然拒绝。于是日方老羞成怒，二十七年元月十六日由内阁总理近卫文麿发表声明：
「日本政府今后不以国民政府为对手，期望真能与日提携之『新政府』成立且发展，而拟与此『新政府』调整两国国交。」
日方致力于制造汉奸傀儡政权，有以贯澈其「以华灭华、以华制华、以战制战」的政治阴谋，是为军事进政以外的另一毒辣险恶新攻势，我国自须运用一切力量，如以对抗。二十七年初，杜月笙经政府明令发表为「振济委员会第九区特派员」，同时，由时已升任军事委员会调查统计局副局长，而实际主持局务的戴笠，拨给他一笔经费，请他多方设法，派人去把日方瞩目的「汉奸」对象，自民国十五年段祺瑞垮台卽分布于平津京沪一带做了寓公的皖系人物，亦卽所谓安福派人，一一的接赴自由地区