上回談到甘霖留學日本，遇上滿洲事變爆發，甘霖為了完成餘下六個月的課程，決定留在日本。最後在1932年4月，他以日本早稻田大學夜間高等工業學校電氣科畢業生的身份回國。

 

當時中國雖然名義上已經統一，但實際上依然各自為政，尤其是在桂系軍閥控制的廣西省，當時正致力於管轄地區內的發展，並不斷嘗試延攬日本的人才。甘霖回國後，在姊夫的引薦下出任廣西省建設廳的電機技師，並先後派駐梧州電力公司和南寧電力公司。1933年更成為南寧廣播電台台長，負責為尚在建設中的廣播電台設置無線電收發器，同時協助訓練員工維修器材及使用摩斯密碼。就在此段期間，甘霖履行承諾與妻子成家立室，兩人搭乘郵輪龍田丸前往日本蜜月旅行，遊覽神戶、有馬溫泉，再入住由著名設計師賴特（Frank Lloyd Wright）建造的東京帝國酒店、到過箱根、熱海、日光等地。返回南寧後一年，長女在南京出世。
這段期間，桂系軍閥正成立軍用通訊局及無線電機製造所，剛好甘霖在自設的工作室內研發實驗性可攜帶的軍用超短波無線電機，在當時的中國這算是劃時代的設計。軍方得悉事件後，不但不對甘霖的舉動予以認同，反而懷疑來自南京的甘霖是中央政府派來的間諜。為了「超越」甘霖，通訊局與製造所人員竟然把駁通了的有線電話機訛稱為無線電機，向桂系領導人物之一白崇禧展示，對無線電通訊缺乏認識的白崇禧竟然信以為真。

 

面對桂系軍人對自己的懷疑，為求自保的甘霖決定辭去台長一職。偏偏此時桂系軍閥打算從日本輸入通訊器材，以組建通訊兵團，去意已決的甘霖決定利用此機會離開是非之地，在日本軍事顧問兼教官中井增太郎中佐的協助下，以調查通訊器材之名，在1936年再次前往日本。甘霖獲得陸軍省軍務局長武藤章中將的安排，考察了芝浦製作所（Shibaura Seisakusho，即今日的東芝）、日本無線（Japan Radio Co. Ltd.）、日本電氣株式會社（Nippon Electric Company，即NEC）的製作所，並進入日本陸軍通信學校參觀。

 

在日本考察長達兩個月後，甘霖將大量資料轉交白崇禧。就在他打算兩袖清風啟程返回南京時，突然在毫無先兆的情況下接到出任通訊團教官的任命。甘霖為了顧全李宗仁、白崇禧的面子，在姊夫出面協助下，藉以回鄉探親的名義，取得兩個月履新前的休假，得以返回南京。之後就發生兩廣事變，蔣介石為首的南京政府與粵桂系軍閥再起衝突，李宗仁與白崇禧被迫宣佈服從中央，在民族主義情緒的牽動下，一眾與日本關係密切的桂系官員被迫離職，從日本返國不久的甘霖於是順理成章留在南京。