1928年受聘于奉系，并担任张作霖的顾问，陆军大臣为其规定控制奉系、搜集奉军情报等工作。是年8月，张作霖因“皇姑屯”事件被暗杀后，他被解聘继而担任日本关东军第30团团长。去年十月，大本营命他组建华北特务机关，由由他出任特务机关长。

前不久他把总部设置在天津，然后便来到大连面见阎锡山。土肥原常年生活在中国，成为日本陆军系统里有名的中国通。此人是一个搞情报的专才，并以阴险毒辣、居心叵测著称。其两面三刀、善于权术的手段，堪称一绝。

阎锡山对土肥原自然略知一二，但是他无法猜测土肥原来此的真实目的。双方客套了几句，无非是说一些同学之谊的老生常谈。这时，客厅里墙壁上挂着几把日本武士刀引起了土肥原的注意。“老同学，没有想到你对日本武士刀感兴趣。”

阎锡山笑说：“这是属下送给我的，能起到辟邪镇宅作用，这几把武士刀历史悠久，都是好刀。”说完阎锡山从墙上拿下一把日本武士刀，让土肥原查看。当初穆亚平再赴太原时，便把几把武士刀赠送给了阎锡山，其用意就是要嫁祸阎锡山，引起日本人对他的猜疑。但是他没有想到，这几把武士刀能让土肥原见到，从而引起了一系列变化。

土肥原稍有兴趣的抽出武士刀，顿时寒光闪闪，逼出一股浓浓的杀气。“老同学，的确是好刀，这是日本武士专用的战刀，轻易是不会送给人的。”突然土肥原在刀把上发现了山口二字，不经大吃一惊，内心一阵震颤。

他不由把眼光投向阎锡山，似乎在思索什么。前不久，土肥原在组建华北情报机关时，获得几年前保定株式会社山口组，在一次执行任务时，全体神秘失踪，至今杳无音信，他们已经被列入特务机关的失踪人员。土肥原确信山口组浪人的武士刀出现在阎锡山手里，充分说明，整个山口组已经全部阵亡，但是仅凭这几把武士刀是无法求证的，

“怎么，这几把刀有问题吗？”阎锡山见土肥原陷入沉思问。土肥原马上回复平静说：“见到武士刀，让我想起了陈年往事，让你见笑了。”土肥原马上想起了大本营的报告：最近几年日本情报人员在山西频频出事，莫非是这为老同学的杰作？来时企图要求老同学在山西网开一面的想法顿时没有了。

土肥原猜测，或许阎锡山对日本人在山西的状况是有意而为之，如果祈求阎锡山帮忙，岂不是自送虎口。而这种事情阎锡山会一推六二五，他以土匪所谓为借口，你能有什么办法那？对中国国情非常了解的土肥原，顿时郁闷起来。

阎锡山见土肥原方才还兴高采烈，忽然阴沉脸有些迷惑，便问：“老同学，难到这几把武士刀你认识？”土肥原笑说：“老同学，见到武士刀，让我不堪回首当年，失礼了，请老同学包涵。我还有事，今天就不叨扰了，明天我为老同学接风洗尘。”

土肥原没有心情在和阎锡山周旋，这种事情对于他来说，绝对是郁闷的事情。如果说阎锡山早在几年前就在山西阻止日本人获取情报，哪嘛所发生的所有的事情就不难解释了。因此他决定，以后在山西乃至整个西北获取情报，必须采用潜伏的方式，公开的、巧立名目的搜集情报，恐怕不可能，为此他要向大本营写一份详尽的报告。

阎锡山那里知道土肥原的心思，他也没有想到自己把郁闷传染给了土肥原。穆亚平也没有想到，日后的反谍报工作，由此难度更大、更复杂。但是有一个目的他得到了，那就是日本人对阎锡山开始不报任何幻想，这对日后反侵略战争，将产生不可估量的作用。

土肥原在大连根本没有停留，他立马返回了天津总部。下一步谍报工作必须有所变动，尤其是针对山西的谍报工作，他猜想山西有可能已经形成了，针对日本人的反谍报机构，尤其是这几年，根据各种信息反馈，整个山西的动态，几乎一无所知，这让他心中生成巨大的焦虑感，由此从土肥原开始包括日后历任的华北情报头子，开始真正对山西重视起来。