「出処進退は銘々の好む通りにするのが良いではないか。世間一般はそうありたいものではないか。これに異論はなかろう。そこで僕の目から見ると、君が江戸から出たのは君の平生好むところを実行している。僕ははなはだ賛成するけれども、僕の身にはそれは嫌いだ。私は嫌いであるから江戸から出ない。これまた自分の好むところを実行するのだから、君の江戸から出ているのと同じ趣旨ではないか。されば僕は君の進路を賛成している。君もまた僕の進路を賛成して、福沢はよく引っ込んでいる。うまいと言ってほめてこそくれそうなものだ。それを誉めもせずに呼び出しに来るとは友達甲斐がないじゃないか。」と大いに論じて、親友の間であるから遠慮会釈もなく刎ねつけた。
まだ文部省がない時に別の親友は「政府の学校の世話をしろ、どうしても政府においてただ捨てて置く理屈はないのだから、政府から君が国家に尽くした功労を誉めるようにしなければならない。」と親友が言うも、私は自分の説を主張して「誉めるのと誉められるのと全体そりゃ何のことだ。人間が人間当たり前の仕事をしているのに、何も不思議はない。車屋は車を引き、豆腐屋は豆腐をつくりて、書生は書を読むというのは人間当たり前の仕事をしているのだ。その仕事をして政府が誉めるというなら、まず隣の豆腐屋から誉めてもらわねばならぬ。そんなことは一切よしなさい。」と言って私は断った事がある。
このような調子で私はひどく政府を嫌うようにある。その真実の大本を言えば、前に申した通り、どうしても今度の明治政府は古風一点張りの攘夷政府と思い込でしまった。攘夷は私の何よりも嫌いことである。こんな始末ではたとい政府が変わっても、とても国はもたない。大切な日本国を滅茶苦茶にしてしまうだろう。こんな古臭い攘夷政府を造って馬鹿なことを働いている諸藩のわからず屋は、国を滅ぼしかねない奴らと思う。私の身は政府に近づかないように、ただ日本に居て近づかずに、ただ日本にいて何か勉めてみようと安心決定した。
私が明治政府を攘夷政府と思ったのは、決して空に信じたのではない、おのずから憂うべき証拠がある。王政維新になり、イギリスの王子が東京城に参内して接待することは固より故障はない。夷狄の奴は不浄の者で、お祓で清めて内に入れた。日本は真実自尊自大の一小鎖国にて、外人を畜生同様に取り扱うのが常である。日本人の眼をもって見れば王子も不浄の畜生たるに過ぎない。私はこれを聞いて、実に苦々しい事で、泣きたく思いました。