ところが井伊直弼が安政7年3月に暗殺されると（桜田門外の変）、容堂は復権した。容堂は井伊直弼の専横に批判的であったが、決して反幕府的な人物ではなかった。幕府の独断専行を改め、朝廷と幕府の協調を説く公武合体論者であった。

関ケ原の戦いで徳川氏と敵対した島津氏（薩摩藩）・毛利氏（長州藩）と異なり、山内氏（土佐藩）は徳川家から多大な恩恵を受けていたため、容堂には幕府尊重の気持ちが強かった。したがって容堂と東洋は、時流に乗って過激な尊王攘夷を唱える土佐勤王党を敵視した。

しかし東洋は文久2年（1862年）4月、土佐勤王党の刺客によって暗殺されてしまった。これによって、土佐藩では3つの派閥が激しく抗争するようになる。

第1は、改革を拒絶し現状維持を望む守旧派である。第2は、後藤象二郎（東洋の妻の甥）・福岡孝弟・乾（板垣）退助ら、東洋の薫陶を受けた改革派の「新おこぜ組」である。第3は、武市半平太（瑞山）を盟主とする土佐勤王党である。

武市率いる土佐勤王党は下級藩士中心の血盟集団で、長州藩の尊王攘夷論に同調し、公武合体論を強く排撃する態度をとった。容堂にとっては最も扱いにくい勢力であった。

東洋暗殺により土佐勤王党が台頭し、武市は容堂に謁見して、尊王攘夷の決行を説くほどであった。武市は下級藩士であり、本来ならば前藩主と対面するなどあり得ない。容堂は武市らの藩政掌握を苦々しく思っていたが、全国の尊王攘夷運動と連携している彼らと全面的に事を構えることは避けた。

しかし、文久3年8月に朝廷で尊王攘夷派の公家たちが失脚し、尊王攘夷の中心的勢力だった長州藩が朝廷から遠ざけられた（八月十八日の政変）。これにより土佐でも尊王攘夷派の権威は失墜し、これを好機と捉えた容堂は9月に土佐勤王党を弾圧し、武市らを投獄した（武市は2年後に切腹）。

かくして容堂は藩政の主導権を取り戻した。けれども、幕府への不満・失望が全国的に高まる中、容堂の極端な幕府支持は時代の流れから取り残されつつあった。板垣退助は江戸で西洋兵学を学び、討幕を説くようになった。容堂を支える立場である後藤象二郎・福岡孝弟ですら土佐藩の前途に不安を抱き、土佐脱藩浪人の坂本龍馬を通じて、薩摩藩に接近していく。