サーバーのアップデートでバグった・・・
久しぶりにVPS(Ubuntu 16.04LTS)のパッケージをアップデートしたのだが、Webminから2台やって1台、間違えてWebminのタブ閉じちゃった。
で、プロセスからapt-getが終わったぽいの確認して、Webminのシステム情報のところにrebootしろとメッセージ出たのでrebootした。
起動しなくなった・・・
シリアルコンソールで見るとrootfsがマウントできない感じでkernel panic。
grubかinitramfsあたりが壊れてると判断して、
さくらのVPSのカスタムOSインストールからレスキューモードに入って修復しようとした。
ディスクはマウントできたので修復可能と判断したが、Arch LinuxのISOと違ってそれ系のコマンドが見当たらなかった。
カスタムのISOが削ってるのかもと思ってUbuntu ServerのISOでやってみたが同じ。
chrootしたらgrub-mkconfigが使えたんで試したけどbindしても/devがないとか言われて無理。
boot-repairなるGUIコマンドを入れて修復できるみたいな情報を見つけて、
DesktopのISOでレスキューを試みたが、情報源ではマウスで簡単操作してる感じだったが、HTML5版のシリアルコンソールだとマウスが使えなかった。
なんとかキーボードでやってみたが、grub.cfgが書き換えられてたがダメだった。
GRUBの画面から起動オプションを手動入力とかで突破できないかとかも考えてたが、さくらのVPSのシリアルコンソールはGRUBの画面出力されないのね・・・
ってな感じだったのだが、
grub.cfgのserialの設定のところでunitが0になってるところを1に変えるとtty0→tty1に出力先が変わってGRUBの画面が見えるとのことだったので試した。
見れた。
で、GRUBの画面から古いkernel選択したら起動した。
apt-get upgradeしたら治ったぽい。
7時間強ハマったが、なんとか復旧。