日: 2015年11月14日

サーバが落ちる土曜日

大和 環Leave a comment

11/5 に amatsukami.jp サーバの HDD を 4TB のものから 8TB のものへと交換した。これに伴いバックアップの構成も変わり、今まで使っていた 4TB と、この今までの 4TB のバックアップである 4TB の二つの HDD がバックアップ用となった。
4TB x 2 なので合計容量は新しく買ってきた 8TB を充分カバーできる。
が、まぁ、どうせリアルタイムで使うドライブではないので、いっそのことこのバックアップドライブは圧縮してしまおう。ということで、交換前の 4TB のディスクの圧縮オプションを ON にした。
すると Twitter でも上げているとおり、二日経っても圧縮は終わらず、三日経った今日、ようやく終わった。ほぼ 4TB 使っていたところ、3.5TB くらいになった。500GB くらい余裕が出来た。

で、ついでにここに仮想サーバの仮想 HDD もバックアップとるか、と VHD ファイルをコピーしはじめたのがすべての始まりだった。
仮想 HDD の容量は 100GiB を越えるモノもあり、コピーはそれなりに時間がかかるだろうということで放置していた。そうしたらいつの間にか amatsukami.jp サーバが応答無しになって、ウンともスンとも言わなくなってしまったのである。

なんだこりゃぁ？？

最初、原因はサッパリわからず、とにかくリモートでつなごうとするんだけど、リモート デスクトップは応答はあるモノの、いつまで経っても画面が出てこないという状況に。ローカル ログオンも CTRL+ALT+DEL でログオン画面にはなるものの、その後いっさい入力を受け付けないというかずっと砂時計のまんま……。

仕方がないので強制リセット。
原因がわからないので、結局同じことをしてしまう。
するとしばらくするとまたサーバが応答不能になる。今回は諦めずにファイルのコピーのキャンセルボタンを押すも、一向にコピーをキャンセルしない。そのまま 2 時間以上待ってみたがキャンセルできず、さらにタスク マネージャからも強制終了できない。
結局そのままどんどんマシンが重くなって、ついにはリモート デスクトップも画面が真っ黒になって反応がなくなる。
仕方がないのでまた強制リセット。

結果的にこれを 3 回繰り返し、ようやくファイル コピーが原因だという結論に至る。
ただかといってそんなことでサーバがおかしくなるなんて未だに信じられない。で、いろいろ試した結果、VHD ファイルを圧縮オプション ON の HDD にコピーしていると、そのうちメモリを食いつぶし、さらに仮想メモリもどんどん食いつぶし、CPU も食いつぶして最終的にサーバが応答しなくなるようだった。

なんだこれ？
そんなことってあるのか？
圧縮プログラムのバグってこと？？

しかしこの段階でほぼ 24 時間くらいが経過しており、これ以上詳しい原因を調べる気にならない……orz
とりあえず VHD のバックアップをサーバ上でとるのは諦めた。
その後、特にサーバがおかしくなる現象は起きていないので、やはりファイル コピーが原因だとは思うのだけれど、ううーむ？？
何はともあれ、ウチのサーバを使っている人にはご迷惑をお掛けしましたm(_ _)m

▼関連記事

リバースプロキシの秘密は preserveHostHeader にあり DB を SSD に移行した リバースプロキシの基本がわかってない（ぁ 3 月の燃費とサーバの HDD を換装した話