先日発生した障害について(´・(ェ)・`)

先月30日辺りから今月2日までの間、サーバにて障害が発生し、パクツイの森の調子がおかしくなっていましたくま(´・(ェ)・`)

この障害について、ユーザーの皆さまに詳細を報告しておきますくま(´・(ェ)・`)

 

f:id:okumin:20130407214257p:plain

障害について

パクツイの森は、負荷分散のために、下の図のような感じでデータベースを複数に分けて運用しているくま(´へ(ェ)へ`*)

 

f:id:okumin:20130407220458p:plain

 

今回壊れたのはスレーブデータベースを置いているサーバだくま(´・(ェ)・`)

スレーブデータベースは、パクツイの森のWebサイトに表示するためのデータを置いているデータベースだくま(´・(ェ)・`)

 

スレーブDBを置いているサーバはディスク容量が400GBもあるので、運用開始時には容量に関して何の心配もしていなかったんだくま(´へ(ェ)へ`*)

でも実際のところは、400GBのうちデータベースのデータを保存している領域に割り当てられているのは20GBのみで、残りは普段使っていないディレクトリに割り当てられていたんだくま(´・(ェ)・`)

 

そして、日々データが増加し続けた結果、サーバがディスク容量20GBを食いつぶしてしまい、3月30日に止まってしまった、というわけだくま(´・(ェ)・`)

 

被害について

3月30日から4月2日まで、障害発生時以降のデータがWebサイト上に反映されない不具合が発生していたくま(´・(ェ)・`)

 

また、パクツイの森新規登録時に、登録情報がスレーブに同期されず、エラーが発生した人もいると思うくま(´・(ェ)・`)

多分今はエラーなくアクセスできるようになっていると思うけど、何かおかしな点を見つけたらぽくに教えてほしいくま(´・(ェ)・`)

 

なお、スレーブ側の同期処理が止まっていただけなので、障害発生時のデータが抜けていたりだとかいうことはございませんくま(´へ(ェ)へ`*)

 

対応について

現在は件のサーバのディスク構成を変更して、ちゃんとデータベース用に380GBくらい確保いたしましたくま(`・(ェ)・´)

スレーブのデータも復旧して、現在マスターDBとの同期処理も正常に動いておりますくま(`・(ェ)・´)

 

お詫び

今回発生した障害についての説明は以上だくま(´・(ェ)・`)

この度はぽくの不手際でユーザーの皆さまにご迷惑をおかけしてしまい、申し訳ございませんでしたくま(m´・(ェ)・`)m

今後はこのようなことが起こらぬよう十分に注意いたしますくま(m´・(ェ)・`)m