あ @atsuchan@atsuchan.page

RAIDでもRAIDコントローラーがやらかすことがあるから、物理的にサーバーマシンを複数台立ててレプリケーションにゃりする方がよい

うちは１分ごとにデータベースをオブジェクトストレージに書き出している

これ意外と不十分かもにゃ、SNSの場合１日前に戻るのですら割と困る

@minetaro12@msk.minetaro12.com にゃら大丈夫かあ、うちあまり余裕がにゃくてやばかった

@minetaro12@msk.minetaro12.com 問題は通信量が増大することで、レプリケーションを設定するとだいたい1日20GB近く通信します

@minetaro12@msk.minetaro12.com 自動化してもログを見てにゃくてせっかくエラーを標準出力に吐いてくれていたのに気づかず期限切れしたのが、この前のchilloutchatにゃので…

かわいいよお…

@minetaro12@msk.minetaro12.com 意外と簡単にできるよ、postgresqlのストリーミングレプリケーションを設定すればよし
これを今のバージョンに読み替えれば良い
https://blog.noellabo.jp/entry/2019/03/07/xvEfTs4zVrTzqSM7

@dx6682 https://atsuchan.page/@atsuchan/107037100983005178

冗長化して転送量で課金がアレににゃった人にゃらここにいますよ

分かってにゃい人わりと簡単に冗長化と言うんだけどねえ、難しいのだわね

ここじゃにゃいインスタンスだけどAzureとGCPの請求に苦しんでる…

“にゃんでプライマリーでダンプしてにゃかったんだって話にゃんですけど、プライマリでダンプするとDBが重くにゃってそれこそレプリケーションに遅延が出るからって言う”

https://discord.com/channels/891696148849508423/891696149319262293/894152097161965598

“あと、レプリカに不整合が発生したってどうして気づかにゃかったんだって話については、不整合を修正した（修正されたとは言ってにゃい）と言うbotの通知をみてそれを完全に信じてたのと、不整合が発生してもPostgreSQLはDBを再起動するまでは正しい動作をしているように振る舞うのでエラーがそもそも発生していにゃかった”

https://discord.com/channels/891696148849508423/891696149319262293/894152631138795560

“3箇所にバックアップしてたんだけど、そのバックアップ元が東京サーバー中心だったのね

それで、東京サーバーがその時期ぐらいに仙台に移動ににゃったと思うんだけど、それでバックアップのうち1つが回線変更の関係でしばらく通信できにゃくにゃって最新の情報を取得できてにゃかったわけ

そして残りの二つはbtrfsでスニャップショットを撮ってたんだけど、東京サーバーがDDoSで長期間落ちたタイミングでプライマリとの不整合が発生したせいかスニャップショット作成のフローが走らにゃくにゃって最終が4/16

そして今回プライマリがAPIに大量にリクエストが飛んできたことによってフリーズして、ローカルのレプリケーションが追いつかにゃくにゃって停止、その後DBが破損したと勘違いしたプライマリの監視プログラムが壊れた東京サーバーのスニャップショットをrsync経由でプライマリに上書き”

https://discord.com/channels/891696148849508423/891696149319262293/894151100561772574

みんにゃしてVS Code使いやがって…

Atom使ってるの、観測範囲内だと私とれみとくらいだったもんにゃ

オタク感がすごいめうね…
一応全部フリッカーフリーにできたので
満足である

VultrとGCPとAzureをまとめた先月のサーバー代は$52でした…！

この子にブロックされてるから言及できにゃいけど、私が直したので直りました
https://chillout.chat/@shiyou/107032460451533540