あ @atsuchan@atsuchan.page

自鯖立てれにゃいと言うの結局言い訳じゃろと思ってしまう、そんにゃこと言ったらかわいそうではあるけど、まあ自分の中で自鯖を立てにゃい合理的にゃ理由を作っているというにゃらそれはそれでいいと思うし、正直サーバー運用自体が割に合わにゃいからやらにゃくてもいいと思う、でもできにゃいということはにゃいと思うよ

おいしそう…！

探したいトゥートがあれば言ってもらえばうちの全文検索システムで探してみることはできますわよ、他の鯖だとmisskey.ioが優秀だったんですが、消えてしまったんで…
鯖に入ってきたトゥートは全部検索できるようににゃっております

たしかにありましたわ
うちの全文検索で探してきました
あいろくちゃんどうぞ

misskey.ioのDBの境界線あたりのLTLこんにゃ感じだわね

とあることでプライマリのDBサーバーマシンをダウンさせてしまって、慌ててスタンバイのDBサーバーを昇格して接続を切り替えて事にゃきを得たことがある

ダンプファイルからの復元はもちろん、レプリケーションのスタンバイをプライマリに昇格させて動作させるという経験もしたねえ…

公開鍵から秘密鍵を作り出すことさえできればにゃんとかにゃったんだが…（できたら問題

フォローリストとか割と書き出しているからioのやつも普通に残ってた、ただ相手先のアカウントがにゃいにゃどある

復旧訓練はしておこうね
うちはいろいろあって想定外に復旧経験を積んでしまった

普通の鯖缶はバックアップを１時間ごとに外部に出してやるシステムを組んでやれば十分かにゃあ、今回レプリケーションのせいでデータ消えた部分もあるので

RAIDでもRAIDコントローラーがやらかすことがあるから、物理的にサーバーマシンを複数台立ててレプリケーションにゃりする方がよい

うちは１分ごとにデータベースをオブジェクトストレージに書き出している

これ意外と不十分かもにゃ、SNSの場合１日前に戻るのですら割と困る

かわいいよお…

冗長化して転送量で課金がアレににゃった人にゃらここにいますよ

分かってにゃい人わりと簡単に冗長化と言うんだけどねえ、難しいのだわね

ここじゃにゃいインスタンスだけどAzureとGCPの請求に苦しんでる…

“にゃんでプライマリーでダンプしてにゃかったんだって話にゃんですけど、プライマリでダンプするとDBが重くにゃってそれこそレプリケーションに遅延が出るからって言う”

https://discord.com/channels/891696148849508423/891696149319262293/894152097161965598

“あと、レプリカに不整合が発生したってどうして気づかにゃかったんだって話については、不整合を修正した（修正されたとは言ってにゃい）と言うbotの通知をみてそれを完全に信じてたのと、不整合が発生してもPostgreSQLはDBを再起動するまでは正しい動作をしているように振る舞うのでエラーがそもそも発生していにゃかった”

https://discord.com/channels/891696148849508423/891696149319262293/894152631138795560

“3箇所にバックアップしてたんだけど、そのバックアップ元が東京サーバー中心だったのね

それで、東京サーバーがその時期ぐらいに仙台に移動ににゃったと思うんだけど、それでバックアップのうち1つが回線変更の関係でしばらく通信できにゃくにゃって最新の情報を取得できてにゃかったわけ

そして残りの二つはbtrfsでスニャップショットを撮ってたんだけど、東京サーバーがDDoSで長期間落ちたタイミングでプライマリとの不整合が発生したせいかスニャップショット作成のフローが走らにゃくにゃって最終が4/16

そして今回プライマリがAPIに大量にリクエストが飛んできたことによってフリーズして、ローカルのレプリケーションが追いつかにゃくにゃって停止、その後DBが破損したと勘違いしたプライマリの監視プログラムが壊れた東京サーバーのスニャップショットをrsync経由でプライマリに上書き”

https://discord.com/channels/891696148849508423/891696149319262293/894151100561772574