BungeeCordのログベースで接続性の問題を検出しアラーティングする

[unchama]

なんでこれやりたいの

接続性の問題が出た時にPlayer報告ベースで気づくのではなく機械的に気付ける仕組みが欲しい
接続性の問題とは、例えばこんなの：
https://discord.com/channels/237758724121427969/1156558185210073138/1156558185210073138

おためしダッシュボード

• 過去1時間の"disconnected with"を含むBungeeCordログ数をグラフ化

sum by(level) (count_over_time({app="bungeecord"} |~ .*(disconnected with) [1h]))

• 閾値超えたらalerting(50ぐらいが妥当？)
• この仕組みだとhigh pingな状態は拾えないけどこれは別途考える(このissueのスコープ外)

https://grafana.com/grafana/dashboards/19689
https://grafana.onp-k8s.admin.seichi.click/d/c3602fe9-8f54-4b39-af0a-f242afce9b81/log-metrics-about-play-seichi-click-testing?orgId=1&from=now-7d&to=now

これがいい感じに接続性の問題をアラーティングできそうなので永続化(yamlに落とし込む)したい

やること

• 上記ダッシュボードの永続化
• Discordへのアラーティングの永続化

[unchama]

• alertingはどこから？
  • alertmanagerを経由するなら
    • CRDで通知先webhookを設定できるのでこれをTerraformで注入か
      https://github.com/prometheus-operator/prometheus-operator/blob/main/Documentation/user-guides/alerting.md#using-alertmanagerconfig-resources
    • lokiデータソースからalertmanagerにalertingする必要がある
      https://dbadbadba.com/blog/finocchiaro-loki
  • grafanaでやるならhelm chart内にruleとcontactpointsを書けそう(webhook URLをどう秘匿するか)
    https://github.com/grafana/helm-charts/blob/main/charts/grafana/values.yaml#L571-L635
• dashboardは見ないうちに入れ方が結構変わってる。ちなみにGrafana Cloudに公開しなくてもよい
  https://github.com/grafana/helm-charts/blob/main/charts/grafana/values.yaml#L655-L706
  • Update prometheus-operator.yaml #1121 でdashboardふっとんでるのでこれらも一緒にいれたい

[unchama]

dashboardがちょっと強化された