
停滞した段階を、ログ、メトリクス、トレースを合わせて読んで見つけました。
シグナルごとに収集、保存、閲覧の経路を分けました。ログとtrace IDを揃え、1つのリクエストを2つのツールにまたがって追えるようにしました。
- ログ
- コンテナのCRIログ
- Fluent Bit
- Elasticsearch (ECK)
- Kibana
- メトリクス · アラート
- API · ノード · ワーカー
- Prometheus
- Grafana · Alertmanager
- 分散トレース
- サービス呼び出し
- OpenTelemetry
- Jaeger
- AI実行
- LangGraphの実行
- LangSmith
- サービスメッシュ
- Istioのトラフィック
- Kiali