https://ru-admin.github.io/ru/tags/grafana/Recent content in Grafana on DevOps-инженер & CloudAdminHugo -- gohugo.ioru-RUhttps://ru-admin.github.io/ru/posts/sre-observability/monitoring-prometheus/Mon, 01 Jan 0001 00:00:00 +0000https://ru-admin.github.io/ru/posts/sre-observability/monitoring-prometheus/<h2 id="observability-стек-для-микросервисной-архитектуры">Observability стек для микросервисной архитектуры</h2> <hr> <h4 id="клиент">Клиент</h4> <p>Начинающий стартап</p> <hr> <h4 id="задача">Задача</h4> <p>Компания перешла на микросервисную архитектуру (15+ сервисов), но не имела централизованного мониторинга. Проблемы обнаруживались только по жалобам пользователей через 30+ минут. Требовалось внедрить полноценный observability стек для быстрого выявления и диагностики проблем.</p> <hr> <h4 id="решение">Решение</h4> <h6 id="1-архитектура-мониторинга">1. Архитектура мониторинга</h6> <ul> <li><strong>Prometheus</strong> для сбора метрик</li> <li><strong>Grafana</strong> для визуализации</li> <li><strong>Loki</strong> для централизованных логов</li> <li><strong>Jaeger</strong> для distributed tracing</li> <li><strong>Alertmanager</strong> для уведомлений</li> </ul> <h6 id="2-сбор-метрик">2. Сбор метрик</h6> <ul> <li>Автоматическое обнаружение сервисов в Kubernetes</li> <li>Метрики приложений (custom metrics)</li> <li>Системные метрики (node-exporter)</li> <li>Метрики БД (postgres-exporter, redis-exporter)</li> </ul> <h6 id="3-визуализация-в-grafana">3. Визуализация в Grafana</h6> <ul> <li>Дашборды для каждого микросервиса</li> <li>Общий дашборд инфраструктуры</li> <li>SLA/SLO метрики</li> <li>Business метрики (RPS, конверсия)</li> </ul> <h6 id="4-централизованные-логи-loki">4. Централизованные логи (Loki)</h6> <ul> <li>Агрегация логов всех сервисов</li> <li>Поиск по логам через Grafana</li> <li>Корреляция логов с метриками</li> </ul> <h6 id="5-distributed-tracing-jaeger">5. Distributed Tracing (Jaeger)</h6> <ul> <li>Трейсинг HTTP запросов между сервисами</li> <li>Визуализация цепочек вызовов</li> <li>Поиск узких мест (bottlenecks)</li> <li>Анализ latency по сервисам</li> </ul> <h6 id="6-алертинг">6. Алертинг</h6> <ul> <li>Алерты в Telegram</li> <li>Эскалация критичных проблем</li> <li>On-call ротация</li> <li>Автоматическое создание инцидентов</li> </ul> <hr> <h4 id="технологии">Технологии</h4> <div class="row"> <div class="col-4 col-lg-2 pt-2" style="text-align: center;"><img src="https://ru-admin.github.io/icons/prometheus-original.svg" alt="Prometheus"><div>Prometheus</div></div> <div class="col-4 col-lg-2 pt-2" style="text-align: center;"><img src="https://ru-admin.github.io/icons/grafana-original.svg" alt="Grafana"><div>Grafana</div></div> <div class="col-4 col-lg-2 pt-2" style="text-align: center;"><img src="https://ru-admin.github.io/icons/kubernetes-plain.svg" alt="Kubernetes"><div>Kubernetes</div></div> <div class="col-4 col-lg-2 pt-2" style="text-align: center;"><img src="https://ru-admin.github.io/icons/docker-original.svg" alt="Docker"><div>Docker</div></div> <div class="col-4 col-lg-2 pt-2" style="text-align: center;"><img src="https://ru-admin.github.io/icons/helm-original.svg" alt="Helm"><div>Helm</div></div> <div class="col-4 col-lg-2 pt-2" style="text-align: center;"><img src="https://ru-admin.github.io/icons/linux-original.svg" alt="Linux"><div>Linux</div></div> </div> <hr> <h4 id="результаты">Результаты</h4> <p>✅ <strong>MTTD:</strong> обнаружение проблем с 30 минут до 1 минуты<br> ✅ <strong>MTTR:</strong> время восстановления сократилось на 60%<br> ✅ <strong>Алерты:</strong> автоматические уведомления в Telegram<br> ✅ <strong>Visibility:</strong> полная прозрачность работы всех сервисов<br> ✅ <strong>Capacity planning:</strong> данные для планирования ресурсов</p>