Hero Image
CI/CD и инфраструктура для Dating-сервиса

Инфраструктура и CI/CD для продакшен запуска Dating-сервиса Клиент Dating-сервис Puzzle Master Задача Стартап разработал бэкенд на Nest.js + фронтенд на Angular и был готов к запуску, но не имел никакой инфраструктуры: деплой был ручным, не было CI/CD, мониторинга, бэкапов и разделения dev/prod окружений. Требовалось выстроить полный DevOps-стек с нуля под продакшен. Решение 1. Контейнеризация приложения Multi-stage Dockerfile для backend (Nest.js + Prisma, non-root пользователь) Multi-stage Dockerfile для frontend (Angular 12, legacy OpenSSL, Nginx для статики) Docker Compose с полным стеком: PostgreSQL 15, Redis 7, imgproxy, Nginx Healthchecks и depends_on для правильного порядка запуска Раздельные окружения dev и prod в /opt/dev и /opt/prod 2. GitLab CI/CD Миграция репозиториев с Bitbucket на GitLab Пайплайны для backend и frontend: build → push → deploy GitLab Container Registry для хранения Docker образов Автоматический деплой в dev, ручной trigger для prod SSH деплой на VPS через SSH_PRIVATE_KEY 3. Nginx Reverse Proxy Универсальный конфиг через envsubst для dev/prod SSL/TLS (TLSv1.2, TLSv1.3) с сертификатами Cloudflare Проксирование /api/* → backend:4000, /* → frontend:80 Редирект www → основной домен (301) Отдельный стек imgproxy с SSL терминацией на img.pm.life 4. Безопасность (Ansible) Настройка сервера через Ansible: SSH только по ключам, отключён root UFW Firewall: открыты только порты 80, 443, кастомный SSH Доступ к БД только через SSH Tunnel (Beekeeper Studio) Секреты в переменных GitLab CI/CD 5. Мониторинг Prometheus + Grafana с автоматическим провижинингом дашбордов Exporters: Node, cAdvisor, Postgres, Redis, Nginx, Blackbox 5 Grafana дашбордов: сервер, Docker контейнеры, PostgreSQL, Redis, Nginx Alertmanager с интеграцией в Telegram, алерты на CPU/RAM/Disk/API/SSL 6. Бэкапы БД Автоматический pg_dump каждый час Сжатие gzip и загрузка в Cloudflare R2 (S3-compatible) Prometheus метрики бэкапов: успех, размер, timestamp Алерты: DatabaseBackupMissing, DatabaseBackupFailed, DatabaseBackupSizeAnomaly Технологии

Читать
Hero Image
Геораспределённый кластер блокчейн-нод в Kubernetes

Геораспределённый кластер блокчейн-нод в Kubernetes Клиент Криптовалютная платформа (Web3 / DeFi) Задача Клиенту требовалась отказоустойчивая инфраструктура для запуска ETH и BSC full-нод в четырёх регионах (EU, US, AP, LatAm) с минимальной задержкой для конечных пользователей, защитой от DDoS и спама на RPC, безопасным HSM-подписанием транзакций и централизованным мониторингом. Синхронизация нод с нуля занимает 2–3 недели — требовалось решение для быстрого старта. Решение 1. Инфраструктура и IaC (Terraform + EKS) Terraform-модули: VPC, subnets, security groups для 4 регионов (Frankfurt, Virginia, Singapore, São Paulo) Managed Kubernetes (EKS 1.29+) per region с выделенными node pools: full nodes, archive nodes, signing service NVMe StorageClass (gp3) через CSI-драйвер для высокопроизводительного хранения chaindata Helm chart для geth / bsc-node с кастомными values per region 2. GitOps: Flux CD multi-cluster Flux CD v2 с Kustomization per region — единый источник истины для всех кластеров Secrets management: HashiCorp Vault + External Secrets Operator (ESO) Изменения в инфраструктуре применяются через git push без прямого доступа к кластерам 3. Балансировка и Anti-Spam HAProxy 2.8: sticky sessions, health checks по eth_syncing — трафик только к синхронизированным нодам Nginx Ingress: rate limiting, IP reputation filtering (Lua-скрипты в стиле fail2ban) Cloudflare Workers: geo-routing + защита от DDoS L7 Custom sidecar (Go): health endpoint, который возвращает ready только при полной синхронизации ноды 4. HSM-интеграция для подписания транзакций AWS CloudHSM (prod) / YubiHSM2 (staging) для хранения приватных ключей Go-микросервис с PKCS#11 абстракцией — смена HSM-вендора без переписывания кода Изолированный K8s namespace + NetworkPolicy: нет egress кроме HSM endpoint gRPC API для backend: sign tx, get pubkey Аудит-лог всех операций подписания → Loki 5. Мониторинг и алертинг Custom Prometheus exporter (Go): eth_blockNumber, eth_syncing, peer count per node Grafana dashboards: sync lag, block height per region, RPC latency, SLO 99.9% Alertmanager → PagerDuty: алерты на block lag > N блоков, node down, peer count < threshold Loki + Promtail: структурированные логи всех нод с корреляцией по region/pod 6. Операционка и Disaster Recovery Snapshot bootstrap: chaindata из S3 через rclone — нода готова за часы вместо недель DR playbook: пошаговые runbook’и для восстановления региона Chaos Engineering (Chaos Mesh): тесты на node kill, network partition, pod failure Architecture Decision Records (ADR) для всех ключевых решений Технологии

Читать
Hero Image
Мониторинг Prometheus + Grafana

Observability стек для микросервисной архитектуры Клиент Начинающий стартап Задача Компания перешла на микросервисную архитектуру (15+ сервисов), но не имела централизованного мониторинга. Проблемы обнаруживались только по жалобам пользователей через 30+ минут. Требовалось внедрить полноценный observability стек для быстрого выявления и диагностики проблем. Решение 1. Архитектура мониторинга Prometheus для сбора метрик Grafana для визуализации Loki для централизованных логов Jaeger для distributed tracing Alertmanager для уведомлений 2. Сбор метрик Автоматическое обнаружение сервисов в Kubernetes Метрики приложений (custom metrics) Системные метрики (node-exporter) Метрики БД (postgres-exporter, redis-exporter) 3. Визуализация в Grafana Дашборды для каждого микросервиса Общий дашборд инфраструктуры SLA/SLO метрики Business метрики (RPS, конверсия) 4. Централизованные логи (Loki) Агрегация логов всех сервисов Поиск по логам через Grafana Корреляция логов с метриками 5. Distributed Tracing (Jaeger) Трейсинг HTTP запросов между сервисами Визуализация цепочек вызовов Поиск узких мест (bottlenecks) Анализ latency по сервисам 6. Алертинг Алерты в Telegram Эскалация критичных проблем On-call ротация Автоматическое создание инцидентов Технологии

Читать