Ситуация
Ты дежурный инженер. После ночного релиза платежный шлюз schet (namespace payments) не поднимается – продакт пишет каждые десять минут. Откатиться нельзя: в релизе живет обязательная правка формулировки чека под 54-ФЗ.
Что известно:
- под не в
Running: сначала виситPending, а как только шедулится – падает по кругу; - код приложения –
/opt/src/server.py, трогать его не нужно, дело в манифесте; - ключ подписи чека лежит в Secret
schet-secrets; - записка предыдущей смены –
/root/release-notes.txt; kubectlнастроен на кластер.
Дальше – сам: сними причины по очереди и верни прием платежей, не откатывая релиз.
Что проверим
5 пунктов · по состоянию системы, а не по командам
Заставить под шедулиться
Под висит в
Pendingи не встает на ноду. Разберитесь, почему планировщик его отвергает, и уберите причину.Дать приложению ключ подписи чека
Как только под шедулится – контейнер падает при старте. Приложению нужен ключ подписи чека из Secret
schet-secrets.Починить liveness-пробу
Приложение уже стартует и отвечает, но под все равно перезапускается: liveness-проба стучит не на тот порт, и kubelet убивает живой контейнер.