leocrm/docs/incident-response-runbook.md

Incident Response Runbook — LeoCRM

Schnellreferenz

Szenario	Erste Maßnahme	Escalation
Server offline	Coolify Dashboard prüfen	SSH: root@46.225.91.159
DB offline	docker exec postgres-* psql -U crm_user -d crm_db -c "SELECT 1"	Backup restore prüfen
Redis offline	docker exec redis-* redis-cli ping	Worker neustarten
App 500 Errors	docker logs crm_app-* --tail 100	Logs in Coolify prüfen
Worker hängt	docker logs crm_worker-* --tail 100	ARQ Queue in Redis prüfen
Disk full	df -h + docker system prune	Alte Backups löschen
Deploy failed	Coolify Deploy Logs	Git Status prüfen

1. Server offline

Symptome

• https://crm.media-on.de nicht erreichbar
• Coolify (https://server.media-on.de) nicht erreichbar

Maßnahmen

1. SSH versuchen: ssh root@46.225.91.159
2. Wenn SSH geht: docker ps — welche Container laufen?
3. Coolify neustarten: docker restart coolify
4. Traefik prüfen: docker logs coolify-proxy --tail 50
5. Wenn Hetzner VPS offline: Hetzner Console (https://console.hetzner.cloud) → Server neustarten

2. Datenbank offline

Symptome

• Health Check: database: down
• App: 500 Errors auf allen API-Routen
• Frontend: "Verbindung fehlgeschlagen"

Maßnahmen

1. Container prüfen: docker ps | grep postgres
2. Logs: docker logs postgres-xf7smknlger3hvkrsb910tui-* --tail 100
3. Verbindung testen: docker exec postgres-* psql -U crm_user -d crm_db -c "SELECT 1"
4. Wenn DB nicht startet: Disk voll? df -h
5. Wenn DB korrupt: Backup restore mit python scripts/restore.py
6. Benachrichtigung: System Dashboard → Alerts → Notification an Admin

3. Redis offline

Symptome

• Sessions funktionieren nicht (Login loop)
• Worker-Jobs werden nicht ausgeführt
• WebSocket-Chat funktioniert nicht

Maßnahmen

1. Container prüfen: docker ps | grep redis
2. Logs: docker logs redis-xf7smknlger3hvkrsb910tui-* --tail 50
3. Neustart: docker restart redis-xf7smknlger3hvkrsb910tui-*
4. Wenn Redis korrupt: docker exec redis-* redis-cli FLUSHALL (Achtung: löscht Sessions!)
5. Worker neustarten: docker restart crm_worker-xf7smknlger3hvkrsb910tui-*

4. App 500 Errors

Symptome

• API-Routen returnieren 500
• Frontend zeigt Fehlermeldungen

Maßnahmen

1. Logs: docker logs crm_app-xf7smknlger3hvkrsb910tui-* --tail 100
2. Health Check: curl https://crm.media-on.de/api/v1/health
3. Wenn Migration fehlt: docker exec crm_app-* python -m alembic upgrade head
4. Wenn Plugin fehlerhaft: Plugin in Settings deaktivieren
5. Wenn Code-Bug: Fix committen + pushen + bash scripts/fast-deploy.sh full

5. Worker hängt

Symptome

• Background-Jobs werden nicht ausgeführt (Mail-Sync, Backups, Search-Index)
• ARQ Queue wächst

Maßnahmen

1. Logs: docker logs crm_worker-xf7smknlger3hvkrsb910tui-* --tail 100
2. Redis Queue prüfen: docker exec redis-* redis-cli LLEN arq:queue
3. Worker neustarten: docker restart crm_worker-xf7smknlger3hvkrsb910tui-*
4. Wenn Queue voll: docker exec redis-* redis-cli DEL arq:queue (Achtung: löscht ausstehende Jobs!)

6. Disk full

Symptome

• DB kann nicht schreiben
• Uploads schlagen fehl
• Backups schlagen fehl

Maßnahmen

1. Disk prüfen: df -h
2. Docker cleanup: docker system prune -a --volumes (Achtung: nur ungenutzte Container/Images)
3. Alte Backups löschen: ls /backups/ | head -20 + rm -rf /backups/leocrm_backup_oldest
4. Logs löschen: docker logs crm_app-* --tail 0 2>&1 | wc -l + truncate -s 0 $(docker inspect --format='{{.LogPath}}' crm_app-*)
5. Temp-Dateien: rm -rf /tmp/leocrm_*

7. Deploy failed

Symptome

• Coolify zeigt Deploy Status: failed
• App läuft noch mit altem Code

Maßnahmen

1. Coolify Deploy Logs prüfen (https://server.media-on.de)
2. Git Status: git status && git log --oneline -5
3. Lokal bauen: cd frontend && npm run build — tsc errors?
4. Backend import testen: /opt/venv/bin/python -c "import app.main"
5. Fix committen + pushen + neu deployen

Post-Mortem Template

## Incident: [Titel]
- **Datum**: YYYY-MM-DD HH:MM
- **Dauer**: X Minuten/Stunden
- **Auswirkung**: [Welche User/Funktionen betroffen]
- **Ursache**: [Root Cause]
- **Lösung**: [Was wurde getan]
- **Lessons Learned**: [Was können wir besser machen]
- **Action Items**: [Konkrete Aufgaben um Wiederholung zu verhindern]

Kontakt

• Server: root@46.225.91.159 (SSH Key: ~/.ssh/id_ed25519)
• Coolify: https://server.media-on.de
• Forgejo: https://forgejo.media-on.de/Leopoldadmin/leocrm
• App: https://crm.media-on.de