MySQL GTID Replikasyon Lag > 60s Müdahale: Teşhis ve Hızlı Kurtarma
Replica'nın primary'den 60 saniyeden fazla geri kalması durumunda veri kaybı olmadan lag'i kapatma, thread darboğazı (IO vs SQL) tespiti, paralel applier optimizasyonu ve root cause analizi.
Operasyonel Güvenlik ve Risk Uyarısı
Bu runbook müdahale adımları içerir; birçok adım yazma etkilidir (KILL, terminate, DROP, RESIZE). Önce test ortamında deneyin, üretimde adımları sırayla ve doğrulayarak uygulayın.
1. Belirti / Symptom
- `Seconds_Behind_Master > 60` (veya MySQL 8.0.22+ `Seconds_Behind_Source > 60`).
- PMM / Grafana üzerinde `MySQL Replication Lag` uyarısı tetiklendi.
- Okuma replikasına bağlı servislerde bayat veri (stale reads) ve kullanıcı gecikmeleri.
- Kritik Durum: `Replica_IO_Running = No` veya `Replica_SQL_Running = No` (replikasyon kopması).
2. Etki / Impact
Okuma replikalarından raporlama veya API sorguları alan istemcilerde tutarsızlık; failover gerektiren bir kriz anında kabul edilemez RPO (veri kaybı) riski; replikadan alınan yedeklerin tutarsızlaşması.
3. Teşhis / Diagnosis
-- 8.0.22+ (eski sürümlerde SHOW SLAVE STATUS\G)
SHOW REPLICA STATUS\G
-- Dikkat: Replica_IO_Running, Replica_SQL_Running, Last_Error, Seconds_Behind_Source
-- Eksik GTID setini doğrula
SELECT (SELECT GTID_SUBSET(@@GLOBAL.gtid_executed, 'primary-gtid-set')) AS missing;
-- Lag kaynağını ve applier worker durumunu incele
SHOW PROCESSLIST;
SELECT * FROM performance_schema.replication_connection_status\G
SELECT * FROM performance_schema.replication_applier_status_by_worker\GSELECT trx_id, trx_started, trx_mysql_thread_id, trx_query
FROM information_schema.innodb_trx
WHERE TIME_TO_SEC(TIMEDIFF(NOW(), trx_started)) > 30;| Belirti | Darboğaz Katmanı | Olası Kök Neden |
|---|---|---|
| `SQL_Thread` yavaş | Replica Applier | Replica'da kilit, ağır SELECT sorgusu, PK'sız tablo veya tek worker |
| `IO_Thread` yavaş | Network / Binlog Dump | Ağ gecikmesi veya Primary'de binlog dump thread blokajı |
| `Seconds_Behind_Source = NULL` | Kırık Replikasyon | Hata nedeniyle thread durmuş (`Last_SQL_Error`) |
4. Müdahale / Response
### Senaryo A: Replica'da Long Running Query veya Kilit Çakışması
SELECT * FROM sys.innodb_lock_waits\GSTOP REPLICA SQL_THREAD;
-- Bloklayan thread_id'yi sonlandırın
KILL <trx_mysql_thread_id>;
START REPLICA SQL_THREAD;### Senaryo B: Single-Threaded Applier (En Yaygın Darboğaz)
MySQL varsayılan parallel applier ayarı tek iş parçacığında kalmış olabilir:
-- Durumu kontrol edin
SHOW VARIABLES LIKE 'replica_parallel_workers';
SHOW VARIABLES LIKE 'replica_parallel_type';
-- Canlıda paralel applier'ı devreye alın (vCPU * 2)
STOP REPLICA;
SET GLOBAL replica_parallel_type = 'LOGICAL_CLOCK';
SET GLOBAL replica_parallel_workers = 8;
SET GLOBAL replica_preserve_commit_order = ON;
START REPLICA;### Senaryo C: Disk I/O Doygunluğu ve Binlog Purge Gecikmesi
iostat -x 1 10
df -hSHOW BINARY LOGS;
PURGE BINARY LOGS BEFORE NOW() - INTERVAL 2 DAY;SET GLOBAL sync_binlog = 0;
SET GLOBAL innodb_flush_log_at_trx_commit = 2;5. Doğrulama / Verification
- `SHOW REPLICA STATUS\G` çıktısında `Seconds_Behind_Source` 0 olmalı ve en az 5 dakika stabil kalmalıdır.
- `Replica_IO_Running = Yes` ve `Replica_SQL_Running = Yes` teyit edilmelidir.
- GTID executed kümesinin eşitlendiğini doğrulayın:
SELECT WAIT_FOR_EXECUTED_GTID_SET(@@GLOBAL.gtid_executed, 10);6. Geri Alma / Rollback
- Paralel worker değişikliği sorun çıkarırsa eski tek thread durumuna dönün:
STOP REPLICA;
SET GLOBAL replica_parallel_workers = 0;
START REPLICA;- Gevşetilen dayanıklılık ayarlarını mutlaka kalıcı güvenli seviyeye geri alın:
SET GLOBAL sync_binlog = 1;
SET GLOBAL innodb_flush_log_at_trx_commit = 1;- **Kök Neden ve Önleme Checklist:**
- [ ] Primary'de `binlog_group_commit_sync_delay` optimize edildi mi?
- [ ] Replica disk I/O yavaşlığı veya eksik Primary Key var mı?
- [ ] PMM Dashboard'a `MySQL Replication Lag > 60s` alarmı eklendi mi?
- [ ] Haftalık `pt-table-checksum` ile drift kontrolü planlandı mı?
- **İletişim:** Lag > 300s ise `#dba-alert` Slack kanalına bildirim geçin; Lag > 600s ve düşmüyorsa primary failover hazırlıklarını başlatın.
Mühendislik Triadı: Doğrudan Teşhis Scriptleri
Bu runbook kriz müdahalesinde darboğazı tespit etmek için önerilen hazır SQL / Shell scriptleri:
MySQL Replikasyon Durumu ve Gecikme Kontrolü
IO/SQL thread durumunu, Seconds_Behind_Source değerini ve son hataları kontrol eder. Replica sağlığını hızlıca doğrulamak için kullanılır.
MySQL'de Primary Key'i Olmayan Tabloları Bulma
Primary key içermeyen tabloları listeler. Bu tablolar replikasyon gecikmesine ve Group Replication/Galera uyumsuzluğuna yol açar.
MySQL'de Uzun Süredir Açık InnoDB Transaction'ları
Açık transaction'ları yaşlarına, kilitledikleri satırlara ve son sorgularına göre listeler. Purge'ı engelleyen ve history list'i şişiren işlemleri bulur.