dataiotech Labs
Runbook #14
mysql
ReplicationSEV2 · CİDDİ BOZULMA10-25 dakika / 10-25 minsSUPER / REPLICATION CLIENT / REPLICATION_APPLIER_ADMIN

MySQL GTID Replikasyon Lag > 60s Müdahale: Teşhis ve Hızlı Kurtarma

Replica'nın primary'den 60 saniyeden fazla geri kalması durumunda veri kaybı olmadan lag'i kapatma, thread darboğazı (IO vs SQL) tespiti, paralel applier optimizasyonu ve root cause analizi.

İlişkili Metrik:M15
#replication#lag#gtid#seconds_behind_source#parallel-replication#pmm#incident

Operasyonel Güvenlik ve Risk Uyarısı

Bu runbook müdahale adımları içerir; birçok adım yazma etkilidir (KILL, terminate, DROP, RESIZE). Önce test ortamında deneyin, üretimde adımları sırayla ve doğrulayarak uygulayın.

🟢 Salt Okunur (Read-Only)·🟡 Geri Alınabilir (Reversible)·🔴 Yüksek Etkili / Geri Alınamaz (High Impact)

1. Belirti / Symptom

- `Seconds_Behind_Master > 60` (veya MySQL 8.0.22+ `Seconds_Behind_Source > 60`).

- PMM / Grafana üzerinde `MySQL Replication Lag` uyarısı tetiklendi.

- Okuma replikasına bağlı servislerde bayat veri (stale reads) ve kullanıcı gecikmeleri.

- Kritik Durum: `Replica_IO_Running = No` veya `Replica_SQL_Running = No` (replikasyon kopması).

2. Etki / Impact

Okuma replikalarından raporlama veya API sorguları alan istemcilerde tutarsızlık; failover gerektiren bir kriz anında kabul edilemez RPO (veri kaybı) riski; replikadan alınan yedeklerin tutarsızlaşması.

3. Teşhis / Diagnosis

🟢 Salt Okunur1. **Hızlı Triage (0-5 Dakika) — REPLICA üzerinde:**
sql
-- 8.0.22+ (eski sürümlerde SHOW SLAVE STATUS\G)
SHOW REPLICA STATUS\G
-- Dikkat: Replica_IO_Running, Replica_SQL_Running, Last_Error, Seconds_Behind_Source

-- Eksik GTID setini doğrula
SELECT (SELECT GTID_SUBSET(@@GLOBAL.gtid_executed, 'primary-gtid-set')) AS missing;

-- Lag kaynağını ve applier worker durumunu incele
SHOW PROCESSLIST;
SELECT * FROM performance_schema.replication_connection_status\G
SELECT * FROM performance_schema.replication_applier_status_by_worker\G
🟢 Salt Okunur2. **Primary üzerinde uzun süren transaction kontrolü:**
sql
SELECT trx_id, trx_started, trx_mysql_thread_id, trx_query 
FROM information_schema.innodb_trx 
WHERE TIME_TO_SEC(TIMEDIFF(NOW(), trx_started)) > 30;
🟢 Salt Okunur3. **Karar Matrisi:**
BelirtiDarboğaz KatmanıOlası Kök Neden
`SQL_Thread` yavaşReplica ApplierReplica'da kilit, ağır SELECT sorgusu, PK'sız tablo veya tek worker
`IO_Thread` yavaşNetwork / Binlog DumpAğ gecikmesi veya Primary'de binlog dump thread blokajı
`Seconds_Behind_Source = NULL`Kırık ReplikasyonHata nedeniyle thread durmuş (`Last_SQL_Error`)

4. Müdahale / Response

### Senaryo A: Replica'da Long Running Query veya Kilit Çakışması

🟢 Salt Okunur1. Applier worker'ı bloklayan sorguyu tespit edin:
sql
SELECT * FROM sys.innodb_lock_waits\G
🟡 Geri Alınabilir2. Read replica ise uygulama trafiğini kesin veya bloklayan sorguyu sonlandırın:
sql
STOP REPLICA SQL_THREAD;
-- Bloklayan thread_id'yi sonlandırın
KILL <trx_mysql_thread_id>;
START REPLICA SQL_THREAD;

### Senaryo B: Single-Threaded Applier (En Yaygın Darboğaz)

MySQL varsayılan parallel applier ayarı tek iş parçacığında kalmış olabilir:

sql
-- Durumu kontrol edin
SHOW VARIABLES LIKE 'replica_parallel_workers';
SHOW VARIABLES LIKE 'replica_parallel_type';

-- Canlıda paralel applier'ı devreye alın (vCPU * 2)
STOP REPLICA;
SET GLOBAL replica_parallel_type = 'LOGICAL_CLOCK';
SET GLOBAL replica_parallel_workers = 8;
SET GLOBAL replica_preserve_commit_order = ON;
START REPLICA;

### Senaryo C: Disk I/O Doygunluğu ve Binlog Purge Gecikmesi

🟢 Salt Okunur1. Replica disk kullanımını ve I/O kuyruğunu izleyin:
bash
iostat -x 1 10
df -h
🔴 YÜKSEK RİSK / GERİ ALINAMAZ2. Primary'de aşırı binlog birikmişse replika konumlarını doğruladıktan sonra kontrollü purge yapın:
sql
SHOW BINARY LOGS;
PURGE BINARY LOGS BEFORE NOW() - INTERVAL 2 DAY;
🟡 Geri Alınabilir3. Acil durumda replica üzerinde geçici dayanıklılık gevşetmesi (lag kapandıktan sonra geri alınmalıdır):
sql
SET GLOBAL sync_binlog = 0;
SET GLOBAL innodb_flush_log_at_trx_commit = 2;

5. Doğrulama / Verification

- `SHOW REPLICA STATUS\G` çıktısında `Seconds_Behind_Source` 0 olmalı ve en az 5 dakika stabil kalmalıdır.

- `Replica_IO_Running = Yes` ve `Replica_SQL_Running = Yes` teyit edilmelidir.

- GTID executed kümesinin eşitlendiğini doğrulayın:

sql
SELECT WAIT_FOR_EXECUTED_GTID_SET(@@GLOBAL.gtid_executed, 10);

6. Geri Alma / Rollback

- Paralel worker değişikliği sorun çıkarırsa eski tek thread durumuna dönün:

sql
STOP REPLICA;
SET GLOBAL replica_parallel_workers = 0;
START REPLICA;

- Gevşetilen dayanıklılık ayarlarını mutlaka kalıcı güvenli seviyeye geri alın:

sql
SET GLOBAL sync_binlog = 1;
SET GLOBAL innodb_flush_log_at_trx_commit = 1;

- **Kök Neden ve Önleme Checklist:**

- [ ] Primary'de `binlog_group_commit_sync_delay` optimize edildi mi?

- [ ] Replica disk I/O yavaşlığı veya eksik Primary Key var mı?

- [ ] PMM Dashboard'a `MySQL Replication Lag > 60s` alarmı eklendi mi?

- [ ] Haftalık `pt-table-checksum` ile drift kontrolü planlandı mı?

- **İletişim:** Lag > 300s ise `#dba-alert` Slack kanalına bildirim geçin; Lag > 600s ve düşmüyorsa primary failover hazırlıklarını başlatın.

Mühendislik Triadı: Doğrudan Teşhis Scriptleri

Bu runbook kriz müdahalesinde darboğazı tespit etmek için önerilen hazır SQL / Shell scriptleri:

Tüm Scriptler (100)
#26 · SQLReplication

MySQL Replikasyon Durumu ve Gecikme Kontrolü

IO/SQL thread durumunu, Seconds_Behind_Source değerini ve son hataları kontrol eder. Replica sağlığını hızlıca doğrulamak için kullanılır.

#29 · SQLData Quality

MySQL'de Primary Key'i Olmayan Tabloları Bulma

Primary key içermeyen tabloları listeler. Bu tablolar replikasyon gecikmesine ve Group Replication/Galera uyumsuzluğuna yol açar.

#33 · SQLLocking

MySQL'de Uzun Süredir Açık InnoDB Transaction'ları

Açık transaction'ları yaşlarına, kilitledikleri satırlara ve son sorgularına göre listeler. Purge'ı engelleyen ve history list'i şişiren işlemleri bulur.

Tetikleyen Alarmlar ve Metrikler
M15MySQL Replikasyon GecikmesiMySQL

Diğer MYSQL Runbook'ları