Bir reklam ajansının kampanya performansını sürekli iyileştirmesinin tek bilimsel yolu A/B testlerdir. “Bence bu kreatif daha iyi” gibi sübjektif kararlar, sektör ortalamasının altında performans getirir. Disiplinli A/B test sürecine sahip ajanslar, müşterilerinin CPA’sını 12 ayda ortalama %41 azaltıyor. Biz reklam ajansı olarak her müşteride haftalık 2-4 aktif test yürütüyor, aylık test panosunu raporluyoruz. Bu makalede A/B test metodolojisini ve sık yapılan hataları inceliyoruz.

A/B Test Nedir?

İki varyantı (A ve B) aynı koşullar altında, aynı kitleye, aynı zamanda göstererek hangisinin daha iyi performans verdiğini istatistiksel olarak doğrulama yöntemidir. Çoklu varyantlı testlere multivariate test denir.

Test Edilebilir Öğeler

Kreatif Öğeleri

• Görsel (ürün çekimi vs lifestyle)
• Video hook (problem vs çözüm)
• Video uzunluğu (15sn vs 30sn)
• UGC vs profesyonel çekim
• Altyazı var/yok

Metin Öğeleri

• Başlık (özellik vs fayda)
• CTA (“Satın Al” vs “Hemen Dene”)
• Emoji kullanımı
• Sosyal kanıt vs fiyat vurgusu
• Karakter sayısı (kısa vs uzun)

Hedefleme Öğeleri

• Advantage+ Audience vs Lookalike
• Lookalike %1 vs %3
• Geniş hedefleme vs niche
• Yaş aralığı

Yerleşim ve Strateji

• Reels vs Feed yerleşimi
• CBO vs ABO bütçeleme
• Conversion vs LP View objektifi
• Landing page varyantı

A/B Test Süreci

1. Hipotez Yaz

“Eğer X değişirse Y metriği Z kadar artar çünkü W” formatında. Örnek: “Eğer başlıkta fiyat vurgularsak CTR %20 artar çünkü kullanıcı karar sürecinde fiyat odaklıdır.”

2. Metrik Belirle

Primary KPI (CPA, CTR, ROAS) ve guardrail metrics (bütçe, frequency). Birden fazla metrik takip et ama karar tek metriğe göre verilsin.

3. Sample Size Hesapla

Statistical calculator (Evan Miller, Optimizely) ile minimum conversion sayısı belirle. Tipik: kontrol ve varyant için 200+ conversion her biri.

4. Test Süresi

Sample size’a ulaşana kadar (genellikle 14-28 gün). Haftalık döngü bozulmamalı (hafta içi/sonu etkisi).

5. İstatistiksel Anlamlılık

%95 güven seviyesi (p < 0.05). Altında “belirsiz”, üstünde “kazanan”.

6. Deploy ve Dokümante

Kazanan varyant %100 trafiğe uygulanır, sonuç test kütüphanesine kaydedilir.

Sample Size Örneği

Meta Experiments Aracı

Meta’nın native A/B test aracı, yerleşimi, kitle overlap ve bütçe bölümünü otomatik yönetir. Geleneksel “iki ad set yapıp gözlemle” yönteminden çok daha güvenilir. Stark Ajans Meta testlerini %90 oranında Experiments üzerinden kurguluyor.

Google Ads Drafts & Experiments

Google Ads’te kampanya taslağı oluşturulup deney olarak %50-%50 trafikte çalıştırılır. Search, Display ve Shopping’de destekleniyor. PMax için şimdilik deney çift kampanya ile manuel yapılıyor.

Sık Yapılan A/B Test Hataları

• Çok erken sonuç çıkarmak (2-3 gün)
• Birden fazla değişken aynı anda test etmek
• Yetersiz sample size ile istatistik yorumlamak
• Seasonal etkiyi göz ardı etmek
• Kazananı sonsuza dek doğru varsaymak (1 çeyrek sonra retest)
• Birincil metrik yerine ikincil metrikle karar vermek

Kreatif Test Piramidi

Biz reklam ajansı olarak her müşteride kreatif test piramidini uyguluyoruz:

1. Makro test: Format (Reels vs Feed), mesaj (özellik vs fayda)
2. Mezzo test: Hook varyasyonları
3. Mikro test: CTA rengi, emoji, başlık varyasyonu

Incremental Test (Holdout)

Bir kitle grubuna reklam gösterilmez, kontrol grubu olur. Geri kalana reklam gösterilir. Fark gerçek incremental etki. Meta Conversion Lift bunu otomatik yapar.

Sektör Örnekleri

E-ticaret Moda

UGC video vs profesyonel foto A/B testi: UGC ile CTR %38, CPA %22 düşük.

Klinik

“Randevu Al” vs “Ücretsiz Danışma” CTA testi: ikincisi %31 daha fazla lead.

B2B SaaS

“ROI Hesaplayıcı” vs “Demo Talebi” lead magnet testi: hesaplayıcı %28 daha fazla MQL.

Sıkça Sorulan Sorular

Aynı anda kaç test yürütülebilir?

Kanal başına 1-2 test. Daha fazlası kitle çakışması ve karmaşa yaratıyor.

Test kaybedildiğinde ne yapılır?

Hipotez gözden geçirilir, öğrenme kaydedilir, yeni hipotez kurulur.

Düşük trafik ile test yapılabilir mi?

Zor; aylık 200 dönüşümün altında Bayesian test metodu daha uygun.

Test süresi ne kadar olmalı?</h3

Minimum 7 gün (hafta döngüsü), ortalama 14-21 gün.

Tüm hesap için tek test yeterli mi?

Hayır, her segmentte ayrı test; sepet terk ve yeni kullanıcı farklı tepki veriyor.

Stark Ajans Test Hizmeti

Stark Ajans her müşteride haftalık 2-4 aktif A/B test, aylık test raporu ve test öğrenmelerinden oluşan sektör benchmark kütüphanesi sunuyor. Biz reklam ajansı olarak kampanyaları veriyle yönetiyoruz, hisle değil.