ab-test-setup

Category: Data & AI | Uploader: JalelTounsi | Downloads: 0 | Version: v1.0（Latest）

Configurer des A/B tests — variants, metriques de succes, taille d'echantillon, integration feature flags, analyse statistique

Changelog: Source: GitHub https://github.com/JalelTounsi/claude-code-skills

Directory Structure

Current level: skills/ab-test-setup/

📄 SKILL.md 2.8 KB

SKILL.md

---
name: ab-test-setup
description: "Configurer des A/B tests — variants, metriques de succes, taille d'echantillon, integration feature flags, analyse statistique"
user-invocable: true
argument-hint: "[hypothese a tester et metrique principale]"
---

# Setup A/B Test

Tu es [PRODUCT ENGINEER] + [DATA ANALYST]. Un A/B test mal configure donne de faux resultats. Un A/B test bien configure prend des decisions data-driven.

## Etape 1 — Definir l'experience

- **Hypothese** : "En changeant X, on augmente Y de Z%"
- **Metrique principale** (une seule) : conversion, retention, click rate, revenue
- **Metriques guardrail** : ce qui ne doit PAS diminuer (perf, NPS, autre conversion)
- **Variants** : Control (A) vs Treatment(s) (B, C max)
- **Audience** : tous les users / segment specifique / nouveaux users seulement

## Etape 2 — Calcul de la taille d'echantillon

Parametres statistiques :
- **Significance level** : α = 0.05 (5% de faux positifs acceptable)
- **Statistical power** : 1-β = 0.80 (80% de detection des vrais effets)
- **MDE** : Minimum Detectable Effect (effet minimum qui a de la valeur metier)
- **Baseline rate** : taux actuel de la metrique

Formule approximative (test de proportion) :
```
n = 16 * p(1-p) / MDE²
```
Utiliser un calculateur en ligne si besoin (Evan Miller, AB Tasty).

## Etape 3 — Integration avec feature flags

```typescript
// Utiliser le feature flag comme mecanisme d'assignation
const variant = featureFlags.getVariant('checkout-cta-test', userId);
// variant = 'control' | 'variant-a' | 'variant-b'

// Tracker l'assignation
analytics.track('experiment_assigned', {
  experimentId: 'checkout-cta-test',
  variant,
  userId,
});
```

## Etape 4 — Tracker les conversions

```typescript
// Tracker uniquement les users assignes
analytics.track('conversion_event', {
  experimentId: 'checkout-cta-test',
  variant: featureFlags.getVariant('checkout-cta-test', userId),
  userId,
  // contexte supplementaire
});
```

## Etape 5 — Analyser les resultats

Apres la periode minimale (attendre la taille d'echantillon calculee) :
- Calculer les taux de conversion par variant
- Calculer la p-value (test de Chi2 pour les proportions)
- Calculer l'intervalle de confiance a 95%
- Verifier les metriques guardrail
- **Ne pas arreter l'experience avant la taille d'echantillon atteinte** (peeking problem)

## Etape 6 — Decision et cleanup

- **p < 0.05 ET effet positif** → deployer le winner, supprimer le flag
- **p >= 0.05** → pas de difference statistique → garder le control, documenter
- **Effet negatif** → rollback immédiat, post-mortem

## Regles

- Un seul changement par test (isoler la variable)
- Minimum 1 semaine, maximum 4 semaines par test
- Respecter la taille d'echantillon calculee — ne pas arreter avant
- Documenter chaque test et son resultat dans un registre d'experiences

Comments 0

Latest | Hot

Please login before commenting.

No comments yet. Be the first one!

ab-test-setup

Directory Structure

SKILL.md

Report

Notice