20 questions fréquemment posées en entretien pour Data Scientist. La data science est un domaine très recherché qui transforme les données produit, client et métier en décisions, expériences, modèles et insights mesurables. Les questions couvrent plusieurs niveaux, et vous pouvez vous entraîner à y répondre à voix haute dans notre simulateur d'entretien.
1En quoi covariance et corrélation diffèrent-elles pour deux variables numériques ?
La covariance E[(X − E[X])(Y − E[Y])], ou son analogue empirique, indique si les écarts aux moyennes tendent à avoir le même signe. Son amplitude dépend des unités, par exemple mètres ou centimètres. La corrélation de Pearson divise par le produit des écarts-types. Pour deux variances positives, elle est sans unité entre −1 et 1. Une remise à l’échelle linéaire positive la conserve et inverser le signe d’une variable l’inverse. Aucune ne prouve la causalité. Une valeur nulle n’implique pas l’indépendance : un lien non linéaire peut avoir une association linéaire nulle. J’examine nuage de points, valeurs atypiques et sous-groupes et envisage une corrélation de rang pour un lien monotone.
2Quelle différence y a-t-il entre `INNER JOIN`, `LEFT JOIN`, `RIGHT JOIN` et `FULL OUTER JOIN` ? Quel effet ont-elles sur la population analysée et les valeurs `NULL` ?
`INNER JOIN` conserve les paires qui correspondent. `LEFT JOIN` garde aussi les lignes de gauche sans correspondance, avec des colonnes de droite à `NULL`. `RIGHT JOIN` fait l’inverse ; `FULL OUTER JOIN` conserve les lignes sans correspondance des deux côtés. Une jointure interne entre utilisateurs et achats peut exclure les non-acheteurs et gonfler un taux. Une jointure externe conserve les lignes de départ mais peut les multiplier si une clé a plusieurs correspondances. Un filtre `WHERE` sur les colonnes de droite peut aussi éliminer les lignes sans achat. Définissez le grain du dénominateur. `COUNT(*)` compte toutes les lignes, `COUNT(colonne)` les valeurs non nulles, et `SUM` ou `AVG` ignorent généralement les `NULL`. Remplacez par zéro seulement si cela correspond au sens métier.
-- Inner join silently shrinks denominator to purchasers only
SELECT COUNT(o.order_id) * 1.0 / COUNT(u.user_id) AS inner_conv_rate
FROM users u
INNER JOIN orders o ON u.user_id = o.user_id;
-- Left join preserves full user base for accurate metric computation
SELECT COUNT(o.order_id) * 1.0 / COUNT(u.user_id) AS true_conv_rate
FROM users u
LEFT JOIN orders o ON u.user_id = o.user_id;
3Que permet la randomisation dans un test produit qu’une comparaison avant/après permet rarement ? Quel effet un test A/B cherche-t-il à établir ?
Une comparaison avant/après mêle la fonctionnalité aux changements de période : saison, campagnes, incidents ou évolution des utilisateurs. En attribuant les unités éligibles au hasard et au même moment, on équilibre en moyenne les facteurs observés et non observés. Le groupe témoin estime ce qui se serait passé sans la variante pour la population étudiée. Si l’attribution et la mesure sont valides et que les groupes ne s’influencent pas, la différence estime l’effet causal de l’affectation, avec une incertitude d’échantillonnage.
# Naive Before-After Comparison:
# Effect_estimate = Metric_t1 (Holiday Launch) - Metric_t0 (Pre-Holiday Baseline)
# Problem: Lift is confounded by holiday shopping surge and marketing spend.
# Randomized A/B Test:
# Effect_estimate = E[Metric_Holiday | Treatment] - E[Metric_Holiday | Control]
# Solution: Both arms experience the exact same external shocks simultaneously.
4À quoi sert l’EDA (analyse exploratoire des données) avant la modélisation ou l’expérimentation ? En quoi diffère-t-elle d’une analyse confirmatoire ?
L’analyse exploratoire décrit la structure, les distributions et les relations. Elle repère des anomalies, vérifie la qualité des données et aide à formuler des hypothèses à l’aide de résumés et de graphiques. L’analyse confirmatoire évalue des hypothèses définies à l’avance selon un protocole qui contrôle le risque d’erreur. Un résultat découvert pendant l’exploration ne devient pas confirmé parce qu’on le teste sur les mêmes données sans tenir compte de cette sélection. Vérifiez-le sur de nouvelles données ou avec une méthode qui tient compte de la recherche préalable.
import numpy as np
import pandas as pd
# 1. EDA Phase: Open-ended discovery and hypothesis generation
df = pd.DataFrame({'engagement_score': np.random.normal(50, 10, 1000)})
summary = df['engagement_score'].describe()
# 2. Confirmatory Phase: Testing pre-registered hypothesis on fresh test/experiment data
# (e.g., two-sample t-test with fixed significance level alpha = 0.05)
5Qu’est-ce qu’une fuite de cible en apprentissage supervisé ? Comment la distinguer d’une forte corrélation légitime ?
Il y a fuite si une variable révèle la cible par une information qui ne serait pas disponible ou admissible au moment de prédire, par exemple une date de résiliation utilisée pour prévoir cette résiliation. Une variable peut être très prédictive sans fuite ni lien causal, comme une fréquence de connexion calculée avec les seules données disponibles avant la prédiction. Vérifiez la date et le mode de disponibilité en production. Une fuite peut donner de très bons résultats hors production sans se reproduire en usage réel.
# Scenario: Predicting whether a user will cancel their subscription (is_churned)
# LEAKY FEATURE:
# 'cancellation_survey_submitted' -> Occurs after the decision to churn has executed.
# LEGITIMATE FEATURE:
# 'login_count_last_30_days' -> Observed strictly before the prediction cut-off date.
6Pourquoi séparer entraînement, validation et test ? Quel est le rôle de chacun dans le développement d’un modèle ?
Le jeu d’entraînement ajuste les paramètres du modèle et du prétraitement. La validation sert à choisir les variables, l’architecture, les hyperparamètres et à repérer le surapprentissage. Gardez le jeu de test à part pour évaluer le modèle choisi sans l’ajuster à ses résultats. Il doit représenter l’usage prévu, par exemple respecter l’ordre chronologique ou séparer les observations d’une même personne. La séparation permet d’estimer la généralisation ; elle ne la garantit pas. Si vous réutilisez les résultats du test pour régler le modèle, prévoyez une nouvelle évaluation indépendante.
from sklearn.model_selection import train_test_split
from sklearn.datasets import make_classification
X, y = make_classification(n_samples=1000, n_features=10, random_state=42)
# Step 1: Split off final test set (20%)
X_dev, X_test, y_dev, y_test = train_test_split(
X, y, test_size=0.20, random_state=42, stratify=y
)
# Step 2: Split remaining development data into train (75% of dev = 60% total) and validation (25% of dev = 20% total)
X_train, X_val, y_train, y_val = train_test_split(
X_dev, y_dev, test_size=0.25, random_state=42, stratify=y_dev
)
print(f"Train size: {len(X_train)}, Val size: {len(X_val)}, Test size: {len(X_test)}")
7Quelle différence y a-t-il entre apprentissage supervisé et non supervisé ? Comment choisir selon les cibles disponibles et le besoin métier ?
L’apprentissage supervisé utilise des observations avec une cible connue pour apprendre à prédire sur de nouveaux exemples, comme un prix, une fraude ou un départ. L’apprentissage non supervisé cherche une structure sans cible fournie, par exemple des groupes de clients ou une représentation plus compacte. Choisissez le supervisé pour une prédiction définie si vous disposez de cibles fiables ou pouvez les obtenir. Pour explorer des structures ou anomalies sans exemples étiquetés, le non supervisé peut convenir.
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.cluster import KMeans
X = np.array([[10, 2], [12, 3], [1, 8], [2, 9]])
y = np.array([0, 0, 1, 1])
# Supervised: Learns mapping X -> y
clf = LogisticRegression().fit(X, y)
# Unsupervised: Discovers clusters directly from X
kmeans = KMeans(n_clusters=2, random_state=42, n_init=10).fit(X)
8Qu’est-ce qu’un indicateur phare (« North Star ») et comment le distinguer d’un chiffre flatteur mais peu utile ?
L’indicateur phare doit refléter une valeur que le client retire du produit, par exemple des nuits réservées ou un usage d’écoute réellement actif. Il donne une direction commune. À l’inverse, les téléchargements cumulés ou les inscriptions peuvent monter alors que les utilisateurs abandonnent aussitôt. Vérifiez que l’indicateur réagit à des changements utiles, qu’il est lié à des résultats durables comme la rétention et qu’il est difficile de le gonfler par des actions superficielles. Associez-lui des garde-fous.
Platform: Vacation Rental App
Vanity Metric: Cumulative app downloads (increases continuously even if 95% of users uninstall immediately).
North Star Metric: Nights booked per active user (reflects actual value exchange between guests and hosts).
9Quelle distinction pratique faites-vous entre dérive des données et dérive du concept, et pourquoi importe-t-elle pour maintenir un modèle après lancement ?
La dérive des entrées est un changement de P(X). Le décalage pur des covariables suppose en plus P(Y|X) inchangé ; constater le premier ne prouve pas cette hypothèse. La dérive du concept modifie au contraire la relation P(Y|X), donc les mêmes valeurs de variables correspondent désormais à d'autres comportements ou résultats. Les deux peuvent coexister et demander des réponses différentes. Sous un décalage pur des covariables, les relations conditionnelles historiques restent valides là où le support existe ; on élargit la couverture d'entraînement, ajuste le prétraitement ou repondère les observations. Avec dérive du concept, certaines relations historiques perdent leur pertinence. Examiner les étiquettes récentes et segments concernés avant de choisir repondération, réentraînement, refonte ou changement de politique. Une dérive n'implique pas automatiquement une perte de performance significative.
# Data Drift (Covariate Shift):
# User demographics or devices change (P(X) shifts),
# but genuine vs fraudulent transaction patterns remain identical (P(Y|X) unchanged).
# Concept Drift:
# Fraudsters adapt tactics to mimic normal shopping patterns;
# identical feature inputs now have a higher probability of fraud (P(Y|X) shifts).
10Quelle est la différence entre un paramètre de population et une statistique d'échantillon, et quel est l'impact de la variabilité d'échantillonnage sur l'interprétation des métriques ?
Un paramètre de population est une caractéristique numérique fixe, généralement inconnue, d'une population entière (comme la vraie moyenne de la population μ ou la proportion p). Une statistique d'échantillon est un résumé numérique calculé à partir de données d'échantillon observées (comme la moyenne d'échantillon x̄ ou la proportion d'échantillon p̂), utilisé pour estimer le paramètre inconnu. La variabilité d'échantillonnage désigne la variation naturelle des statistiques d'échantillon entre différents échantillons aléatoires prélevés dans la même population. En raison de cette variabilité d'échantillonnage, toute métrique issue d'un seul échantillon est soumise à une erreur aléatoire et correspond rarement exactement au véritable paramètre de population. Lors de l'interprétation des métriques, ne pas prendre en compte cette variabilité conduit à confondre du bruit statistique avec une réelle évolution. Les analystes doivent quantifier l'incertitude d'estimation à l'aide d'erreurs types, d'intervalles de confiance ou de tests d'hypothèses avant de conclure qu'une différence observée est réelle.
import numpy as np
# True population parameter (mean = 50, standard deviation = 10)
pop_mean = 50.0
pop_std = 10.0
# Draw multiple independent samples of size n=30
np.random.seed(42)
sample_means = [np.mean(np.random.normal(pop_mean, pop_std, size=30)) for _ in range(5)]
for i, sm in enumerate(sample_means, 1):
print(f"Sample {i} Mean (Statistic): {sm:.2f} | Error: {sm - pop_mean:+.2f}")
11Qu’est-ce qu’un estimateur ponctuel et comment son biais et sa variance influencent-ils son exactitude ?
Un estimateur ponctuel transforme un échantillon en une estimation unique d’un paramètre de population. Sur les échantillons possibles, le biais est l’erreur moyenne et la variance mesure la dispersion des estimations. Sous perte quadratique, l’erreur quadratique moyenne (MSE) vaut la variance plus le carré du biais si les moments existent. Un faible biais peut être acceptable s’il réduit suffisamment la variance.
12Comment réduire la largeur d’un intervalle de confiance pour une moyenne de population ?
À niveau de confiance fixé, augmentez le nombre d’observations indépendantes ou réduisez la variance de la mesure par un plan d’étude valide. Pour un intervalle usuel de la moyenne, l’erreur type est estimée par s divisé par la racine carrée de n. Baisser le niveau de confiance réduit aussi la largeur, mais change la couverture visée. Un intervalle étroit peut rester centré sur une estimation biaisée.
13Comment renvoyer, pour chaque utilisateur et jour calendaire, le premier titre regardé en streaming ?
Déterminez la date de chaque session dans le fuseau horaire du rapport. Numérotez les lignes avec ROW_NUMBER(), en partitionnant par user_id et par date, puis en triant par heure de début et identifiant de lecture unique et stable. Gardez le rang un et retrouvez le titre correspondant. Précisez si des débuts simultanés doivent être départagés pour n’en garder qu’un, comme demandé, ou tous renvoyés selon une autre règle.
14Comment comparer des cohortes d’activation ou de rétention sans confondre ancienneté et composition des groupes ?
Alignez les cohortes sur la même origine, par exemple l’inscription, et comparez J+7 ou J+30 à ancienneté égale. Indiquez ou excluez les fenêtres qui ne sont pas encore entièrement observées. Ventilez par canal, plateforme ou pays si ces dimensions changent. Pour un agrégat comparable, recalculez les taux avec des poids fixes sur les strates représentées et montrez aussi les effectifs. Cela sépare les variations au sein des segments de celles dues à leur poids.
WITH user_cohorts AS (
SELECT
user_id,
DATE_TRUNC('week', signup_time) AS cohort_week,
signup_time,
acquisition_channel
FROM users
-- Exclude cohorts that have not reached 7 full days of maturity
WHERE signup_time <= CURRENT_DATE - INTERVAL '7 days'
),
user_activity AS (
SELECT DISTINCT
c.user_id,
c.cohort_week,
c.acquisition_channel,
1 AS retained_d7
FROM user_cohorts c
JOIN events e ON c.user_id = e.user_id
WHERE e.event_time >= c.signup_time + INTERVAL '7 days'
AND e.event_time < c.signup_time + INTERVAL '8 days'
)
SELECT
c.cohort_week,
c.acquisition_channel,
COUNT(c.user_id) AS cohort_size,
COUNT(a.user_id) AS d7_active_users,
ROUND(100.0 * COUNT(a.user_id) / COUNT(c.user_id), 2) AS d7_retention_pct
FROM user_cohorts c
LEFT JOIN user_activity a ON c.user_id = a.user_id
GROUP BY 1, 2
ORDER BY 1 DESC, 2;
15Une AUC (aire sous la courbe) de 0,99 hors production s’effondre quand le modèle est exécuté en parallèle sur le trafic réel. Comment vérifier une fuite de cible ?
Vérifiez d’abord que les populations, la définition de la cible et les entrées sont comparables. Classez les variables suspectes, testez des modèles à une seule variable et mesurez l’effet du retrait des variables. Une forte importance est un indice. Remontez aux dates de création, mise à jour et disponibilité effectives : `cancellation_reason` peut n’exister qu’après le départ. Recalculez les variables à partir de l’historique réellement disponible à la coupure, puis refaites une validation temporelle. Comparez aussi la préparation en production et les éventuelles dérives.
from sklearn.metrics import roc_auc_score
from sklearn.tree import DecisionTreeClassifier
leakage_candidates = {}
for col in X_train.columns:
clf = DecisionTreeClassifier(max_depth=2)
clf.fit(X_train[[col]], y_train)
preds = clf.predict_proba(X_test[[col]])[:, 1]
auc = roc_auc_score(y_test, preds)
if auc > 0.85:
leakage_candidates[col] = auc
print("Candidate Leaky Features:", leakage_candidates)
16Comment choisissez-vous entre K-fold standard, stratifié et par groupes pour des données réelles structurées ?
Selon distribution cible et indépendance. Le standard répartit en plis approximativement égaux ; scikit-learn KFold ne mélange pas par défaut, l'activer si approprié. Il vise des observations indépendantes et identiquement distribuées (IID), souvent régression ou données équilibrées. Le stratifié garde les proportions de classes pour éviter trop peu ou aucune minoritaire. Group K-fold empêche user_id, patient_id ou device_id de figurer dans entraînement et validation à la fois. Un partage par ligne d'entités répétées donne une estimation optimiste pour de nouvelles entités en mémorisant leurs particularités. Group K-fold mesure cette généralisation. Pour le futur d'entités connues, choisir la chronologie de ce déploiement ; combiner temps et groupes si les deux s'imposent.
17Comment choisissez-vous régression logistique, arbres boostés ou réseaux non linéaires pour du tabulaire sous contraintes de latence et dérive ?
Comparer sur validations temporelles/groupées représentatives et matériel réel. La logistique score peu cher et donne des coefficients transparents mais demande encodages/interactions adaptés ; elle peut extrapoler avec confiance à tort sous dérive. Les arbres de décision à renforcement de gradient (GBDT) fonctionnent souvent bien, mais catégories et manquants natifs dépendent de l'implémentation. Les feuilles constantes extrapolent mal hors support, sans garantie de sécurité. Les réseaux aident pour multimodal, représentations vectorielles ou volume suffisant, avec latence/dérive dépendant de l'architecture. Comparer les latences aux 95e et 99e percentiles (p95/p99) de bout en bout, y compris la récupération des variables, calibration, mémoire, maintenance, segments et robustesse. Aucune famille ne garantit universellement la milliseconde ni la résistance à la dérive.
decision_matrix = {
"Logistic Regression": {"Latency": "<1ms (Ultra-low)", "Drift Behavior": "Linear extrapolation", "Tabular Baseline": "Moderate (needs feature engineering)"},
"GBDT (XGB/LightGBM)": {"Latency": "1-15ms (Fast)", "Drift Behavior": "Leaf clamping (no extrapolation)", "Tabular Baseline": "State of the Art"},
"Tabular Neural Net": {"Latency": "10-50ms+ (Higher)", "Drift Behavior": "Nonlinear extrapolation", "Tabular Baseline": "Competitive / High tuning cost"}
}
for model, traits in decision_matrix.items():
print(f"{model}: Latency={traits['Latency']}, Tabular Perf={traits['Tabular Baseline']}")
18Comment estimer une moyenne sous une loi cible avec des tirages issus d’une autre loi par échantillonnage d’importance, et quand la méthode échoue-t-elle ?
Si p est la densité cible normalisée et q la proposition, je pondère par w(x) = p(x)/q(x). La moyenne de w(Xi)f(Xi) estime E_p[f] lorsque q couvre le support pertinent et que l’espérance existe. Si p n’est connue qu’à un facteur près, j’utilise Σwi f(Xi)/Σwi, généralement biaisé à taille finie mais convergent sous conditions. Une masse cible importante là où q vaut zéro rend la méthode inopérante, même avec davantage de tirages. Un mauvais recouvrement ou de mauvaises queues concentrent le poids sur quelques points. J’examine poids, taille effective et incertitude, puis améliore la proposition ou utilise un mélange.
19Comment organiser une couche sémantique commune pour que plusieurs équipes utilisent les mêmes définitions métier ?
Définissez en code versionné les entités, grains, dimensions, jointures et mesures indépendamment des outils de rapport. Confiez les indicateurs transversaux à une gouvernance commune et les modèles spécifiques aux équipes de domaine. Validez les changements par revue et tests. Exposez le même calcul aux tableaux de bord, notebooks et API par les interfaces nécessaires. Appliquez les droits au périmètre approprié et utilisez caches ou préagrégations en respectant les filtres et la fraîcheur.
semantic_model:
name: orders
node_relation:
alias: fct_orders
dimensions:
- name: order_date
type: time
type_params:
time_granularity: day
- name: country
type: categorical
measures:
- name: total_revenue
expr: revenue_usd
agg: sum
- name: distinct_buyers
expr: user_id
agg: count_distinct
metrics:
- name: average_order_value
description: "Governed metric for AOV across all BI tools"
type: ratio
type_params:
numerator: total_revenue
denominator: distinct_buyers
20Comment tester un nouvel algorithme d’appariement sur une place de marché où les groupes partagent l’offre et peuvent s’influencer dans le temps ou l’espace ?
Définissez l’effet visé, par exemple celui d’un changement pour un marché entier. Une affectation par utilisateur peut déplacer des trajets ou des achats entre groupes et biaiser la comparaison. Randomisez des marchés suffisamment isolés, éventuellement après appariement, ou alternez aléatoirement l’algorithme par marché et créneau. Choisissez les durées selon la persistance des effets et prévoyez une période de transition si nécessaire. Suivez les déplacements, le taux d’appariement et les effets sur chaque côté. Analysez à l’unité d’affectation avec une méthode qui tient compte de la dépendance dans le temps et du nombre de marchés.
import pandas as pd
import numpy as np
def generate_switchback_schedule(n_days=14, window_minutes=60, washout_minutes=15):
total_windows = int((n_days * 24 * 60) / window_minutes)
np.random.seed(42)
treatments = np.random.binomial(1, 0.5, size=total_windows)
schedule = []
for i, trt in enumerate(treatments):
start_min = i * window_minutes
eval_start_min = start_min + washout_minutes
end_min = (i + 1) * window_minutes
schedule.append({
'window_id': i,
'treatment': trt,
'start_min': start_min,
'eval_start_min': eval_start_min,
'end_min': end_min
})
return pd.DataFrame(schedule)