Przygotowanie do rozmowy Data Scientist

Pytania rekrutacyjne dla Data Scientist

20 często zadawanych pytań rekrutacyjnych dla Data Scientist. Data science to poszukiwana dziedzina, która zamienia dane produktowe, klienckie i biznesowe w decyzje, eksperymenty, modele oraz mierzalne wnioski. Pytania obejmują różne poziomy, a odpowiedzi możesz ćwiczyć na głos w naszym trenerze rozmów.

Rozpocznij rozmowę AI dla Data ScientistKarta kredytowa nie jest wymagana. Dostępna 1 darmowa sesja.
Trening technicznych rozmów rekrutacyjnych po angielskuTryb dla osób, dla których angielski nie jest językiem ojczystym, do ćwiczenia rozmów technicznych.

Pytania dla początkujących

1Czym różnią się kowariancja i korelacja dwóch zmiennych liczbowych?

Kowariancja E[(X − E[X])(Y − E[Y])] lub odpowiednik z próby wskazuje, czy odchylenia od średnich mają zwykle ten sam znak. Wielkość zależy od jednostek. Korelacja Pearsona dzieli ją przez iloczyn odchyleń standardowych, więc przy dodatnich wariancjach jest bezwymiarowa w zakresie od −1 do 1. Dodatnie przeskalowanie liniowe jej nie zmienia, odwrócenie znaku jednej zmiennej odwraca znak korelacji. Żadna nie dowodzi przyczynowości, a wartość zerowa nie oznacza niezależności: zależność nieliniowa może mieć zerowy związek liniowy. Oglądam wykres rozrzutu, obserwacje odstające i podgrupy. Dla zależności monotonicznej rozważam miarę rangową.

Odpowiedz na to pytanie z trenerem AI

2Jaka jest koncepcyjna różnica między złączeniami inner, left, right i full outer oraz jak wybór każdego z nich wpływa na badaną populację i obsługę wartości NULL w dalszych obliczeniach metryk?

Złączenia inner, left, right i full outer definiują, które rekordy są zachowywane podczas łączenia tabel na podstawie pasujących kluczy: - Inner Join (złączenie wewnętrzne): Zachowuje tylko te rekordy, w których klucz złączenia pasuje w obu tabelach. - Left (Outer) Join (złączenie lewostronne): Zachowuje wszystkie rekordy z lewej tabeli i uzupełnia kolumny z prawej tabeli wartościami NULL w przypadku braku dopasowania. - Right (Outer) Join (złączenie prawostronne): Zachowuje wszystkie rekordy z prawej tabeli, uzupełniając niedopasowane kolumny z lewej strony wartościami NULL. - Full Outer Join (pełne złączenie zewnętrzne): Zachowuje wszystkie rekordy z obu tabel, uzupełniając wartościami NULL brakujące dopasowania po dowolnej ze stron. Wpływ na populację analityczną i dalsze metryki: Wybór rodzaju złączenia bezpośrednio kontroluje kohortę analityczną oraz mianowniki używane w kalkulacji metryk. Niezamierzone użycie inner join między bazą użytkowników a tabelą aktywności/transakcji odrzuca nieaktywnych użytkowników, zmniejszając mianownik tylko do użytkowników aktywnych i sztucznie zawyżając wskaźniki konwersji lub retencji. Z kolei złączenia zewnętrzne (outer joins) zachowują pełną populację bazową, ale wprowadzają wartości NULL dla niedopasowanych wierszy. Dalsze obliczenia muszą uwzględniać te wartości: standardowe funkcje agregujące SQL (Structured Query Language), takie jak SUM() czy AVG(), ignorują wartości NULL, COUNT(kolumna) zlicza tylko wpisy o wartości różnej od NULL, podczas gdy COUNT(*) zlicza wszystkie wiersze, a operacje arytmetyczne na niescalonych wartościach NULL dają w wyniku NULL.

-- Inner join silently shrinks denominator to purchasers only
SELECT COUNT(o.order_id) * 1.0 / COUNT(u.user_id) AS inner_conv_rate
FROM users u
INNER JOIN orders o ON u.user_id = o.user_id;

-- Left join preserves full user base for accurate metric computation
SELECT COUNT(o.order_id) * 1.0 / COUNT(u.user_id) AS true_conv_rate
FROM users u
LEFT JOIN orders o ON u.user_id = o.user_id;
Odpowiedz na to pytanie z trenerem AI

3In product experimentation, what does randomization achieve that simple before-after comparison usually cannot, and how would you explain the core causal claim an A/B test is designed to support?

In product experimentation, a simple before-after comparison compares metrics across different time periods, which confounds the effect of a feature change with external temporal factors such as seasonality, day-of-week patterns, concurrent marketing campaigns, macro trends, and natural user maturation. Randomization assigns eligible units simultaneously to treatment and control groups, balancing both observed and unobserved confounding variables across groups in expectation. This establishes internal validity. The core causal claim supported by an A/B test relies on counterfactual reasoning: because the control group is subjected to the exact same external conditions over the exact same time window, it serves as an empirical estimate of the counterfactual—what would have happened to the treatment group had they not received the feature. Therefore, any statistically significant difference in outcomes can be causally attributed to the treatment intervention.

# Naive Before-After Comparison:
# Effect_estimate = Metric_t1 (Holiday Launch) - Metric_t0 (Pre-Holiday Baseline)
# Problem: Lift is confounded by holiday shopping surge and marketing spend.

# Randomized A/B Test:
# Effect_estimate = E[Metric_Holiday | Treatment] - E[Metric_Holiday | Control]
# Solution: Both arms experience the exact same external shocks simultaneously.
Odpowiedz na to pytanie z trenerem AI

4Jaki jest główny cel eksploracyjnej analizy danych (EDA — Exploratory Data Analysis) przed formalnym modelowaniem lub eksperymentowaniem i czym różni się EDA od analizy konfirmacyjnej?

Eksploracyjna analiza danych (EDA — Exploratory Data Analysis) to otwarty proces mający na celu zrozumienie struktury zbioru danych, wykrycie wzorców, zidentyfikowanie anomalii lub problemów z jakością danych, ocenę założeń dotyczących rozkładów oraz generowanie hipotez przed zbudowaniem formalnych modeli statystycznych lub przeprowadzeniem eksperymentów. Główna różnica między EDA a analizą konfirmacyjną polega na ich celu i metodologii: EDA służy do generowania hipotez, jest elastyczna i ma charakter badawczy — wykorzystuje podsumowania opisowe, korelacje i wizualizacje do zbadania, co sugerują dane, bez wcześniejszych sztywnych założeń. Z kolei analiza konfirmacyjna (taka jak testowanie hipotez statystycznych lub ewaluacja testów A/B) służy do weryfikacji hipotez, jest ustrukturyzowana i ma charakter wnioskowania statystycznego — została zaprojektowana w celu rygorystycznego testowania wcześniej zdefiniowanych, falsyfikowalnych hipotez przy jednoczesnej kontroli poziomów błędów statystycznych (np. błędu I rodzaju). Traktowanie wniosków odkrytych podczas EDA jako potwierdzonych konkluzji na tym samym zbiorze danych może prowadzić do nadmiernego dopasowania (overfitting) oraz manipulacji danymi (tzw. p-hacking lub data dredging).

import numpy as np
import pandas as pd

# 1. EDA Phase: Open-ended discovery and hypothesis generation
df = pd.DataFrame({'engagement_score': np.random.normal(50, 10, 1000)})
summary = df['engagement_score'].describe()

# 2. Confirmatory Phase: Testing pre-registered hypothesis on fresh test/experiment data
# (e.g., two-sample t-test with fixed significance level alpha = 0.05)
Odpowiedz na to pytanie z trenerem AI

5Czym jest wyciek zmiennej docelowej (target leakage) w uczeniu nadzorowanym i czym różni się od uzasadnionej, silnej korelacji między cechą a etykietą?

Wyciek zmiennej docelowej (target leakage) występuje, gdy cecha uwzględniona podczas trenowania modelu zawiera informacje o etykiecie docelowej, które w uzasadniony sposób nie byłyby dostępne w czasie wnioskowania (inference time), gdy model generuje rzeczywiste predykcje. Dzieje się tak często, gdy cecha jest zbierana chronologicznie po analizowanym zdarzeniu lub stanowi bezpośredni skutek bądź następstwo wyniku docelowego (np. użycie znacznika czasu anulowania konta lub identyfikatora zwrotu środków do przewidywania odejścia klienta). W przeciwieństwie do tego, uzasadniona silna korelacja odzwierciedla autentyczną, istniejącą wcześniej relację predykcyjną lub przyczynowo-skutkową, która jest w pełni znana i dostępna przed momentem dokonania predykcji (np. częstotliwość logowania klienta w ciągu ostatnich 30 dni). Chociaż w obu przypadkach wskaźniki istotności cech lub metryki ewaluacji będą wysokie, model z wyciekiem zmiennej docelowej osiągnie nierealistycznie wysokie wyniki w walidacji offline, lecz zawiedzie na środowisku produkcyjnym, ponieważ cecha zawierająca wyciek nie może być znana w momencie wnioskowania.

# Scenario: Predicting whether a user will cancel their subscription (is_churned)

# LEAKY FEATURE:
# 'cancellation_survey_submitted' -> Occurs after the decision to churn has executed.

# LEGITIMATE FEATURE:
# 'login_count_last_30_days' -> Observed strictly before the prediction cut-off date.
Odpowiedz na to pytanie z trenerem AI

6Jaki jest cel podziału danych na zbiory: treningowy, walidacyjny i testowy oraz jak każdy z nich powinien sterować iteracyjnym procesem wytwarzania modelu?

Podział danych na zbiory: treningowy, walidacyjny i testowy izoluje dopasowywanie modelu, dostrajanie hiperparametrów oraz ocenę końcową, zapewniając zdolność do generalizacji na nieznanych wcześniej danych. - Zbiór treningowy: Służy do dopasowywania parametrów wewnętrznych modelu (np. wag i obciążeń w sieciach neuronowych czy progów podziału w drzewach decyzyjnych). - Zbiór walidacyjny: Wykorzystywany podczas procesu iteracyjnego do selekcji modeli, dostrajania hiperparametrów, wyboru cech oraz wykrywania przeuczenia (overfittingu). Steruje decyzjami dotyczącymi wyboru najlepszej architektury lub konfiguracji modelu bez naruszania danych przeznaczonych do ostatecznej oceny. - Zbiór testowy: Służy jako ściśle odizolowany reprezentant niewidocznych danych produkcyjnych. Jest ewaluowany tylko raz, na samym końcu projektu, aby dostarczyć bezstronnego oszacowania błędu generalizacji. Ponowne dostrajanie modeli na podstawie wyników zbioru testowego pozbawia go obiektywizmu i wprowadza błąd optymistyczny (optimistic bias).

from sklearn.model_selection import train_test_split
from sklearn.datasets import make_classification

X, y = make_classification(n_samples=1000, n_features=10, random_state=42)

# Step 1: Split off final test set (20%)
X_dev, X_test, y_dev, y_test = train_test_split(
    X, y, test_size=0.20, random_state=42, stratify=y
)

# Step 2: Split remaining development data into train (75% of dev = 60% total) and validation (25% of dev = 20% total)
X_train, X_val, y_train, y_val = train_test_split(
    X_dev, y_dev, test_size=0.25, random_state=42, stratify=y_dev
)

print(f"Train size: {len(X_train)}, Val size: {len(X_val)}, Test size: {len(X_test)}")
Odpowiedz na to pytanie z trenerem AI

7Jaka jest różnica między uczeniem nadzorowanym a nienadzorowanym i jak dostępność etykiet oraz cele biznesowe decydują o wyborze właściwego paradygmatu?

Algorytmy uczenia nadzorowanego uczą się matematycznego odwzorowania cech wejściowych (X) na znane etykiety docelowe (y) przy użyciu oznaczonych etykietami danych historycznych, aby przewidywać wyniki dla nowych obserwacji. Uczenie nienadzorowane analizuje zbiory danych zawierające wyłącznie cechy (X) w celu odkrycia wewnętrznych struktur, naturalnych grup (grupowanie / klasteryzacja) lub zredukowanych reprezentacji bez zdefiniowanych wcześniej etykiet docelowych. Wybór między tymi paradygmatami zależy od dostępności etykiet i celów biznesowych: jeśli etykiety wzorcowe (ground-truth labels) istnieją lub ich zebranie jest wykonalne, a celem biznesowym jest ukierunkowana predykcja (np. wykrywanie oszustw, prognozowanie rezygnacji klientów, prognozowanie cen), odpowiednie jest uczenie nadzorowane. Jeśli etykiety wzorcowe nie istnieją, ich pozyskanie jest zbyt kosztowne lub celem jest otwarta eksploracja danych (np. segmentacja klientów, wykrywanie anomalii bez znanych etykiet), wybiera się uczenie nienadzorowane.

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.cluster import KMeans

X = np.array([[10, 2], [12, 3], [1, 8], [2, 9]])
y = np.array([0, 0, 1, 1])

# Supervised: Learns mapping X -> y
clf = LogisticRegression().fit(X, y)

# Unsupervised: Discovers clusters directly from X
kmeans = KMeans(n_clusters=2, random_state=42, n_init=10).fit(X)
Odpowiedz na to pytanie z trenerem AI

8Czym jest metryka przewodnia (North Star Metric) i jak odróżnić skuteczną metrykę przewodnią od metryki próżności (vanity metric) podczas oceny kondycji produktu?

Metryka przewodnia (North Star Metric, NSM) to główna metryka, która najlepiej odzwierciedla kluczową wartość dostarczaną klientom przez produkt, jednocześnie napędzając zrównoważone wyniki biznesowe (np. „Zarezerwowane noce” dla Airbnb lub „Tygodniowa liczba godzin odtwarzania” dla platformy muzycznej). Ukierunkowuje ona zespoły produktowe na długoterminową wartość dla klienta zamiast powierzchownego wzrostu. Aby odróżnić skuteczną metrykę przewodnią od metryki próżności: 1. Dopasowanie do wartości: Skuteczna metryka przewodnia odzwierciedla rzeczywistą użyteczność dla użytkownika i aktywne zaangażowanie, podczas gdy metryka próżności mierzy powierzchowny wolumen (taki jak łączna liczba zarejestrowanych użytkowników, łączna liczba pobrań aplikacji czy surowa liczba wyświetleń stron), który może rosnąć nawet wtedy, gdy użytkownicy natychmiast odchodzą (churn). 2. Sterowalność i korelacja: Skuteczna metryka przewodnia koreluje z retencją użytkowników, kondycją produktu oraz monetyzacją i reaguje bezpośrednio na poprawę jakości produktu. Metryk próżności często nie da się powiązać z autentyczną retencją ani stabilnością biznesu, a ponadto są one podatne na sztuczne zawyżanie.

Platform: Vacation Rental App
Vanity Metric: Cumulative app downloads (increases continuously even if 95% of users uninstall immediately).
North Star Metric: Nights booked per active user (reflects actual value exchange between guests and hosts).
Odpowiedz na to pytanie z trenerem AI

9Jaka jest praktyczna różnica między dryfem danych (data drift) a dryfem pojęcia (concept drift) i dlaczego ich prawidłowe sklasyfikowanie jest kluczowe dla utrzymania modelu po wdrożeniu produkcyjnym?

Dryf danych (data drift, często określany jako przesunięcie zmiennych towarzyszących – covariate shift) występuje wtedy, gdy rozkład statystyczny cech wejściowych P(X) zmienia się w czasie, podczas gdy warunkowa zależność między danymi wejściowymi a zmienną docelową P(Y|X) pozostaje bez zmian. Z kolei dryf pojęcia (concept drift) ma miejsce wtedy, gdy zmienia się sama zależność między wejściami a wartością docelową P(Y|X), co oznacza, że identyczne wartości cech odpowiadają teraz innym zachowaniom lub wynikom zmiennej docelowej. Prawidłowa klasyfikacja tych zjawisk jest kluczowa dla utrzymania modelu po wdrożeniu produkcyjnym, ponieważ ścieżki ich naprawy zasadniczo się różnią. W przypadku dryfu danych wzorce historyczne zachowują ważność; działania naprawcze skupiają się na rozszerzeniu pokrycia zbioru treningowego o nowe zakresy cech, aktualizacji przetwarzania wstępnego (preprocessing) lub ponownym ważeniu próbek. W przypadku dryfu pojęcia historyczne etykiety przestają odzwierciedlać aktualny stan faktyczny (ground truth); działania wymagają wówczas zebrania nowych, zaetykietowanych danych, wycofania przestarzałych przykładów historycznych oraz ponownego wytrenowania lub przeprojektowania modelu.

# Data Drift (Covariate Shift):
# User demographics or devices change (P(X) shifts),
# but genuine vs fraudulent transaction patterns remain identical (P(Y|X) unchanged).

# Concept Drift:
# Fraudsters adapt tactics to mimic normal shopping patterns;
# identical feature inputs now have a higher probability of fraud (P(Y|X) shifts).
Odpowiedz na to pytanie z trenerem AI

10Jaka jest różnica między parametrem populacji a statystyką z próby i jak zmienność losowa próby wpływa na interpretację metryk?

Parametr populacji to stała, zazwyczaj nieznana charakterystyka liczbowa całej populacji (taka jak rzeczywista średnia populacji μ lub proporcja p). Statystyka z próby to podsumowanie liczbowe obliczone na podstawie zaobserwowanych danych z próby (takie jak średnia z próby x̄ lub proporcja z próby p̂), służące do oszacowania nieznanego parametru. Zmienność losowa próby (sampling variability) odnosi się do naturalnego zróżnicowania statystyk z próby między różnymi próbami losowymi pobranymi z tej samej populacji. Z powodu zmienności losowej pojedyncza metryka z próby jest obarczona błędem losowym i rzadko dokładnie odpowiada rzeczywistemu parametrowi populacji. W interpretacji metryk nieuwzględnienie tej zmienności prowadzi do mylenia szumu z rzeczywistą zmianą. Analitycy muszą określić ilościowo niepewność estymacji za pomocą błędów standardowych, przedziałów ufności lub testowania hipotez przed wyciągnięciem wniosku, że zaobserwowana różnica jest rzeczywista.

import numpy as np

# True population parameter (mean = 50, standard deviation = 10)
pop_mean = 50.0
pop_std = 10.0

# Draw multiple independent samples of size n=30
np.random.seed(42)
sample_means = [np.mean(np.random.normal(pop_mean, pop_std, size=30)) for _ in range(5)]

for i, sm in enumerate(sample_means, 1):
    print(f"Sample {i} Mean (Statistic): {sm:.2f} | Error: {sm - pop_mean:+.2f}")
Odpowiedz na to pytanie z trenerem AI

Pytania dla średnio zaawansowanych

11Co to jest estymator punktowy i jak obciążenie oraz wariancja wpływają na jego dokładność?

Estymator to statystyka T(X) służąca do oszacowania stałego parametru populacji θ. Jej wartość dla zaobserwowanej próby jest oceną punktową. Przy powtarzanym losowaniu według przyjętego modelu obciążenie wynosi E[T] − θ, a wariancja E[(T − E[T])²]. Przy stracie kwadratowej MSE = Var(T) + Bias(T)². Estymator nieobciążony o dużej wariancji może być niedokładny; estymator lekko obciążony może zmniejszyć MSE. Przykładem jest ściąganie zaszumionych ocen ku wartości odniesienia. Wyniki zależą od modelu losowania i liczebności próby; nie korygują automatycznie błędu pomiaru, doboru próby ani zmiany rozkładu. Podaję również niepewność odpowiednią dla projektu badania.

Odpowiedz na to pytanie z trenerem AI

12Jak zwęzić przedział ufności dla średniej populacji?

Dla niezależnych obserwacji przy zwykłych założeniach dwustronny przedział wynosi średnia ± wartość krytyczna × s/√n, w odpowiednich warunkach z kwantylem t. Około czterokrotnie większa próba zmniejsza błąd standardowy o połowę. Lepszy pomiar, prawidłowe losowanie warstwowe lub uzasadniona korekta o współzmienne mogą zmniejszyć wariancję bez zmiany estymowanej wielkości. Obserwacje skorelowane lub skupione niosą mniej informacji: uwzględniam projekt badania. Niższy poziom ufności zwęża przedział kosztem pokrycia. Nie usuwam niewygodnych obserwacji ani nie dobieram metody do pożądanego wyniku. Wąski przedział może być przesunięty, więc reprezentatywność i założenia są równie ważne.

Odpowiedz na to pytanie z trenerem AI

13Zwróć pierwszy tytuł odtworzony strumieniowo przez każdego użytkownika w każdym dniu kalendarzowym.

Wyznaczam datę sesji w strefie czasowej raportu. Stosuję ROW_NUMBER() z podziałem według user_id i daty oraz porządkiem według początku i stabilnego, unikatowego identyfikatora odtworzenia. Zachowuję pierwszy wiersz i odczytuję tytuł. Ustalam, czy przy jednoczesnym starcie wybrać jeden tytuł zgodnie z poleceniem, czy zmienić regułę i zwrócić wszystkie.

Odpowiedz na to pytanie z trenerem AI

14Jak zaprojektować podział na kohorty do analizy aktywacji lub retencji, aby porównania nie były zaburzone przez zmiany struktury próby (mix shifts) ani ucięcie dojrzałości danych (maturity truncation)?

Aby zaprojektować podział na kohorty, który pozwala uniknąć zmian struktury i ucięcia dojrzałości: 1. **Standaryzacja okien stażu (tenure)**: Wyrównaj kohorty według względnego czasu od dołączenia (np. dzień 0, dzień 7, dzień 30 po rejestracji/aktywacji), a nie dat kalendarzowych, aby zapewnić rzetelne porównanie cyklu życia. 2. **Obsługa ucięcia dojrzałości (cenzurowanie prawostronne)**: Oceniaj wyłącznie kohorty, które w pełni osiągnęły dojrzałość w całym oknie obserwacji. Wyklucz lub jawnie oznacz najnowsze kohorty, które nie miały wystarczająco dużo czasu na ukończenie danego etapu. 3. **Ograniczenie wpływu zmian struktury**: Segmentuj kohorty pod kątem kluczowych czynników zakłócających (takich jak kanał pozyskania, platforma, kraj czy intencja użytkownika). W przypadku raportowania zagregowanych wartości stosuj standaryzację lub ważenie poststratyfikacyjne, aby przesunięcia w proporcjach źródeł pozyskania nie zniekształcały obserwowanego trendu retencji.

WITH user_cohorts AS (
    SELECT 
        user_id,
        DATE_TRUNC('week', signup_time) AS cohort_week,
        signup_time,
        acquisition_channel
    FROM users
    -- Exclude cohorts that have not reached 7 full days of maturity
    WHERE signup_time <= CURRENT_DATE - INTERVAL '7 days'
),
user_activity AS (
    SELECT DISTINCT 
        c.user_id,
        c.cohort_week,
        c.acquisition_channel,
        1 AS retained_d7
    FROM user_cohorts c
    JOIN events e ON c.user_id = e.user_id
    WHERE e.event_time >= c.signup_time + INTERVAL '7 days'
      AND e.event_time < c.signup_time + INTERVAL '8 days'
)
SELECT 
    c.cohort_week,
    c.acquisition_channel,
    COUNT(c.user_id) AS cohort_size,
    COUNT(a.user_id) AS d7_active_users,
    ROUND(100.0 * COUNT(a.user_id) / COUNT(c.user_id), 2) AS d7_retention_pct
FROM user_cohorts c
LEFT JOIN user_activity a ON c.user_id = a.user_id
GROUP BY 1, 2
ORDER BY 1 DESC, 2;
Odpowiedz na to pytanie z trenerem AI

15Podczas ewaluacji Twój model osiąga nietypowo wysoką wartość metryki, np. AUC (Area Under the Curve) na poziomie 0,99, ale jego wydajność gwałtownie spada w testach cieniowych (shadow testing). Jak systematycznie wyizolować i zweryfikować wyciek zmiennej docelowej (target leakage)?

Gdy model osiąga nierealistycznie wysoką metrykę offline (np. AUC na poziomie 0,99), która gwałtownie spada w rzeczywistych testach cieniowych, głównym podejrzanym jest wyciek zmiennej docelowej (target leakage). Systematyczny proces izolacji i weryfikacji obejmuje: 1. Ważność i atrybucję cech (Feature Importance & Attribution): Obliczenie wartości SHAP, ważności opartej na zysku (gain importance) lub ważności permutacyjnej, aby zidentyfikować cechy o dominującej sile predykcyjnej. 2. Modele jednocechowe i badania ablacyjne (Ablation Studies): Wytrenowanie prostych modeli opartych na pojedynczej cesze (np. płytkich drzew decyzyjnych lub regresji logistycznej) dla poszczególnych podejrzanych cech. Jeśli pojedyncza cecha osiąga niemal idealną klasyfikację, prawdopodobnie powoduje wyciek zmiennej docelowej. Następnie sekwencyjne usuwanie (ablacja) podejrzanych cech i mierzenie spadku jakości offline. 3. Audyt relacji czasowych i znaczników czasu (Temporal & Timestamp Lineage): Sprawdzenie dokładnych znaczników czasu utworzenia/aktualizacji cech w odniesieniu do punktu odcięcia predykcji (prediction cutoff timestamp). Weryfikacja, czy wartość cechy mogła być znana dopiero po wystąpieniu zdarzenia docelowego (np. pole `cancellation_reason` lub `refund_status` uzupełniane po odejściu klienta lub obciążeniu zwrotnym). 4. Weryfikację pochodzenia danych i inżynierii danych: Przegląd nadrzędnego potoku danych oraz logiki modyfikacji tabel (np. tabele mutowalne aktualizowane w miejscu w porównaniu z niemutowalnymi dziennikami dopisywania danych - append-only), aby zweryfikować, kiedy dokładnie pola są wypełniane.

from sklearn.metrics import roc_auc_score
from sklearn.tree import DecisionTreeClassifier

leakage_candidates = {}
for col in X_train.columns:
    clf = DecisionTreeClassifier(max_depth=2)
    clf.fit(X_train[[col]], y_train)
    preds = clf.predict_proba(X_test[[col]])[:, 1]
    auc = roc_auc_score(y_test, preds)
    if auc > 0.85:
        leakage_candidates[col] = auc

print("Candidate Leaky Features:", leakage_candidates)
Odpowiedz na to pytanie z trenerem AI

16Jak decydujesz o wyborze między standardową walidacją krzyżową K-Fold, Stratified K-Fold a Group K-Fold podczas ewaluacji ustrukturyzowanych danych ze świata rzeczywistego?

Wybór pomiędzy standardową walidacją K-Fold, Stratified K-Fold a Group K-Fold zależy od rozkładu zmiennej docelowej oraz niezależności wierszy: 1. Standardowy K-Fold: Dzieli dane losowo na K równych podzbiorów (folds). Zakłada, że obserwacje są niezależne i pochodzą z tego samego rozkładu (IID – independent and identically distributed), i jest zazwyczaj stosowany w przypadku ciągłych zmiennych w regresji lub dobrze zbalansowanych zbiorów danych. 2. Stratified K-Fold: Zapewnia, że każdy podzbiór zachowuje taki sam procentowy udział klas zmiennej docelowej jak cały zbiór danych. Jest kluczowy w zadaniach klasyfikacji, zwłaszcza przy niezrównoważeniu klas, aby uniknąć sytuacji, w której podzbiory zawierają zbyt mało próbek klasy mniejszościowej lub nie zawierają ich wcale. 3. Group K-Fold: Zapewnia, że odrębne grupy/obiekty (np. `user_id`, `patient_id`, `device_id`) nie pojawiają się jednocześnie w podzbiorze treningowym i walidacyjnym. Gdy wiele obserwacji pochodzi od tego samego obiektu, standardowy podział prowadzi do poważnego wycieku danych (data leakage), ponieważ model zapamiętuje cechy specyficzne dla danego obiektu zamiast uczyć się sygnałów uogólniających. Group K-Fold pozwala ocenić, jak dobrze model uogólnia wiedzę na całkowicie nowe, niewidziane wcześniej obiekty.

from sklearn.model_selection import KFold, StratifiedKFold, GroupKFold, StratifiedGroupKFold

# Standard IID Regression:
cv_kfold = KFold(n_splits=5, shuffle=True, random_state=42)

# Imbalanced Classification (IID samples):
cv_strat = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)

# Grouped entities (e.g., repeated patient visits):
cv_group = GroupKFold(n_splits=5)

# Grouped entities with target imbalance:
cv_strat_group = StratifiedGroupKFold(n_splits=5)
Odpowiedz na to pytanie z trenerem AI

17Jak dokonać wyboru między regresją logistyczną, drzewami decyzyjnymi wzmacnianymi gradientowo (Gradient Boosted Decision Trees) a nieliniowymi architekturami neuronowymi do klasyfikacji danych tabelarycznych przy ograniczeniach opóźnień i dryfu danych?

Wybór między regresją logistyczną (LR – Logistic Regression), drzewami decyzyjnymi wzmacnianymi gradientowo (GBDT – Gradient Boosted Decision Trees) a sieciami neuronowymi (NN – Neural Networks) w przypadku klasyfikacji danych tabelarycznych wymaga zrównoważenia mocy predykcyjnej, budżetu opóźnień wnioskowania (inference latency), interpretowalności oraz odporności na dryf danych. 1. Regresja logistyczna doskonale sprawdza się w środowiskach o bardzo niskich opóźnieniach (<1–5 ms dla 99. percentyla) i mocno ograniczonych zasobach obliczeniowych. Ponieważ jej predykcja sprowadza się do prostego iloczynu skalarnego, jest niezwykle szybka i stabilna. W warunkach dryfu kowariancji (covariate drift) lub wartości cech spoza rozkładu modele liniowe ekstrapolują monotonicznie, co może być przewidywalne lub niebezpieczne w zależności od uregularyzowanych współczynników kierunkowych, ale rzadko wykazują niestabilne zachowania schodkowe. LR wymaga jednak obszernej ręcznej inżynierii cech (interakcje, nieliniowe dyskretyzowanie), aby dorównać architekturom nieliniowym. 2. Modele GBDT (np. XGBoost, LightGBM, CatBoost) są domyślnym standardem branżowym dla danych tabelarycznych. Natywnie wychwytują złożone nieliniowe interakcje i bezproblemowo obsługują mieszane typy danych oraz brakujące wartości. Pod względem opóźnień zoptymalizowane GBDT (lub skompilowane za pomocą Treelite/ONNX) bez trudu spełniają wymagania SLA poniżej 10 ms. W przypadku dryfu GBDT nie mogą ekstrapolować poza granice zaobserwowane podczas treningu (ograniczając predykcje na liściach brzegowych), co stanowi wbudowany mechanizm bezpieczeństwa przed skrajną ekstrapolacją, ale stwarza ryzyko nieaktualnych predykcji schodkowych, jeśli rozkłady cech ulegną znacznej zmianie. 3. Architektury neuronowe (np. FT-Transformer, TabNet, MLP) są preferowane, gdy dane tabelaryczne mają charakter multimodalny (są łączone z tekstem, wektorami zanurzeń [embeddings] lub obrazami) bądź w scenariuszach ciągłego uczenia online. Jednak czyste sieci neuronowe dla danych tabelarycznych cechują się zwykle wyższymi opóźnieniami wnioskowania (wymagają mnożenia macierzy przez kolejne warstwy lub akceleracji GPU), są bardziej wymagające obliczeniowo w treningu i wykazują dużą wrażliwość na nieskalowane dane wejściowe oraz dryf kowariancji. W praktyce: Rozpocznij od GBDT jako silnego punktu odniesienia pod względem wydajności predykcyjnej; jeśli wymagane są rygorystyczne mikrosekundowe opóźnienia lub prosta interpretowalność, wdróż LR; sieci neuronowe stosuj głównie do architektur multimodalnych lub transferu reprezentacji wektorowych.

decision_matrix = {
    "Logistic Regression": {"Latency": "<1ms (Ultra-low)", "Drift Behavior": "Linear extrapolation", "Tabular Baseline": "Moderate (needs feature engineering)"},
    "GBDT (XGB/LightGBM)": {"Latency": "1-15ms (Fast)",      "Drift Behavior": "Leaf clamping (no extrapolation)", "Tabular Baseline": "State of the Art"},
    "Tabular Neural Net":  {"Latency": "10-50ms+ (Higher)",    "Drift Behavior": "Nonlinear extrapolation", "Tabular Baseline": "Competitive / High tuning cost"}
}
for model, traits in decision_matrix.items():
    print(f"{model}: Latency={traits['Latency']}, Tabular Perf={traits['Tabular Baseline']}")
Odpowiedz na to pytanie z trenerem AI

Pytania dla doświadczonych

18Jak oszacować średnią dla rozkładu docelowego, losując z innego rozkładu metodą próbkowania ważnościowego, i kiedy ta metoda zawodzi?

Dla znormalizowanej gęstości docelowej p i propozycji q ważę przez w(x) = p(x)/q(x). Średnia w(Xi)f(Xi) szacuje E_p[f], gdy q pokrywa istotny nośnik i wartość oczekiwana istnieje. Dla p znanego z dokładnością do stałej używam Σwi f(Xi)/Σwi; przy skończonej próbie ocena jest zwykle obciążona, ale może być zgodna. Gdy q jest zerowe w obszarze istotnej masy p, zwiększenie próby nie pomoże. Słabe pokrycie lub niedopasowane ogony skupiają wagę w kilku obserwacjach. Sprawdzam koncentrację, efektywną liczebność i niepewność; ulepszam propozycję lub używam mieszanin.

Odpowiedz na to pytanie z trenerem AI

19Jak zaprojektowałbyś architekturę scentralizowanej warstwy semantycznej w korporacyjnej hurtowni danych, aby zapewnić spójne definicje metryk biznesowych pomiędzy różnymi zespołami analitycznymi?

Zaprojektowanie scentralizowanej warstwy semantycznej w korporacyjnej hurtowni danych wymaga wdrożenia deklaratywnej, opartej na kodzie warstwy definicji metryk (takiej jak MetricFlow/dbt Semantic Layer, Cube lub LookML), która oddziela logikę biznesową od fizycznej warstwy przechowywania danych oraz narzędzi konsumujących dane (platformy BI, notatniki Python/R, interfejsy API). Główna architektura definiuje encje, wymiary, miary i metryki pochodne w repozytoriach objętych kontrolą wersji (Git), zapewniając jedno źródło prawdy (single source of truth) oraz wymuszając spójność metryk pomiędzy zespołami. Aby obsłużyć architekturę wielodostępną (multi-tenancy) i ład korporacyjny (governance) w różnych jednostkach biznesowych, należy zastosować federacyjny model zarządzania: kluczowe korporacyjne wskaźniki KPI (np. ARR, aktywni użytkownicy) są zarządzane przez centralny zespół data governance, natomiast metryki specyficzne dla danej domeny są utrzymywane przez zdecentralizowane zespoły domenowe za pomocą wyizolowanych modeli semantycznych z walidacją CI/CD. Warstwa semantyczna udostępnia następnie ustandaryzowane interfejsy zapytań (SQL, GraphQL, REST) ze zunifikowaną kontrolą dostępu opartą na rolach (RBAC) oraz mechanizmami buforowania i wstępnej agregacji, co pozwala utrzymać wysoką wydajność i spójność danych.

semantic_model:
  name: orders
  node_relation:
    alias: fct_orders
  dimensions:
    - name: order_date
      type: time
      type_params:
        time_granularity: day
    - name: country
      type: categorical
  measures:
    - name: total_revenue
      expr: revenue_usd
      agg: sum
    - name: distinct_buyers
      expr: user_id
      agg: count_distinct

metrics:
  - name: average_order_value
    description: "Governed metric for AOV across all BI tools"
    type: ratio
    type_params:
      numerator: total_revenue
      denominator: distinct_buyers
Odpowiedz na to pytanie z trenerem AI

20Jak zaprojektowałbyś eksperyment na rynku dwustronnym (two-sided marketplace, takim jak platforma ride-sharingowa lub e-commerce) w celu ewaluacji zmiany algorytmu dopasowywania, uwzględniając kanibalizację popytu i podaży oraz interferencję czasowo-przestrzenną?

Na rynkach dwustronnych ocena algorytmów dopasowywania za pomocą standardowych testów A/B na poziomie użytkowników narusza założenie o braku interferencji między jednostkami SUTVA (Stable Unit Treatment Value Assumption). Gdy jednostki z grupy eksperymentalnej zużywają ograniczone, współdzielone zasoby (np. kierowców lub stan magazynowy), kanibalizują one jednostki z grupy kontrolnej, co prowadzi do sztucznej degradacji grupy kontrolnej i zawyżenia obserwowanego efektu eksperymentu na skutek przesunięć równowagi rynkowej. Aby rozwiązać problem interferencji przestrzennej i czasowej, stosuje się dwie główne architektury eksperymentalne: randomizację klastrową oraz eksperymenty naprzemienne (switchback). W randomizacji klastrowej w przestrzeni rynki geograficzne lub odizolowane podobszary (np. oddzielne obszary metropolitalne lub podzielone na grafie heksagonalne komórki przestrzenne) są losowo przydzielane do grupy eksperymentalnej lub kontrolnej. Izoluje to bezpośrednie interakcje podaży i popytu, chociaż wymaga metod takich jak syntetyczne grupy kontrolne (synthetic controls) czy różnica w różnicach (difference-in-differences) do skompensowania heterogeniczności między rynkami. W eksperymentach typu switchback całe wyizolowane rynki naprzemiennie korzystają z algorytmu eksperymentalnego i kontrolnego w określonych oknach czasowych (np. co 1–2 godziny). Eksperymenty naprzemienne utrzymują wspólny bilans popytu i podaży na rynku w ramach każdego okna, ale wprowadzają obciążenie wynikające z efektu przeniesienia (carryover bias). Aby ograniczyć ten efekt w eksperymentach switchback, wprowadza się okresy buforowe lub przejściowe (washout periods) między oknami czasowymi (odrzucając zamówienia złożone w trakcie przejścia) oraz dobiera długość okien tak, aby była wystarczająca do zaabsorbowania repozycjonowania podaży, a jednocześnie wystarczająco krótka, by zachować moc statystyczną. Analiza musi uwzględniać błędy skorelowane szeregowo w szeregach czasowych poprzez klastrowanie błędów standardowych na poziomie bloków czasowych/rynków lub stosowanie uogólnionych równań estymacyjnych GEE (Generalized Estimating Equations) oraz estymatorów wariancji Neweya-Westa.

import pandas as pd
import numpy as np

def generate_switchback_schedule(n_days=14, window_minutes=60, washout_minutes=15):
    total_windows = int((n_days * 24 * 60) / window_minutes)
    np.random.seed(42)
    treatments = np.random.binomial(1, 0.5, size=total_windows)
    schedule = []
    for i, trt in enumerate(treatments):
        start_min = i * window_minutes
        eval_start_min = start_min + washout_minutes
        end_min = (i + 1) * window_minutes
        schedule.append({
            'window_id': i,
            'treatment': trt,
            'start_min': start_min,
            'eval_start_min': eval_start_min,
            'end_min': end_min
        })
    return pd.DataFrame(schedule)
Odpowiedz na to pytanie z trenerem AI

Ćwicz rozmowy kwalifikacyjne na telefonie: Specjalista ds. nauki o danych

Odpowiadaj na głos i otrzymuj wskazówki AI w aplikacji na Androida.

Pobierz EngineerSpeak z Google Play
Zeskanuj, aby pobrać