20 usein kysyttyä Data Scientist -haastattelukysymystä. Data science on kysytty ala, joka muuttaa tuote-, asiakas- ja liiketoimintadatan päätöksiksi, kokeiluiksi, malleiksi ja mitattaviksi oivalluksiksi. Kysymykset kattavat eri tasot, ja voit harjoitella niihin vastaamista ääneen haastatteluharjoittajassamme.
1Miten kovarianssi ja korrelaatio eroavat kahden numeerisen muuttujan vertailussa?
Kovarianssi E[(X − E[X])(Y − E[Y])] tai vastaava otostunnus kertoo, ovatko poikkeamat keskiarvoista yleensä samanmerkkisiä. Suuruus riippuu yksiköistä. Pearsonin korrelaatio jakaa kovarianssin keskihajontojen tulolla ja on positiivisilla variansseilla yksikötön luku väliltä −1 ja 1. Positiivinen lineaarinen skaalaus ei muuta korrelaatiota, yhden muuttujan merkin vaihto kääntää sen. Kumpikaan ei osoita syy-yhteyttä. Nolla ei takaa riippumattomuutta, sillä epälineaarinen yhteys voi olla lineaarisesti korreloimaton. Tarkistan hajontakuvion, poikkeavat havainnot ja alaryhmät. Monotoniseen yhteyteen harkitsen järjestyskorrelaatiota.
2Mitä käsitteellistä eroa on sisäliitoksella (inner join), vasemmalla liitoksella (left join), oikealla liitoksella (right join) ja täydellä ulkoliitoksella (full outer join), ja miten kukin valinta vaikuttaa analysoitavaan perusjoukkoon sekä null-arvojen käsittelyyn jatkolaskennassa?
Sisäiset ja ulkoiset liitokset määrittävät, mitkä tietueet säilytetään, kun tauluja yhdistetään vastaavien avainten perusteella:
- Sisäliitos (Inner Join): Säilyttää vain ne tietueet, joiden liitosavain täsmää molemmissa tauluissa.
- Vasen ulkoliitos (Left Outer Join): Säilyttää kaikki tietueet vasemmasta taulusta ja asettaa oikean taulun sarakkeisiin NULL-arvon, jos vastaavuutta ei löydy.
- Oikea ulkoliitos (Right Outer Join): Säilyttää kaikki tietueet oikeasta taulusta ja asettaa vasemman puolen puuttuviin sarakkeisiin NULL-arvon.
- Täysi ulkoliitos (Full Outer Join): Säilyttää kaikki tietueet molemmista tauluista ja asettaa NULL-arvot kummalle tahansa puolelle, jos vastaavuutta ei ole.
Analysoitava perusjoukko ja vaikutus jatkolaskentaan:
Liitostyypin valinta määrittää suoraan analysoitavan kohortin ja mittareiden laskennassa käytettävät nimittäjät. Tahaton sisäliitos käyttäjäkannan ja aktiviteetti-/tapahtumataulun välillä pudottaa passiiviset käyttäjät pois, mikä supistaa nimittäjän vain aktiivisiin käyttäjiin ja vääristää konversio- tai pysyvyysasteita keinotekoisen korkeiksi. Ulkoliitokset puolestaan säilyttävät koko perusjoukon, mutta tuovat mukaan NULL-arvoja riveille, joille ei löydy vastinetta. Jatkolaskennassa nämä NULL-arvot on otettava huomioon: standardit SQL-koostefunktiot kuten `SUM()` tai `AVG()` ohittavat NULL-arvot, `COUNT(sarake)` laskee vain ei-NULL-arvot samalla kun `COUNT(*)` laskee kaikki rivit, ja aritmeettiset operaatiot käsittelemättömille NULL-arvoille palauttavat tulokseksi NULL.
-- Inner join silently shrinks denominator to purchasers only
SELECT COUNT(o.order_id) * 1.0 / COUNT(u.user_id) AS inner_conv_rate
FROM users u
INNER JOIN orders o ON u.user_id = o.user_id;
-- Left join preserves full user base for accurate metric computation
SELECT COUNT(o.order_id) * 1.0 / COUNT(u.user_id) AS true_conv_rate
FROM users u
LEFT JOIN orders o ON u.user_id = o.user_id;
3In product experimentation, what does randomization achieve that simple before-after comparison usually cannot, and how would you explain the core causal claim an A/B test is designed to support?
In product experimentation, a simple before-after comparison compares metrics across different time periods, which confounds the effect of a feature change with external temporal factors such as seasonality, day-of-week patterns, concurrent marketing campaigns, macro trends, and natural user maturation. Randomization assigns eligible units simultaneously to treatment and control groups, balancing both observed and unobserved confounding variables across groups in expectation. This establishes internal validity. The core causal claim supported by an A/B test relies on counterfactual reasoning: because the control group is subjected to the exact same external conditions over the exact same time window, it serves as an empirical estimate of the counterfactual—what would have happened to the treatment group had they not received the feature. Therefore, any statistically significant difference in outcomes can be causally attributed to the treatment intervention.
# Naive Before-After Comparison:
# Effect_estimate = Metric_t1 (Holiday Launch) - Metric_t0 (Pre-Holiday Baseline)
# Problem: Lift is confounded by holiday shopping surge and marketing spend.
# Randomized A/B Test:
# Effect_estimate = E[Metric_Holiday | Treatment] - E[Metric_Holiday | Control]
# Solution: Both arms experience the exact same external shocks simultaneously.
4Mitä eksploratiivisella data-analyysillä eli EDA-menetelmällä (Exploratory Data Analysis) tyypillisesti pyritään saavuttamaan ennen virallista mallinnusta tai testausta, ja miten EDA eroaa konfirmatorisesta analyysistä?
Eksploratiivinen data-analyysi (EDA, Exploratory Data Analysis) on avoin prosessi, jonka tavoitteena on ymmärtää datajoukon taustalla oleva rakenne, havaita säännönmukaisuuksia, tunnistaa poikkeamat tai datan laatuongelmat, arvioida jakaumaoletuksia ja muodostaa hypoteeseja ennen virallisten tilastollisten mallien rakentamista tai kokeiden suorittamista.
Keskeinen ero EDA:n ja konfirmatorisen analyysin välillä liittyy niiden tavoitteeseen ja menetelmään: EDA on hypoteeseja generoivaa, joustavaa ja tutkivaa – se hyödyntää kuvailevia tunnuslukuja, korrelaatioita ja visualisointeja datan tutkimiseen ilman tiukkoja ennakko-oletuksia. Sen sijaan konfirmatorinen analyysi (kuten hypoteesitestaus tai A/B-testin arviointi) on hypoteeseja testaavaa, strukturoitua ja päättelevää – sen tarkoituksena on testata ennalta määriteltyjä, falsifioitavissa olevia hypoteeseja halliten samalla tilastollisia virhetasoja (kuten tyypin I virhettä). EDA:n aikana tehtyjen havaintojen käsitteleminen vahvistettuina johtopäätöksinä samasta datajoukosta voi johtaa virheellisiin tilastollisiin löydöksiin (p-hacking) ja ylisovittumiseen.
import numpy as np
import pandas as pd
# 1. EDA Phase: Open-ended discovery and hypothesis generation
df = pd.DataFrame({'engagement_score': np.random.normal(50, 10, 1000)})
summary = df['engagement_score'].describe()
# 2. Confirmatory Phase: Testing pre-registered hypothesis on fresh test/experiment data
# (e.g., two-sample t-test with fixed significance level alpha = 0.05)
5Mitä kohdevuoto (target leakage) tarkoittaa ohjatussa oppimisessa, ja miten se eroaa piirteen ja kohdeluokan välisestä oikeutetusta vahvasta korrelaatiosta?
Kohdevuoto tapahtuu, kun mallin koulutuksessa käytetty piirre sisältää sellaista tietoa kohdeluokasta, jota ei todellisuudessa olisi saatavilla päättelyvaiheessa (inference time), kun malli tekee ennusteita tuotantoympäristössä. Näin käy usein silloin, kun piirteen data kerätään ajallisesti tarkasteltavan tapahtuman jälkeen tai se on suora seuraus kohdetuloksesta (kuten tilin peruutuksen aikaleiman tai hyvitystunnisteen käyttäminen asiakaspoistuman ennustamiseen). Sitä vastoin oikeutettu vahva korrelaatio heijastaa aitoa, ennestään olemassa olevaa ennustavaa tai kausaalista suhdetta, joka tunnetaan ja on käytettävissä täysin ennen ennustehetkeä (kuten asiakkaan kirjautumistiheys viimeisten 30 päivän aikana). Vaikka molemmat tuottavat korkean piirteen tärkeyden (feature importance) tai hyvät arviointimittarit, kohdevuotoa sisältävä malli saavuttaa epärealistisen korkeat validointitulokset offline-tilassa, mutta epäonnistuu tuotannossa, koska vuotanutta piirrettä ei voida tietää päättelyhetkellä.
# Scenario: Predicting whether a user will cancel their subscription (is_churned)
# LEAKY FEATURE:
# 'cancellation_survey_submitted' -> Occurs after the decision to churn has executed.
# LEGITIMATE FEATURE:
# 'login_count_last_30_days' -> Observed strictly before the prediction cut-off date.
6Mikä on datan jakamisen tarkoitus opetus-, validointi- ja testijoukkoihin, ja miten kunkin osajoukon tulisi ohjata iteratiivista mallinkehitystä?
Datan jakaminen opetus-, validointi- ja testijoukkoihin erottaa mallin sovittamisen, hyperparametrien virittämisen ja loppuarvioinnin toisistaan, jotta varmistetaan mallin yleistyminen uuteen, aiemmin näkemättömään dataan.
- Opetusjoukko (training set): Käytetään mallin sisäisten parametrien sovittamiseen (esim. neuroverkkojen painot ja biakset tai päätöspuiden jakokynnykset).
- Validointijoukko (validation set): Käytetään iteratiivisen kehityksen aikana mallin valintaan, hyperparametrien virittämiseen, piirteiden valintaan ja ylisovittumisen havaitsemiseen. Se ohjaa päätöksiä siitä, mikä malliarkkitehtuuri tai konfiguraatio toimii parhaiten, ilman että kosketaan lopulliseen arviointidataan.
- Testijoukko (test set): Toimii ehdottoman erillisenä vastineena tuotannon näkemättömälle datalle. Sitä arvioidaan vain kerran aivan projektin lopussa, jotta saadaan puolueeton arvio yleistysvirheestä. Mallien uudelleenvirittäminen testijoukon tulosten perusteella mitätöi sen objektiivisuuden ja aiheuttaa liian optimistisen harhan.
from sklearn.model_selection import train_test_split
from sklearn.datasets import make_classification
X, y = make_classification(n_samples=1000, n_features=10, random_state=42)
# Step 1: Split off final test set (20%)
X_dev, X_test, y_dev, y_test = train_test_split(
X, y, test_size=0.20, random_state=42, stratify=y
)
# Step 2: Split remaining development data into train (75% of dev = 60% total) and validation (25% of dev = 20% total)
X_train, X_val, y_train, y_val = train_test_split(
X_dev, y_dev, test_size=0.25, random_state=42, stratify=y_dev
)
print(f"Train size: {len(X_train)}, Val size: {len(X_val)}, Test size: {len(X_test)}")
7Mitä eroa on ohjatulla ja ohjaamattomalla oppimisella, ja miten luokkatiedon (labels) saatavuus sekä liiketoimintatavoitteet määrittävät valittavan paradigman?
Ohjatun oppimisen algoritmit oppivat matemaattisen kuvauksen syötepiirteistä (X) tunnettuihin kohdeluokkiin (y) hyödyntäen leimattua historiadataa ennustaakseen tuloksia uusille havainnoille. Ohjaamaton oppiminen puolestaan analysoi pelkkiä piirteitä (X) sisältävää dataa löytääkseen siitä sisäisiä rakenteita, luonnollisia ryhmittymiä (klusterointi) tai tiivistettyjä esitysmuotoja ilman ennalta määriteltyjä kohdeluokkia. Paradigman valintaa ohjaavat luokkatiedon saatavuus ja liiketoimintatavoitteet: jos todelliset leimat ovat olemassa tai kerättävissä ja liiketoiminnan tavoitteena on kohdennettu ennustaminen (esim. petosten havaitseminen, asiakaspoistuman ennustaminen tai hintaennusteet), ohjattu oppiminen on oikea valinta. Jos leimattua dataa ei ole saatavilla, sen hankkiminen on kohtuuttoman kallista tai tavoitteena on avoin tutkimus ja kartoitus (esim. asiakassegmentointi tai poikkeamien havaitseminen ilman tunnettuja leimoja), valitaan ohjaamaton oppiminen.
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.cluster import KMeans
X = np.array([[10, 2], [12, 3], [1, 8], [2, 9]])
y = np.array([0, 0, 1, 1])
# Supervised: Learns mapping X -> y
clf = LogisticRegression().fit(X, y)
# Unsupervised: Discovers clusters directly from X
kmeans = KMeans(n_clusters=2, random_state=42, n_init=10).fit(X)
8Mikä on North Star Metric (pohjantähtimetriikka), ja miten toimiva North Star -metriikka erotetaan turhamaisuusmetriikasta (vanity metric) tuotteen tilaa arvioitaessa?
North Star Metric (NSM, pohjantähtimetriikka) on ensisijainen mittari, joka kuvaa parhaiten tuotteen käyttäjilleen tuottamaa ydinarvoa ja tukee samalla kestävää liiketoiminnan kasvua (esim. Airbnb:n ”varatut yöt” tai musiikkipalvelun ”viikoittaiset aktiiviset kuuntelutunnit”). Se ohjaa tuotetiimejä keskittymään pitkän aikavälin asiakasarvoon näennäisen kasvun sijaan. Toimivan pohjantähtimetriikan erottaminen turhamaisuusmetriikasta: 1. Arvonmukaisuus (Value Alignment): Toimiva pohjantähtimetriikka heijastaa käyttäjän todellista hyötyä ja aktiivista sitoutumista, kun taas turhamaisuusmetriikka mittaa näennäistä volyymia (kuten rekisteröityneiden käyttäjien kokonaismäärää, kumulatiivisia sovelluslatauksia tai sivun näyttökertoja), joka voi kasvaa, vaikka käyttäjät poistuisivat palvelusta heti. 2. Toiminnallisuus ja korrelaatio (Actionability and Correlation): Toimiva pohjantähtimetriikka korreloi käyttäjien pysyvyyden, tuotteen kunnon ja kaupallistamisen kanssa sekä reagoi suoraan tuotteen laadun parannuksiin. Turhamaisuusmetriikoita ei useinkaan voida liittää aitoon sitoutumiseen tai liiketoiminnan terveyteen, ja ne ovat alttiita keinotekoiselle paisumiselle.
Platform: Vacation Rental App
Vanity Metric: Cumulative app downloads (increases continuously even if 95% of users uninstall immediately).
North Star Metric: Nights booked per active user (reflects actual value exchange between guests and hosts).
9Mikä on käytännön ero datan vääristymän (data drift) ja käsitteen vääristymän (concept drift) välillä, ja miksi niiden oikea luokittelu on olennaista mallin tuotannonaikaisessa ylläpidossa?
Datan vääristymä (data drift, usein nimeltään kovariaattimuutos eli covariate shift) tapahtuu, kun syötepiirteiden tilastollinen jakauma P(X) muuttuu ajan myötä, mutta syötteiden ja kohdemuuttujan välinen ehdollinen suhde P(Y|X) pysyy ennallaan. Sen sijaan käsitteen vääristymä (concept drift) tapahtuu, kun syötteiden ja kohdemuuttujan välinen taustalla oleva suhde P(Y|X) muuttuu, mikä tarkoittaa, että identtiset piirrearvot vastaavat nyt eri kohdekäyttäytymistä tai -tuloksia.
Niiden oikea luokittelu on elintärkeää tuotantovaiheen ylläpidossa, koska niiden korjaustoimenpiteet eroavat toisistaan perustavanlaatuisesti. Datan vääristymässä historialliset kaavat pysyvät pätevinä; ylläpito keskittyy koulutuskattavuuden laajentamiseen uusille piirrealueille, esikäsittelyn päivittämiseen tai näytteiden uudelleenpainotukseen. Käsitteen vääristymässä historialliset leimat eivät enää vastaa nykyistä todellisuutta (ground truth); ylläpito vaatii uuden leimatun datan keräämistä, vanhentuneiden historiallisen esimerkkien poistamista ja mallin uudelleenkouluttamista tai uudelleensuunnittelua.
# Data Drift (Covariate Shift):
# User demographics or devices change (P(X) shifts),
# but genuine vs fraudulent transaction patterns remain identical (P(Y|X) unchanged).
# Concept Drift:
# Fraudsters adapt tactics to mimic normal shopping patterns;
# identical feature inputs now have a higher probability of fraud (P(Y|X) shifts).
10Mitä eroa on populaatioparametrilla ja otostunnusluvulla, ja miten otantavaihtelu vaikuttaa metriikoiden tulkintaan?
Populaatioparametri on koko populaation kiinteä, yleensä tuntematon numeerinen ominaisuus (kuten todellinen populaation keskiarvo μ tai osuus p). Otostunnusluku puolestaan on havaitusta otosdatasta laskettu numeerinen yhteenveto (kuten otoskeskiarvo x̄ tai otososuus p̂), jota käytetään tuntemattoman parametrin arviointiin. Otantavaihtelu tarkoittaa otostunnuslukujen luonnollista vaihtelua samasta populaatiosta poimittujen eri satunnaisotosten välillä. Otantavaihtelun vuoksi mikä tahansa yksittäinen otosmetriikka sisältää satunnaisvirhettä eikä harvoin vastaa tarkalleen todellista populaatioparametria. Metriikoiden tulkinnassa tämän vaihtelun huomiotta jättäminen johtaa kohinan sekoittamiseen todelliseen muutokseen. Analyytikkojen on kvantifioitava arvioinnin epävarmuus keskivirheiden, luottamusvälien tai hypoteesitestauksen avulla ennen kuin havaitun eron voidaan päätellä olevan todellinen.
import numpy as np
# True population parameter (mean = 50, standard deviation = 10)
pop_mean = 50.0
pop_std = 10.0
# Draw multiple independent samples of size n=30
np.random.seed(42)
sample_means = [np.mean(np.random.normal(pop_mean, pop_std, size=30)) for _ in range(5)]
for i, sm in enumerate(sample_means, 1):
print(f"Sample {i} Mean (Statistic): {sm:.2f} | Error: {sm - pop_mean:+.2f}")
11Mikä on piste-estimaattori ja miten harha ja varianssi vaikuttavat sen tarkkuuteen?
Estimaattori on tunnusluku T(X), jolla arvioidaan perusjoukon kiinteää parametria θ. Yhdestä havaitusta otoksesta saatu luku on piste-estimaatti. Toistuvassa mallin mukaisessa otannassa harha on E[T] − θ ja varianssi E[(T − E[T])²]. Neliövirhetappiolla MSE = Var(T) + Bias(T)². Harhatonkin estimaattori voi olla epätarkka, jos varianssi on suuri. Kohinaisten estimaattien kutistaminen kohti viitearvoa tuo harhaa mutta voi varianssin pienentyessä vähentää MSE:tä. Ominaisuudet riippuvat otantamallista ja otoskoosta; ne eivät itsestään korjaa mittausvirhettä, valikoitumista tai jakauman muutosta. Pistearvion rinnalle annan asetelmaan sopivan epävarmuusarvion.
12Miten perusjoukon keskiarvon luottamusväliä voi kaventaa?
Riippumattomille havainnoille tavallisin oletuksin kaksipuolinen väli on keskiarvo ± kriittinen arvo × s/√n; tarvittaessa käytän t-kvantiilia. Noin nelinkertainen määrä riippumattomia havaintoja puolittaa keskivirheen. Tarkempi mittaus, hyvä ositettu otanta tai perusteltu kovariaattikorjaus voi pienentää varianssia muuttamatta tavoitesuuretta. Korreloivat tai ryvästyneet havainnot tuovat vähemmän tietoa, joten huomioin otanta-asetelman. Luottamustason alentaminen kaventaa väliä peittävyyden kustannuksella. En poista hankalia havaintoja enkä valitse menetelmää tavoitellun tuloksen perusteella. Kapeakin väli voi olla harhaisen arvion ympärillä; edustavuudella ja oletuksilla on väliä.
13Palauta kullekin käyttäjälle ensimmäinen nimike, jonka hän aloitti suoratoistossa kunakin kalenteripäivänä.
Muodostan istunnon päivämäärän raportin aikavyöhykkeessä. Käytän ROW_NUMBER()-funktiota osittaen user_id:n ja päivämäärän mukaan ja järjestäen alkamisajan ja pysyvän yksilöivän toistotunnisteen mukaan. Säilytän ensimmäisen rivin ja haen nimikkeen. Sovin, valitaanko yhtäaikaisista aloituksista tehtävän mukaisesti yksi vai palautetaanko kaikki eri säännöllä.
14Miten suunnittelisit kohorttijaot aktivointi- tai pysyvyystutkimusta varten varmistaaksesi, etteivät jakaumamuutokset (mix shifts) tai kypsyyskatkaisut (maturity truncation) vääristä vertailuja?
Kohorttijakojen suunnittelu jakaumamuutosten ja kypsyyskatkaisujen välttämiseksi: 1. **Standardoi tarkastelujaksot (Tenure Windows)**: Kohdista kohortit suhteellisen elinkaariajan perusteella (esim. Päivä 0, Päivä 7, Päivä 30 rekisteröitymisen/aktivoinnin jälkeen) kalenteripäivien sijaan, jotta elinkaarivertailut ovat tasapuolisia. 2. **Käsittele kypsyyskatkaisut (oikealta sensurointi)**: Analysoi vain kohortteja, jotka ovat kypsyneet täysin koko havainnointijakson yli. Jätä pois tai merkitse eksplisiittisesti tuoreet kohortit, joilla ei ole vielä ollut riittävästi aikaa saavuttaa virstanpylvästä. 3. **Lievennä jakaumamuutoksia (Mix Shifts)**: Segmentoi kohortit olennaisten sekoittavien tekijöiden mukaan (kuten hankintakanava, alusta, maa tai käyttäjän käyttötarkoitus). Jos raportoit yhdistettyä kokonaislukua, käytä standardointi- tai jälkiosituspainotusta (post-stratification), jotta hankintakanavajakauman muutokset eivät vääristä todellista pysyvyystrendiä.
WITH user_cohorts AS (
SELECT
user_id,
DATE_TRUNC('week', signup_time) AS cohort_week,
signup_time,
acquisition_channel
FROM users
-- Exclude cohorts that have not reached 7 full days of maturity
WHERE signup_time <= CURRENT_DATE - INTERVAL '7 days'
),
user_activity AS (
SELECT DISTINCT
c.user_id,
c.cohort_week,
c.acquisition_channel,
1 AS retained_d7
FROM user_cohorts c
JOIN events e ON c.user_id = e.user_id
WHERE e.event_time >= c.signup_time + INTERVAL '7 days'
AND e.event_time < c.signup_time + INTERVAL '8 days'
)
SELECT
c.cohort_week,
c.acquisition_channel,
COUNT(c.user_id) AS cohort_size,
COUNT(a.user_id) AS d7_active_users,
ROUND(100.0 * COUNT(a.user_id) / COUNT(c.user_id), 2) AS d7_retention_pct
FROM user_cohorts c
LEFT JOIN user_activity a ON c.user_id = a.user_id
GROUP BY 1, 2
ORDER BY 1 DESC, 2;
15Arvioinnin aikana mallisi saavuttaa poikkeuksellisen korkean mittaustuloksen, kuten AUC (Area Under the Curve) -arvon 0,99, mutta suorituskyky romahtaa varjotestauksessa (shadow testing). Miten eristät ja todennat kohdevuodon (target leakage) systemaattisesti?
Kun malli saavuttaa epärealistisen korkean offline-mittaustuloksen (esim. AUC 0,99), joka romahtaa tuotannon kaltaisessa varjotestauksessa, ensisijainen epäilty on kohdevuoto (target leakage). Systemaattinen eristys- ja todentamistyönkulku sisältää seuraavat vaiheet: 1. Piirteiden tärkeys ja attribuutio: Lasketaan SHAP-arvot, vahvistustärkeydet (gain importances) tai permutaatiotärkeys hallitsevan ennustevoiman omaavien piirrekandidaattien tunnistamiseksi. 2. Yhden piirteen mallit ja ablaatiotutkimukset: Koulutetaan yksinkertaisia yhden piirteen malleja (kuten matalia päätöspuita tai logistista regressiota) yksittäisille epäilyttäville piirteille. Jos yksittäinen piirre saavuttaa lähes täydellisen luokittelutuloksen, se todennäköisesti vuotaa kohdetta. Poistetaan epäillyt piirteet vuorotellen (ablaatio) ja mitataan offline-suorituskyvyn lasku. 3. Aikaleimojen ja historiatiedon auditointi: Tarkistetaan piirrekandidaattien tarkat luonti- ja päivitysaikaleimat suhteessa ennusteen katkaisuhetkeen (cutoff timestamp). Varmistetaan, olisiko piirteen arvo voinut olla tiedossa vasta kohdetapahtuman toteutumisen jälkeen (esim. `cancellation_reason` tai `refund_status`, jotka päivittyvät vasta asiakaspoistuman tai takaisinveloituksen yhteydessä). 4. Datan alkuperän ja dataliukuhihnojen tarkistus: Tarkastetaan alkupään dataliukuhihna ja taulujen muutoslogiikka (esim. paikan päällä päivitettävät muuttuvat taulut vs. vain lisäyksiä sallivat muuttumattomat lokit), jotta voidaan varmistaa, milloin kentät todellisuudessa täytetään.
from sklearn.metrics import roc_auc_score
from sklearn.tree import DecisionTreeClassifier
leakage_candidates = {}
for col in X_train.columns:
clf = DecisionTreeClassifier(max_depth=2)
clf.fit(X_train[[col]], y_train)
preds = clf.predict_proba(X_test[[col]])[:, 1]
auc = roc_auc_score(y_test, preds)
if auc > 0.85:
leakage_candidates[col] = auc
print("Candidate Leaky Features:", leakage_candidates)
16Miten valitset tavallisen K-Fold-, Stratified K-Fold- ja Group K-Fold -ristiinvalidointien (cross-validation) välillä, kun arvioit strukturoitua reaalimaailman dataa?
Valinta tavallisen K-Fold-, Stratified K-Fold- ja Group K-Fold -menetelmän välillä riippuu kohdemuuttujan jakaumasta ja havaintorivien riippumattomuudesta: 1. Tavallinen K-Fold: Jakaa datan satunnaisesti K:hon yhtä suureen lohkoon (fold). Se olettaa, että havainnot ovat toisistaan riippumattomia ja samoin jakautuneita (IID, Independent and Identically Distributed), ja sitä käytetään tyypillisesti jatkuvien regressiokohteiden tai hyvin tasapainoisten aineistojen kanssa. 2. Stratified K-Fold: Varmistaa, että jokainen lohko säilyttää saman kohdeluokkien suhteellisen jakauman kuin koko aineisto. Se on välttämätön luokittelutehtävissä erityisesti luokkaepätasapainon vallitessa, jotta vältetään lohkot, joissa vähemmistöluokan näytteitä on liian vähän tai ei lainkaan. 3. Group K-Fold: Varmistaa, että erilliset ryhmät tai entiteetit (esim. `user_id`, `patient_id`, `device_id`) eivät esiinny samanaikaisesti sekä opetus- että validointilohkoissa. Kun useat havainnot ovat peräisin samalta entiteetiltä, standardijako aiheuttaa vakavaa datavuotoa (data leakage), koska malli oppii ulkoa entiteettikohtaisia piirteitä yleistettävien signaalien sijaan. Group K-Fold arvioi, kuinka hyvin malli yleistyy täysin uusiin entiteetteihin.
17Miten valitset logistisen regression, gradienttitehostettujen päätöspuiden (GBDT, Gradient Boosted Decision Trees) ja epälineaaristen neuroverkkoarkkitehtuurien välillä taulukkomuotoisen datan luokittelussa viive- ja datapoikkeamarajoitteiden (data drift) vallitessa?
Valinta logistisen regression (LR, Logistic Regression), gradienttitehostettujen päätöspuiden (GBDT, Gradient Boosted Decision Trees) ja neuroverkkojen (NN, Neural Network) välillä taulukkomuotoisen datan luokittelussa edellyttää ennustustehon, päättelyviiveen, selitettävyyden ja datapoikkeamien (drift) sietokyvyn tasapainottamista.
1. **Logistinen regressio** loistaa erittäin matalan viiveen ympäristöissä (<1–5 ms p99) ja tiukoissa laskentaresursseissa. Koska sen pisteytys on yksinkertainen pistetulo, se on poikkeuksellisen nopea ja luotettava. Kovariaattipoikkeamassa (covariate drift) tai jakauman ulkopuolisilla arvoilla lineaariset mallit ekstrapoloivat monotonisesti. Tämä voi olla ennustettavaa tai vaarallista regularisoiduista kulmakertoimista riippuen, mutta ne harvoin tuottavat arvaamatonta porrasmaista käyttäytymistä. LR vaatii kuitenkin laajaa manuaalista piirteiden muokkausta (vuorovaikutukset, epälineaarinen luokittelu) yltääkseen epälineaaristen arkkitehtuurien tasolle.
2. **GBDT-mallit** (kuten XGBoost, LightGBM, CatBoost) ovat alan oletusvertailukohta taulukkomuotoiselle datalle. Ne oppivat monimutkaisia epälineaarisia vuorovaikutuksia luonnostaan ja käsittelevät erilaisia tietotyyppejä sekä puuttuvia arvoja saumattomasti. Viiveen osalta optimoidut GBDT-mallit (tai Treeliten/ONNX:n kautta käännetyt) alittavat helposti alle 10 ms palvelutasotavoitteet (SLA). Datapoikkeamatilanteessa GBDT:t eivät pysty ekstrapoloimaan havaitun opetusdatan rajojen ulkopuolelle (ennusteet rajataan reunan lehtiin), mikä toimii sisäänrakennettuna suojamekanismina hallitsematonta ekstrapolointia vastaan, mutta voi johtaa vanhentuneisiin porrasmaisiin ennusteisiin, jos piirteiden jakaumat muuttuvat merkittävästi.
3. **Neuroverkkoarkkitehtuureja** (esim. FT-Transformer, TabNet, MLP) suositaan, kun taulukkomuotoinen data on multimodaalista (yhdistettynä tekstiin, upotuksiin tai kuviin) tai jatkuvassa verkko-oppimisessa. Puhtaasti taulukkomuotoisilla neuroverkoilla on kuitenkin tyypillisesti korkeampi päättelyviive (vaativat matriisikertolaskuja kerrosten läpi tai GPU-kiihdytystä), ne vaativat enemmän laskentaa opetukseen ja ovat erittäin herkkiä skaalaamattomille syötteille sekä kovariaattipoikkeamille.
Käytännössä: Aloita GBDT:llä vahvana suorituskyvyn perustasona; jos vaaditaan ehdotonta mikrosekuntiluokan viivettä tai yksinkertaista selitettävyyttä, käytä logistista regressiota; käytä neuroverkkoja pääasiassa multimodaalisissa arkkitehtuureissa tai upotusten siirto-oppimisessa.
decision_matrix = {
"Logistic Regression": {"Latency": "<1ms (Ultra-low)", "Drift Behavior": "Linear extrapolation", "Tabular Baseline": "Moderate (needs feature engineering)"},
"GBDT (XGB/LightGBM)": {"Latency": "1-15ms (Fast)", "Drift Behavior": "Leaf clamping (no extrapolation)", "Tabular Baseline": "State of the Art"},
"Tabular Neural Net": {"Latency": "10-50ms+ (Higher)", "Drift Behavior": "Nonlinear extrapolation", "Tabular Baseline": "Competitive / High tuning cost"}
}
for model, traits in decision_matrix.items():
print(f"{model}: Latency={traits['Latency']}, Tabular Perf={traits['Tabular Baseline']}")
18Voit ottaa otoksia ehdotusjakaumasta, mutta tarvitset keskiarvon toisessa kohdejakaumassa. Miten tärkeysotanta toimii ja milloin se voi epäonnistua?
Normalisoidulle kohdetiheydelle p ja ehdotukselle q käytän painoa w(x) = p(x)/q(x). Arvojen w(Xi)f(Xi) keskiarvo estimoi E_p[f]:ää, jos q kattaa olennaisen kannattajan ja odotusarvo on olemassa. Jos p tunnetaan vain vakiokerrointa vaille, käytän suhdetta Σwi f(Xi)/Σwi; se on yleensä harhainen äärellisessä otoksessa mutta voi olla tarkentuva. Jos q on nolla merkittävän kohdemassan kohdalla, lisäotokset eivät auta. Huono päällekkäisyys tai vääränlaiset hännät keskittävät painon muutamalle havainnolle. Tarkistan painojen keskittymisen, efektiivisen otoskoon ja epävarmuuden sekä parannan ehdotusta tai käytän seoksia.
Keskitetyn semanttisen kerroksen rakentaminen yrityksen tietovaraston päälle edellyttää deklaratiivisen, koodipohjaisen mittarimäärittelykerroksen (kuten MetricFlow/dbt Semantic Layer, Cube tai LookML) käyttöönottoa. Tämä kerros erottaa liiketoimintalogiikan fyysisestä tallennuksesta ja sitä hyödyntävistä työkaluista (BI-alustat, Python/R-muistikirjat, API-rajapinnat). Ydinarkkitehtuurissa entiteetit, dimensiot, mittarit ja johdetut metriikat määritellään versionhallituissa tietovarastoissa (Git), mikä tarjoaa yhden luotettavan totuuden lähteen ja varmistaa mittareiden yhdenmukaisuuden tiimien välillä. Moniasiakkuuden (multi-tenancy) ja hallintamallin tukemiseksi eri liiketoimintayksiköissä tulisi käyttää federoitua hallintamallia: keskitetty datahallintatiimi omistaa yrityksen keskeiset KPI-mittarit (kuten ARR tai aktiiviset käyttäjät), kun taas hajautetut toimialatiimit hallinnoivat omia mittareitaan eristettyjen semanttisten mallien kautta CI/CD-validointeineen. Semanttinen kerros tarjoaa standardoidut kyselyrajapinnat (SQL, GraphQL, REST), joissa on yhtenäinen roolipohjainen pääsynhallinta (RBAC) sekä välimuisti- ja esikoontitoiminnot suorituskyvyn ja johdonmukaisuuden ylläpitämiseksi.
semantic_model:
name: orders
node_relation:
alias: fct_orders
dimensions:
- name: order_date
type: time
type_params:
time_granularity: day
- name: country
type: categorical
measures:
- name: total_revenue
expr: revenue_usd
agg: sum
- name: distinct_buyers
expr: user_id
agg: count_distinct
metrics:
- name: average_order_value
description: "Governed metric for AOV across all BI tools"
type: ratio
type_params:
numerator: total_revenue
denominator: distinct_buyers
20Miten suunnittelisit kaksipuolisella markkinapaikalla (kuten kyytipalvelussa tai verkkokaupassa) kokeilun mätsäysalgoritmin muutoksen arvioimiseksi ottaen huomioon kysynnän ja tarjonnan kannibalisoinnin sekä spatiaalisen ja ajallisen interferenssin?
Kaksipuolisilla markkinapaikoilla mätsäysalgoritmien arviointi tavanomaisella käyttäjätason A/B-testauksella rikkoo SUTVA-oletusta (Stable Unit Treatment Value Assumption). Kun käsittelyryhmän yksiköt kuluttavat niukkoja yhteisiä resursseja (kuten kuljettajia tai varastosaldoa), ne kannibaloivat verrokkiryhmän resursseja, mikä johtaa verrokkiryhmän keinotekoiseen heikkenemiseen ja yliarvioituihin käsittelyvaikutuksiin markkinatasapainon siirtymisen vuoksi. Spatiaalisen ja ajallisen interferenssin hallitsemiseksi käytetään kahta pääasiallista koeasetelma-arkkitehtuuria: klusteripohjaista satunnaistamista ja switchback-kokeita (aikajaksoittaista vaihtelua). Spatiaalisessa klusterisatunnaistamisessa maantieteelliset markkina-alueet tai eristetyt osa-alueet (esim. erilliset metropolialueet tai graafipartitioidut heksagoniset spatiaalisolut) satunnaistetaan käsittely- tai verrokkiryhmään. Tämä eristää suorat kysynnän ja tarjonnan vuorovaikutukset, vaikkakin se edellyttää menetelmiä, kuten synteettisiä kontrolleja tai difference-in-differences -menetelmää (DiD), markkinoiden välisten erojen huomioimiseksi. Switchback-kokeissa kokonaiset eristetyt markkinat vuorottelevat käsittely- ja verrokkialgoritmien välillä erillisissä aikaikkunoissa (esim. vaihto 1–2 tunnin välein). Switchbackit säilyttävät yhteisen kysynnän ja tarjonnan tasapainon kussakin ikkunassa, mutta tuovat mukanaan ajallista siirtymäharhaa (carryover bias). Tämän lieventämiseksi ikkunoiden väliin jätetään siirtymä- tai huuhtelujaksoja (washout periods, joissa tilasiirtymien aikaisia tilauksia ei huomioida) ja valitaan riittävän pitkät aikaikkunat tarjonnan uudelleenasettumisen vaatiman ajan kattamiseksi, mutta tarpeeksi lyhyet tilastollisen voiman säilyttämiseksi. Analyysissä on otettava huomioon sarjakorreloituneet aikasarjavirheet ryhmittelemällä keskivirheet aikajakso-/markkinatasolla tai käyttämällä yleistettyjä estimointiyhtälöitä (GEE, Generalized Estimating Equations) tai Newey–West-varianssiestimaattoreita.
import pandas as pd
import numpy as np
def generate_switchback_schedule(n_days=14, window_minutes=60, washout_minutes=15):
total_windows = int((n_days * 24 * 60) / window_minutes)
np.random.seed(42)
treatments = np.random.binomial(1, 0.5, size=total_windows)
schedule = []
for i, trt in enumerate(treatments):
start_min = i * window_minutes
eval_start_min = start_min + washout_minutes
end_min = (i + 1) * window_minutes
schedule.append({
'window_id': i,
'treatment': trt,
'start_min': start_min,
'eval_start_min': eval_start_min,
'end_min': end_min
})
return pd.DataFrame(schedule)