Kdyby nebylo povinného úkolu v předmětu Data pro design služeb, tak si určitě datový deník nezaložím. Díky tomu, že jsem musel, tak jsem byl po celý semestr více pozorný k provazbám s daty a látkou kurzu. Vnímám, že to bylo přínosné a pomohlo mi to kultivovat mé myšlení o datech mnohem více, než při pouhém průchodu kurzem.
1. Signál a šum
Celý tento semestr studia Designu informačních služeb je spojený s výzkumem, jehož smyslem je minimalizovat rizika a přiblížit se od domněnek k realitě. „Mít data“ je pak často vnímáno tak, že jsme se k realitě přiblížili skutečně hodně. A může to tak být. Ale také nemusí.
Nate Silver uvádí v závěru své knihy The Signal and the Noise, že odlišit signál od šumu vyžaduje jak odborné znalosti, tak znalosti sebe sama. Leonard Mlodinow ve své knize Drunkard’s Walk pak popisuje hranice lidského myšlení při práci s pravděpodobností a daty.
Pokaždé si chci připomínat, že riziko chyby či špatné interpretace a prezentace je reálné. Kognitivní zkreslení ovlivňující myšlení o pravděpodobnosti, nepředvídatelnost komplexních systémů, opomenutí nějaké důležité proměnné, špatně nasbíraná data či chyby při nesprávném použití analytického nástroje a zkreslující vizualizace nejsou zdaleka jen akademická možnost.
Zmiňovaný Mlodinow například ukazuje, jak i vysoce vzdělaní matematici selhali při řešení problémů v oblasti pravděpodobnosti – právě v této oblasti se expertní omyly dějí nejčastěji. Naše intuice systematicky selhává: přeceňujeme význam malých vzorků, vidíme vzorce tam, kde je jen náhoda, a budujeme falešné příběhy kolem náhodných událostí.
Zvláště důležité je uvědomit si zákon malých čísel – tendenci extrapolovat z nedostatečných dat a považovat malé vzorky za reprezentativní. Podobně nebezpečná je záměna korelace a kauzality nebo nesprávné pochopení podmíněné pravděpodobnosti.
Jeden příklad, co mě zaujal, je Mlodinowova zkušenost s HIV testem. Popisuje situaci: existence velmi přesný testu, který se mýlí jen jednou z tisíce. Když se jim otestuje 10 000 lidí na vzácnou nemoc (kterou má jen jeden z deseti tisíc), najde jednoho skutečně nemocného. Ale protože se test i občas mýlí, dalších deset zdravých lidí dostane pozitivní výsledek. Celkem tedy 11 pozitivních testů, ale jen jeden správný. To znamená 9:1 šanci na falešný výsledek i při „99,9% přesném“ testu.
- Mlodinow dostal pozitivní výsledek a lékař mu řekl: „Test je 99,9% přesný.“
- Neřekl mu však nejdůležitější: „Ve vaší situaci má 9 z 10 lidí s pozitivním testem falešný výsledek.“
Tento paradox mě fascinuje – ukazuje, jak můžeme mít jasná data a přesto špatně pochopit, co znamenají. Celý smysl tohoto datového logu je pak sloužit jako reminder, který má zárámovat tento semestr: mé myšlení má své limity. Budu rád, pokud rozšířím své znalosti a dovednosti týkající se dat. Zároveň však vždy budu usilovat o to, abych v této oblasti spolupracoval s někým zkušenějším – abych z dat skutečně vytěžil signál, namísto produkování vlastního šumu.
2. Poznámka k datovému mindsetu designéra
Ke druhému datovému logu mě přivedl kurz Strategický design od House of Řezáč, který si tento semestr dělám. V kurzu jsou představeny tzv. různé letové hladiny cílů (inspirované knihou Outcomes Over Output, kterou napsal Joshua Seiden), konkrétně jde o rozlišování mezi výstupy (outputs), výsledky chování (outcomes) a dopady (impacts).
- Output je to, co vytvoříme – příspěvek, funkcionalita, wireframe, prototyp.
- Outcome je změna v chování uživatelů, kterou naše řešení přinese.
- Impact je širší dopad na business či organizaci.
Myslím, že součástí datového mindsetu designéra by měla být myšlenka, že data o outcomes jsou mnohem cennější než data o outputs. Můžeme mít skvělé metriky o tom, kolik funkcí jsme dodali nebo jak rychle jsme iterovali, ale to nám neřekne, zda se lidé skutečně chovají jinak – zda častěji dokončují úkoly, méně se ztrácejí v navigaci nebo více důvěřují našemu řešení.
Toto rozlišení mi dává jasnější rámec pro to, jaká data sbírat a jak je interpretovat. A také pro to, jak argumentovat hodnotu designu – ne počtem deliverables, ale skutečnými změnami v chování lidí.
Mně osobně to dává smysl zejména v kontextu human-centred security, která je pro mě zásadní. Platí zde, že skutečná bezpečnost se měří změnami v bezpečnostním chování uživatelů, ne počtem implementovaných opatření.
3. Sense making – vlastní frameworky versus hotové šablony
I tento záznam vychází z kurzu Strategický design, kde jsem se v rámci kapitoly zaměřené na sense-making dozvěděl o využívání designových frameworků. Podle House of Řezáč jsou designové frameworky pravděpodobně největší změna v jejich výzkumných aktivitách za poslední roky: „Dříve jsme dělali nulu. Dnes jich máme na každém projektu desítky. Díky designovým frameworkům pomáháme organizacím najít úplně nové směřování projektů.“
Odkazují na dva klíčové články: Tom Critchlow „How (and why) to roll your own frameworks in consulting engagements“ a Jan Chipcase „Visualising research using Framework Darwinism“. To, co mají společné a co je nové i pro mě, je fundamentální kritika hotových řešení.
Critchlow označuje používání předpřipravených frameworků za svou největší chybu posledních let. Chipcase vyvinul proces „Framework Darwinism“, který systematicky generuje 60-90 frameworků během projektu a nechává přežít jen ty nejsilnější. Oba argumentují, že snaha vtlačit specifickou situaci do obecného modelu vede k povrchním výsledkům.
Místo toho doporučují vytvářet vlastní, jednoduché frameworky přímo s klientem, kdy jsou lidé více investováni do věcí, které si sami vytvořili. Klíčové je iterativní testování. Framework se tak nevytváří najednou, ale evolučně.
Tento přístup mě velmi zaujal, zejména v kontextu toho, že se v kurzu učíme, jak data předávat dál. Využití předpřipravených šablon (jako jsou například persony či JTBD) je cesta, kterou obvykle vidím a která se považuje spíše za správnou. Minimálně dává jejich struktura určitou úroveň jistoty – byť možná domnělé. Zároveň argument ohledně zjednodušování při snaze vměstnat složité situace do předpřipravených šablon se mnou rezonuje – uvědomuji si, jak často se snažíme realitu „přizpůsobit“ našim nástrojům místo opačného postupu. Zkrátka, na tohle se musím ještě pořádně podívat.
4. Experimentování s web scrapingem a AI pro výzkum
Na letošním WebExpo mě zaujala přednáška Daniela Do o využití web scrapingu a AI pro product research. Popisoval framework, který dokáže to, na co jsou běžně potřeba měsíce, zvládnout za hodiny.
Konkrétně použil Apify – platformu s předpřipravenými scrapery – k získání dat z G2.com, která obsahuje informace o business software. Vytěžil přes 50 tisíc reviews a údajů o konkurentech. Následně data nahrál do ChatGPT s promtem zaměřeným na identifikaci témat podle Jobs-To-Be-Done frameworku, segmentů zákazníků a konkurenčních výhod. Stanovil si i constraints – například že témata chce pouze tehdy, pokud jsou zmíněná alespoň 20krát.
Autor tuto kombinaci označuje jako „superschopnost“ dostupnou netechniků. Možná má pravdu – minimálně ukazuje přesně ty kompetence, které má smysl prozkoumat. Samozřejmě zde jsou i úskalí, ale i potenciál. Dan proto vyzývá k experimentování a to je něco, co dává smysl i mně.