Du holder op med at drikke kaffe efter frokost, og den uge sover du bedre. Var det kaffen? Måske. Men det kan også være, at der var mindre travlt på arbejdet, at aftenerne var køligere, eller at det bare var en god uge. Det kan du ikke se ud fra én uge.
Det lyder som et hverdagsspørgsmål, men det er faktisk et videnskabeligt problem: Hvordan finder man ud af, hvad én ændring gør, når så meget andet i ens liv også ændrer sig?
I vores første indlæg fortalte vi, hvorfor vi laver N1 Trial. Det her indlæg handler om metoden bag, N-of-1-forsøget, og om hvordan appen bruger den. Sidst i indlægget er der et mere teknisk afsnit til dem, der vil have alle detaljerne.
Du er din egen sammenligning
I et N-of-1-forsøg er ”den ene” dig. I stedet for to grupper, hvor den ene ændrer noget og den anden ikke gør, sammenligner du dig selv med dig selv.
Du lever med ændringen i nogle dage og uden den i nogle dage. Hver af de perioder kalder vi en blok. Du skifter flere gange frem og tilbage mellem blokke med og uden ændringen, og hele vejen igennem forløbet måler du det samme. [1]
Én god uge siger ikke ret meget. Men sover du bedre, hver gang du dropper eftermiddagskaffen, og dårligere, hver gang du ikke gør, er det svært at bortforklare.
Svaret gælder for dig, under de forhold og i de uger, du har testet. Det siger ikke automatisk noget om andre, og det er ikke sikkert, at det holder resten af livet.
Start med et spørgsmål, der kan besvares
”Kan jeg sove bedre?” er en god grund til at gå i gang, men det spørgsmål kan et forsøg ikke svare på. Det kan det til gengæld, hvis du spørger: ”Føler jeg mig mere udhvilet om morgenen, når jeg dropper kaffen efter frokost?” Her er der én ændring og én ting, der skal måles.
Den ting kalder vi din hovedmåling, og du vælger den, før du går i gang. Det er vigtigere, end det lyder. Dit ur måler måske både, hvor længe du sover, hvor dybt du sover, og din puls om natten. Kigger du på mange tal på én gang, vil mindst ét af dem næsten altid se bedre ud, bare ved et tilfælde. Bestemmer du først bagefter, hvilket tal der tæller, kan du nemt overbevise dig selv om en effekt, der ikke er der.
I N1 Trial lægger du planen i en kort samtale med en AI-assistent, eller du tager udgangspunkt i et af de færdige forsøg. Uanset hvad ender du med en plan for, hvad du ændrer, hvad du måler, og hvornår.
En fair sammenligning
Nogle få ting i planen gør det meste af arbejdet.
Lodtrækning bestemmer rækkefølgen. Hvis du selv vælger, hvornår du prøver ændringen, kommer du let til at vælge de rolige uger uden at tænke over det. Derfor bestemmer N1 Trial rækkefølgen ved lodtrækning. Så vidt muligt bliver der lige mange blokke med og uden ændringen, og der kommer aldrig mere end to af samme slags i træk. Er planen meget kort, skifter du bare frem og tilbage, og har ændringen en lang eftervirkning, begynder du med din normale rutine.
Ændringen skal have tid til at virke. Det kan tage et stykke tid, før en ændring slår igennem, og før den klinger af igen. Derfor tæller de første dage efter et skift ikke med. Du registrerer stadig, men de dage indgår ikke i sammenligningen. Hvor mange dage der er tale om, afhænger af ændringen: ingen, hvis den virker hurtigt, og op til en uge for et kosttilskud, der bygges op i kroppen. Det mindsker risikoen for, at én blok har eftervirkninger på den næste, men kan ikke fuldstændig udelukke det.
Du måler på samme måde hver gang. Samme spørgsmål på samme tidspunkt, eller samme smartwatch, smart-ring eller aktivitetsarmbånd. N1 Trial stiller dig spørgsmålet hver dag eller henter målingen fra dit smartwatch, din Oura eller Whoop, uden at du skal gøre noget.
En dag, du springer over, forbliver tom. Analysen finder ikke selv på tal til den. Men springer du typisk de dårligste dage over, kommer tallene til at se pænere ud, end dine uger reelt var.
Sådan læser du svaret
Mens forsøget står på, kan du følge dine daglige målinger, men først når det er slut, fortæller appen, hvad de viser samlet set. Får du midtvejs at vide, at ændringen nok virker, kan det nemlig let påvirke, hvad du registrerer de næste dage.
Når forsøget er slut, regner N1 Trial forskellen ud mellem blokkene med og uden ændringen. Analysen tager højde for, at dine målinger kan glide langsomt op eller ned over tid, og at den ene dag ofte ligner den næste. Fem nætter i træk, der ligner hinanden, tæller derfor ikke så meget som fem nætter, der er helt uafhængige af hinanden.
Før du går i gang, kan du også bestemme, hvor stor en forbedring skal være, før den er besværet værd for dig. I kaffeeksemplet kunne det være ét point mere på en skala fra 0 til 10 for, hvor udhvilet du føler dig. En forbedring, du knap kan mærke, er måske ikke værd at lave dine vaner om for.
Resultatet starter med et lille kort. Det fortæller, hvor stor sandsynligheden er for, at din måling har flyttet sig i den retning, du ønskede, og hvor stor ændringen sandsynligvis er. Har du sat et mål, fortæller det også, hvor stor sandsynligheden er for, at du nåede det. Under analysens bud vises en bjælke, hvor den reelle effekt højst sandsynligt ligger. Prikken er det bedste bud, den faste streg er ingen ændring, og den stiplede streg er dit mål. Bedre er altid til højre, og jo smallere bjælken er, jo sikrere er svaret.
Her er tre opdigtede resultater fra kaffeeksemplet, alle med et mål på ét point.
Med ét tryk kan du se grafer og alle tallene bag: dine dage med og uden ændringen, og hvordan analysen er nået frem til sit bud. Var der ikke nok at gå ud fra, fordi der var for få dage, for få skift mellem blokkene eller for mange dage uden registrering, siger appen det ligeud i stedet for at konkludere noget.
Det kan et forsøg med dig selv ikke
Nogle begrænsninger hører med til metoden, uanset hvor omhyggeligt du gennemfører forsøget. [2]
- Du ved, hvilken blok du er i. Forventer du, at ændringen hjælper, kan det påvirke, hvordan du har det, og hvad du registrerer, især når du selv skal vurdere noget.
- Noget andet i dit liv kan tilfældigvis ramme de samme dage som ændringen. Lodtrækningen gør det mindre sandsynligt, men kan ikke udelukke det.
- Nogle ændringer varer ved længe efter, at du er holdt op, som når du lærer noget nyt eller taber dig. Dem kan man ikke skifte frem og tilbage imellem.
- Metoden er ikke beregnet til at teste medicin eller behandling af sygdom. Den slags beslutninger skal du træffe sammen med din læge.
Hvor står vi?
Metoden er velafprøvet. Læger og forskere har brugt N-of-1-forsøg i årtier, og de bayesianske modeller, vores analyse bygger på, er beskrevet og brugt i forskningen. [3] Vi har også tjekket vores egne beregninger grundigt: På opdigtede data giver appen de samme svar som statistikprogrammer, andre har udviklet uafhængigt af os.
Det nye er at gøre metoden til noget, du selv kan bruge i en helt almindelig hverdag. Det lærer vi meget om lige nu sammen med vores første testere.
Et nærmere kig på analysen
Dette afsnit er til dig, der vil have de statistiske detaljer. Du behøver ikke læse det for at bruge N1 Trial.
Modeller. Hvilken model der bruges, afhænger af hovedmålingen. Målinger, der svinger omkring et gennemsnit, herunder vurderinger fra 0 til 10, analyseres med en normalfordelingsmodel. Positive målinger med en skæv fordeling analyseres med samme model på logaritmisk skala. Ja/nej-svar analyseres med logistisk regression.
Normalfordelingsmodellerne har en lineær tidstrend og AR(1)-fejl. De tillader, at målinger fra dage tæt på hinanden hænger sammen, og de bruger de faktiske afstande mellem målingerne, så manglende dage ikke skal udfyldes. Forsøg, hvor du skifter hver dag, får desuden et led for weekender. Ja/nej-modellen har endnu hverken autokorrelation eller weekendled. Eftervirkning har ikke sin egen parameter i modellen. Den håndteres i stedet af forsøgsplanen: de dage, der ikke tæller med, og valget af, hvilken slags blok forsøget starter med.
Estimater. Analysen er bayesiansk med eksplicitte priorer, som er skaleret efter målingens spændvidde. Den regnes ud på et fast gitter i stedet for ved simulation. Estimatet er medianen af posteriorfordelingen, og usikkerheden angives med et 95 % troværdighedsinterval med lige store haler: Givet data, model og priorer ligger effekten inden for intervallet med 95 % sandsynlighed. Intervallet siger ikke noget om, hvor meget dine daglige målinger spreder sig, og det kan ikke rette op på skævheder som forventninger. [3]
Når der ikke er data nok. Mangler der brugbare dage enten med eller uden ændringen, eller er der færre end to af den ene slags, beregnes der slet ikke noget estimat. Er der kun to brugbare perioder, én med og én uden ændringen, eller er under 60 % af de forventede registreringer af hovedmålingen besvaret, viser appen stadig tallene, men skriver, at forsøget ikke kan besvare spørgsmålet.
Følsomhed. Hvert endeligt resultat regnes igen med en effektprior, der er 100 gange bredere, og for forsøg med tre blokke også med en trendprior, der er fire gange bredere. Det viser, hvor meget resultatet afhænger af antagelserne, og appen fortæller ligeud, om en anden antagelse ville ændre billedet.
Kontrol og kendte svagheder. På syntetiske data giver vores beregninger de samme resultater som en uafhængig implementering i Python, som JAGS for normalfordelingsmodellerne og som R-pakken nof1ins fra Schmid og Yangs forskergruppe. Én svaghed er endnu ikke løst: Ved meget sparsomme ja/nej-data kan den beregnede sandsynlighed flytte sig nogle få procentpoint, afhængigt af hvor fint beregningsgitteret er.
Kilder
- AHRQ (2014). Design and Implementation of N-of-1 Trials: A User’s Guide (på engelsk). En introduktion til metoden, hvilke spørgsmål den egner sig til, og hvilke valg man skal træffe undervejs.
- Shamseer m.fl. (2015). CONSORT extension for reporting N-of-1 trials (CENT) 2015: Explanation and elaboration (på engelsk). Hvordan man beskriver et N-of-1-forsøgs plan, målinger, analyse og begrænsninger.
- Schmid og Yang (2022). Bayesian Models for N-of-1 Trials (på engelsk). Bayesiansk inferens for enkelte forsøg og serier af forsøg, også metoder, som N1 Trial ikke bruger.
Kilderne beskriver metoden. De er ikke en anbefaling af N1 Trial.