Analysing cluster randomized trials with count data by Frequentist and Bayesian methods : the BoliviaWET trial: assessing the effect of SODIS on childhood diarrhoea

Considerable attention has been given to the design and analysis of clinical trials where interventions are allocated to whole communities (e.g. schools, villages) rather than to individual participants. Such studies are known as cluster randomized trials or group randomized trials (CRTs). Motivated by the analysis of a community randomized trial (BoliviaWET) on solar water disinfection (SODIS) in Bolivia, this dissertation: i) outlines the primary analysis of the trial, ii) presents results from investigations undertaken to address analytical issues of situations observed in the trial and iii) presents results from topics of some secondary analysis. Statistical analysis was performed following both frequentist and Bayesian methods.
Chapter I gives a background on the established approaches for analysing CRTs. Some statistical methods are briefly described and the BoliviaWET trial is introduced. In addition, elements regarding the statistical analysis of BoliviaWET (e.g. design, model specification, selection of the statistical method) are discussed. The primary outcome, number of episodes per child per year was found to have substantial overdispersion. The Negative Binomial (NB) specification was found to satisfactorily address overdispersion. Generalized lineal mixed models were selected as the method for analysing the trial because of the reported overall good performance in analysing community randomized trial situations with small numbers of large clusters. Since the literature on the analysis of CRTs has mainly focused on binary and continuous data, a need for assessing methods for overdispersed counts was identified.
A full description of the trial and the main results are presented in chapter II. In summary, BoliviaWET was a CRT aimed at evaluating the effectiveness of SODIS to reduce diarrhoea among children under 5 in rural Bolivia. Twenty two rural communities participated in the study. The intervention, a comprehensive standardised SODIS promotion campaign, was randomly allocated to eleven communities following the pair-matched design. Diarrhoea occurrence of 376 children in the intervention arm and 349 children from the control arm was monitored for one year. Diarrhoea incidence was compared between arms producing an unadjusted (for covariates) relative rate of 0.81 (95% CI 0.59 - 1.12). The between-cluster coefficient of variation CVc was 0.27 (95% CI: 0.11 - 0.46). Parameters from the random-effect models were estimated via restricted pseudo-likelihood and MCMC on the basis of the considerations taken from chapter I. Results for adjusted models and analysis of other outcomes (prevalence, severe diarrhoea and dysentery) are also provided.
Chapter III studies the performance of five analytical methods for CRTs with overdispersed counts in settings similar to community randomized trials. The compared methods are: (i) The two-sample t test of cluster-level rates, (ii) Generalized estimating equations (GEE) with empirical covariance estimators (iii) GEE with model-based covariance estimators, (iv) Generalized Linear Mixed Models (GLMM) and (v) Bayesian Hierarchical Models (Bayes-HM). The NB distribution is applied to simulate overdispersed counts of CRTs with two study arms allowing the period of time under observation to vary among individuals. The effect of different sample sizes, degrees of clustering and degrees of cluster-size imbalance was investigated. The performance of the methods was assessed in terms of point, interval estimation and hypothesis testing properties.
Sample size and clustering led to differences between the methods in terms of CI’s width, coverage, significance, power and random-effects estimation. GLMM and Bayes-HM performed better: Unbiased RR, nominal coverage, type I error rates and reasonable power. GEE showed higher power but anticonservative coverage and elevated type I error rates. The t-test yielded wide and unstable CI, the highest coverage and nominal significance. Imbalance affected the overall performance of the cluster-level t-test and the GEE’s coverage in small samples. In explorations of the implications of ignoring overdispersion in the analysis of BoliviaWET data, upwardly biased RRs were observed for the Poisson analyses and the t-test. The existence of extreme values, more frequent in the control arm, violated the equidispersion assumption of Poisson analyses and the assumptions of the cluster-level t-test.
The point and interval estimation of the between-cluster coefficient of variation for overdispersed counts was studied in chapter IV. Four methods for point estimation were assessed: i) a cluster-level coefficient of variation (CL), ii) the CVc from the one-way random-effect ANOVA, the root of the random-effect variance of iii) GLMM and iv) Bayes-HM, both assuming NB distribution. The interval estimating methods were: i) Bootstrap confidence intervals (CI), ii) Generalized CI and iii) Bayesian credible intervals. Monte Carlo simulation was used to compare the methods at different sample sizes, and levels of clustering. The outcome was generated as NB counts with different individual period of follow-up.
GLMM and ANOVA both provided unbiased point estimates although ANOVA was more unstable under high clustering. CL heavily overestimated the between-cluster variation when it is lower or equal to 25%. Bayes-HM provided slight upward bias in settings without clustering. Bayes-HM performed best in terms of interval estimation. The effect of allowing for overdispersion was assessed by analysing the BoliviaWET dataset. Upwardly biased estimates were observed when assuming Poisson distribution. The magnitude of the bias resembled to that of the CL method observed in the simulations. The ANOVA-based approaches were not robust to the presence of extreme observations, being susceptible to producing anomalous random-effect estimates.
The meaning of the vernacular Quechua term k’echalera was evaluated as diagnosis of Diarrhoea in rural Bolivian settings (chapter V). Pre- and post-intervention data of BoliviaWET were employed where signs and symptoms of diarrhoea as well as k’echalera reports were recorded. Mother’s reports of k’echalera were found to be associated with important changes in stool frequency, consistency and occurrence of blood and mucus. Interestingly, k’echalera reports were highly related to three types of watery-stool consistencies from the four applied in field tools. The milky rice stool consistency which fits into the definition of watery stool was not strongly related to k’echalera. Mucus in the stool was also associated with k’echalera. However its occurrence in k’echalera-free days accounted for at least 50% of the possible false negatives. Assuming an imperfect gold standard the sensitivity and specificity of the term k’echalera was estimated by Bayesian methods. We obtained a high specificity of at least 91% and sensitivity of at least 82% in average.
We investigated the factors that influenced on the adoption of SODIS in households in the intervention arm of BoliviaWET (chapter VI). Multivariable exploratory techniques were applied to identify typologies of SODIS users on the basis of 4 indicators of SODIS-use, and 2 indicators related to the duration of study participation. The chance of becoming a type of SODIS-user as a function of potential predictors was assessed by multinomial modelling. This subgroup analysis identified four groups of SODIS users after a 15-months extensive and comprehensive campaign. User-groups with high compliance were found to have a higher intensity of exposure to the SODIS campaign, latrine ownership, not having electricity, and having severely wasted children living in the home. The identified household factors related to the use of SODIS may help targeting populations that would benefit most from SODIS implementations. These findings indicate that pre-existing health knowledge, motivation and knowledge of disinfecting drinking water acquired through previous exposure to water, sanitation and hygiene programmes is associated with successful uptake of SODIS.
Finally, chapter VII provides a discussion of our main findings in context of the design of new cluster-unit trials and implications for statistical analysis, overdispersion and the methods applied in the secondary analysis,
In conclusion, the simulation studies suggest that GLMM and Bayesian models are appropriate for the analysis of overdispersed counts in CRTs in sample sizes  40 clusters in total. The estimation of the between-cluster coefficient of variation via GLMM and Bayes-HM is also appropriate. The Poisson model may seriously bias both the RR and CVc estimates. The NB model with normal random-effects provides a natural way to address overdispersion of count data in a CRT. We, encourage to regularly verify the residual overdispersion and to apply the (Poisson or extra-Poisson) model that best fits the data.
The BoliviaWET trial found no strong evidence of reduction of the diarrhoea incidence in children <5 years in families using SODIS. In terms of secondary analyses, we conclude that the vernacular term k’echalera does refer to a change in the regular stool patterns associated with diarrhoea, although it differs from the symptoms-based diarrhoea definition in some aspects. We found that intensity of exposure to the SODIS campaign, latrine ownership, lack of electricity, and having severely wasted children living in the home are associated with the uptake of SODIS.
Design-, Studienaufbau- und Analyseaspekte von klinischen Studien, bei denen die Randomisierungseinheit der Intervention nicht das Individuum darstellt, sondern ein Cluster von Probanden, wie z.B. Schulen oder Gemeinden, werden z.Z. wieder vermehrt diskutiert. Solche Studien werden als Cluster-randomisierte Studien (CRSs) oder Gruppen-randomisierte Studien bezeichnet. Motiviert durch die statistische Auswertung einer Cluster-randomisierte Studie zur Wirksamkeit von solarer Trinkwasserdesinfektion (SODIS) in Bolivien (BoliviaWET), umfasst diese Dissertation einerseits die Primäranalyse der Studie, andererseits Ergebnisse von Simulationsstudien zu speziellen analytischen Aspekten unter den in der Studie festgestellten Rahmenbedingungen und schliesslich die Resultate von weiterführenden Auswertungen. Die statistischen Analysen wurden dabei sowohl mit frequentistischen als auch mit Bayes’schen Methoden durchgeführt.
In Kapitel I werden einige Grundlagen zu den gängigen Analyseansätzen für CRSs beschrieben. Einige statistische Methoden werden kurz beschrieben und die BoliviaWET Studie wird vorgestellt. Zusätzlich werden einige Aspekte hinsichtlich der statistischen Auswertung der BoliviaWET Studie – wie Design, Modellspezifikation und Auswahl des statistischen Verfahrens – diskutiert. Es stellte sich heraus, dass die primäre Zielgrösse – Anzahl Durchfall-Episoden pro Jahr und Kind – eine substanzielle Überdispersion aufwies. Diese Streuung der Daten wurde durch Verwendung der negativen Binomialverteilung (NB) bei den Analysen angemessen berücksichtigt. Verallgemeinerte lineare gemischte Modelle (GLMM) wurden zur Analyse der Studie gewählt, da über generell gute Performance-Eigenschaften bei der Analyse von Studien mit einer geringen Anzahl, aber dafür relativ grossen Clustern, berichtet wurde. Die vorhandene Literatur zur Analyse von CRSs konzentriert sich hauptsächlich auf binäre und kontinuierliche Daten; eine kritische Beurteilung der Methoden im Zusammenhang mit Zähldaten ist in der Literatur bisher nicht verfügbar.
Eine detaillierte Beschreibung der Studie und die wichtigsten Ergebnisse werden in Kapitel II präsentiert. BoliviaWET war eine CRS um die Wirksamkeit von SODIS zur Reduktion von Durchfällen bei Kindern unter fünf Jahren in ländlichen Gebieten Boliviens zu beurteilen. Zweiundzwanzig ländliche Gemeinden nahmen an der Studie teil. Elf Gemeinden wurden zufällig mittels Matched-Pairs Technik der Interventionsgruppe, bestehend aus einer intensiven und standardisierte SODIS-Werbe- und Schulungskampange, zugeteilt. Das Auftreten von Durchfall wurde bei 376 Kindern in der Interventionsgruppe und bei 349 Kindern in der Kontrollgruppe ein Jahr lang beobachtet. Die relative Rate (RR) der Durchfallinzidenz betrug 0.81 (95% CI 0.59 - 1.12) aus jenem Modell, welches einzig den Interventionseffekt und die Designfaktoren berücksichtigte. Der zwischen-Cluster Variationskoeffizient CVc betrug 0.27 (95% CI: 0.11 - 0.46). Aufgrund der Überlegungen in Kapitel I, wurden die Parameter des Models mit zufälligen Effekten anhand der eingeschränkten pseudo-Maximum-Likelihood Methode ermittelt. Die Ergebnisse der adjustierten Modelle und der sekundären Zielkriterien (Prävalenz, Dysenterie, schwerer Durchfall) werden gleichfalls präsentiert.
In Kapitel III werden Leistungsindikatoren von fünf Analysemethoden, welche für die Auswertung von CRSs mit Überdispersion geeignet sind, unter Bedingungen getestet, die bei randomisierten Interventionsstudien mit Gemeinden als Cluster üblich sind. Die verglichenen Methoden waren: (i) Der Zweistichproben T-Test für Raten auf Clusterebene, (ii) verallgemeinerte Schätzgleichungen (Generalized Estimating Equations, GEE) mit empirischem Kovarianz Schätzer (iii) GEE mit Modell-bezogenem Kovarianz Schätzer, (iv) GLMM und (v) Bayes’sche hierarchische Modelle (Bayes-HM). In Simulationen wurden NB-verteilte Zähldaten mit Überdispersion generiert, wobei die Beobachtungsperiode individuell variierte. Untersucht wurde der Einfluss der Stichprobengrösse, Grad der Verklumpung (Clustering) und die Unausgewogenheit der Anzahl Probanden innerhalb der Cluster. Die Leistung wurde anhand der Güte von Punkt- und Intervallschätzer sowie Signifikanztests beurteilt.
Stichprobengrösse und Clustering führten zu Unterschieden bei den Methoden bezüglich der Weite des Konfidenzintervalls, Erfassungswahrscheinlichkeit des wahren Populationsparameters, Signifikanz, Power und Schätzung der zufälligen Effekte. GLMM und Bayes-HM erbrachten bessere Leistungen: unverzerrte RR sowie Erfassungswahrscheinlichkeit und Typ-I Fehlerraten nahe dem nominalem Niveau und zudem eine angemessene Power. GEE war mit einer grösseren Power assoziiert, allerdings auf Kosten einer antikonservativen Erfassungswahrscheinlichkeit, die zu erhöhten Type-I Fehlerraten führte. Der T-Test lieferte weite und instabile Konfidenzintervalle, die höchste Erfassungswahrscheinlichkeit und eine Signifikanz nahe dem nominellen Niveau. Unausgewogene Clustergrössen beeinträchtigten die Performance von T-Test und GEE vor allem wenn die Stichprobengrösse klein war. Die Analyse der Daten der BoliviaWET Studie ergab, dass ein Missachten der Überdispersion bei Poisson verteilten Daten, und die Anwendung des T-Test bei NB-Verteilung zu aufwärts verzerrten RR führt. Extremwerte, welche in der Kontrollgruppe häufiger auftraten, verletzten die, bei der Poissonverteilung grundlegende Annahme der Equidispersion, sowie die Vorraussetzungen zur Durchführung des T-Tests.
Punkt- und Intervallschätzer des zwischen-Cluster Variationskoeffizienten (CVc) für Zähldaten mit Überdispersion wurden in Kapitel IV untersucht. Dabei wurden vier Methoden zur Punktschätzung eingesetzt: i) ein Variationskoeffizient auf Cluster-Ebene (cluster level, CL), ii) der CVc der einfaktoriellen Varianzanlyse mit zufälligen Effekten, i.e. die Quadratwurzel der Varianz der zufälligen Effekte, iii) GLMM und iv) Bayes-HM, beide mit NB Verteilung. Zudem wurden folgende Methoden der Intervallschätzung beurteilt: i) Bootstrap Konfidenzintervalle (CI), ii) verallgemeinerte CI und iii) Bayes’sche Intervalle. Anhand von Monte Carlo Simulationen wurden die Methoden bei verschiedenen Stichprobengrössen und unterschiedlichem Grad des Clusterings untersucht. Das Zielkriterium wurde als NB-verteilte Zähldaten generiert mit individuell variierendem Beobachtungszeitraum.
GLMM und die Varianzanalyse ergaben beide unverzerrte Punktschätzer, obwohl die Varianzanalyse bei starkem Clustering unstabilere Ergebnisse lieferte. CL überschätzte die zwischen-Cluster Varianz bei Werten kleiner oder gleich 25% stark. Bayes-HM erzeugte leicht erhöhte Resultate in Situationen ohne Clustering. Bayes-HM lieferte bei der Intervallschätzung das beste Ergebnis. Anhand der im Rahmen von BoliviaWET erhobenen Daten wurde der Einfluss von Überdispersion erörtert. Wenn das Zielkriterium als eine Poisson verteilte Variable analysiert wurde, war der CVc generell zu hoch. Die Verzerrung war in etwa in der Grössenordnung der CL Methode während der Simulationen. Der varianzanalytische Ansatz war vor allem anfällig gegenüber Extremwerten, wobei insbesondere das Schätzen der zufälligen Effekte negativ beeinflusst wurde.
Der Zusammenhang zwischen dem indigenen Qechua-sprachlichen Ausdruck K’echalera und der WHO Definition von Durchfall im ländlichen Bolivien wird in Kapitel V beschrieben. In einer Vorstudie wurden die Mütter zu verschiedenen Anzeichen und Symptomen von Durchfall, sowie dem Auftreten von K’echalera befragt. Das Auftreten von K’echalera war mit Veränderungen der Stuhlfrequenz und -konsistenz und blutigem oder schleimigen Stuhlgang assoziiert. Interessanterweise wurde K’echalera häufig in Kombination mit drei der vier flüssigen Stuhlkonsistenzkategorien des Fragebogens genannt. Dabei konnte bei der Kategorie “milky rice“, welche ebenfalls eine flüssige Konsistenz beschreibt, kein Zusammenhang mit K’echalera festgestellt werden. Obwohl eine Assoziation zwischen schleimigen Stuhlgang und K’echalera bestand, war Schleim in über der Hälfte der Fälle vorhanden, bei denen die Symptome für eine Durchfallepisode nach WHO-Definition sprachen, aber K’echalera von den Müttern nicht genannt wurde. Unter der Annahme, dass die WHO Definition nicht als Goldstandard für Durchfall angesehen werden kann, wurden Sensitivität und Spezifität von K’echalera durch Bayes’sche Methoden bestimmt. Dabei wurden eine hohe Spezifität von mindestens 91% und eine Sensitivität von mindestens 82% festgestellt.
Mögliche Faktoren, die den Einsatz der SODIS Methode in der Zielbevölkerung der BoliviaWET Studie beeinflussen, werden in Kapitel VI beschrieben. Multivariable exploratorische Techniken wurden eingesetzt um die Haushalte in Nutzer-Klassen einzuteilen. Dafür wurden vier Indikatoren bezüglich der SODIS Applikation und zwei Indikatoren bezüglich der Länge der Teilnahme in der Studie herangezogen. Ein möglicher Einfluss verschiedener Faktoren wurde mit Hilfe von multinomialen Modellen. Diese Subgruppenanalyse identifizierte vier verschiedene Nutzergruppen die sich durch die 15-monatigen SODIS Kampagne gebildet hatten. Es stellte sich heraus, dass die Zugehörigkeit zu jener Gruppe, die SODIS am häufigsten praktizierte, durch einen intensivere Exposition zu der Intervention, das Vorhandensein einer Latrine, dem Fehlen von Elektrizität und stark ausgezehrter, schlecht ernährter Kinder begünstigt wurde. Die identifizierten Faktoren können helfen künftige Interventionen auf diejenigen Bevölkerungsgruppen auszurichten, die davon am meisten profitieren können. Zudem signalisieren diese Ergebnisse, dass gesundheitsrelevantes Vorwissen, sowie bereits vorhandenes Wissen zur Trinkwasserreinigung aus der früheren Teilnahme an Wasser- und Siedlungshygiene Programmen zu einer beschleunigten Akzeptanz und Anwendung der SODIS Methode führt.
In Kapitel VII werden die Hauptergebnisse vor allem im Kontext von Aspekten des Studiendesigns diskutiert, die bei der Planung künftiger CRSs von Bedeutung sind. Zudem werden Empfehlungen für die statistische Methodenwahl bei der Primär- und Subgruppenanalyse und zum Vorgehen bei Überdispersion ausgesprochen.
Zusammenfassend kann festgehalten werden: die statistischen Simulationen zeigten, dass GLMM und Bayes’sche Modelle geeignet sind, um Cluster-oder Gemeinde-randomisierte Studien (CRS) mit Zähldaten und Überdispersion zu analysieren, selbst wenn die Anzahl der Cluster kleiner 40 ist. Auch beim Schätzen des zwischen-Cluster Variationskoeffizient (CVc) zeigten GLMM und Bayes-HM gute Ergebnisse. Das Poisson Modell kann zu schwerwiegenden Verzerrungen sowohl beim Schätzen von RR als auch des CVc führen. Das Negativ Binomial Modell unter Berücksichtigung von zufälligen Effekten stellt einen geeigneten Weg dar, um Zähldaten mit Überdispersion in CRSs zu analysieren. Es wird empfohlen, standardmässig die Überdispersion der Residuen zu verifizieren und das entsprechend beste Modell (Poisson oder extra-Poisson) zu wählen.
Die BoliviaWET Studie fand keinen stichhaltigen Nachweis für eine erhebliche Reduktion der Durchfallsinzidenz in Kindern unter fünf Jahren aufgrund einer SODIS Kampagne. Sekundäranalysen haben ergeben, dass der indigene Ausdruck K’echalera Änderungen des Stuhlgangs in der Form bezeichnet, wie sie für Durchfälle typisch sind. Trotzdem unterscheidet sich der Ausdruck in einigen Aspekten von der Standarddefinition der Weltgesundheitsorganisation. Eine intensive Exposition zur SODIS Intervention, das Vorhandensein einer Latrine, das Fehlen von Elektrizität und das Vorhandensein von schlecht ernährten und ausgezehrten Kindern im Haushalt waren mit einer erhöhten Akzeptanz und Anwendung der SODIS Methode assoziiert.