3 Gütekriterien für eine erfolgreiche Online Research Community

4

Online Research Communities haben sich als Methode etabliert, möchte man fast meinen. Zumindest wenn man z.B. dem GRIT-Report glauben darf und die Entwicklungen von einschlägigen Technologieunternehmen wie DubRevelation oder auch kernwert beobachtet.

Doch wie ich schon immer gesagt habe und in allen meinen Community-Projekten auf’s Neue erfahre ist die Technologie nur das eine. Hinzu kommt, dass wir – anders als nach mehreren Jahrzehnten qualitativer Offline-Forschung – noch sehr viel lernen und vor allem verbessern können.

Gerade wenn man eine Online Research Community bzw. MROC abgeschlossen hat, ist es wie bei jedem anderen Projekt auch, sinnvoll zu bewerten, was besonders gut und was vielleicht auch nicht so gut gelaufen ist. Ich habe über die Vielzahl meiner Community-Projekte meine eigenen „Gütekriterien“ entwickelt nach denen ich beurteile, ob es ein gutes oder nicht so gutes Projekt gewesen ist (letzteres kommt natürlich quasi nie vor 😉 ). Nimmt man mal den allgemeinen Projekterfolg heraus, dann sind für mich vor allem die folgenden Kriterien zur Beurteilung anzulegen

1. Zufriedene Teilnehmer
Wir als Researcher leben von der Zufriedenheit und der guten „Experience“, die unsere Teilnehmer bei den Studien erfahren. Es geht um nicht weniger als um das Zurverfügungstellen von Zeit, Gedanken, Meinungen. Stellungnahmen und Kreativität der Menschen, von denen wir meinen, dass sie eine gut gewählte Stichprobe darstellen. Neben der Beantwortung der Erkenntnisinteressen meiner Kunden ist dieses Kriterium daher für mich sehr wichtig. Daneben ist es auch zentral für die intrinsische Motivation der Community-Mitglieder. Denn es ist ja eigentlich sehr einfach: je höher die Zufriedenheit desto besser fühlen sich die TN aufgehoben, desto intrinsischer ist die Motivation, desto gehaltvoller ist die Teilnahme…

Zugegeben, so einfach der Beitrag der Zufriedenheit auf die Ergebnisqualität zu erkennen ist, so schwer ist dieses Kriterium zu messen. Üblicherweise erfolgt am Ende der Community-Laufzeit eine kurze Feedbackrunde nach dem Motto „Wie hat es Euch gefallen? Lob und Tadel?“. Das ist besser als nichts, aber es reicht keinesfalls. Denn dann ist die Studie ja bereits gelaufen und die Möglichkeiten zur Korrektur nicht mehr gegeben. Die Zufriedenheit der Teilnehmer sollte kontinuierlich – am besten an fest definierten „mood check milestones“ – beobachtet werden. Der Ausgestaltung solcher Checks sind keine Grenzen gesetzt. Von einer einfachen skalierten Abfrage an alle TN bis hin zur „quasi-individuellen“ Überprüfung ist vieles möglich. Mein Tipp: Solche Checks machen dann Sinn, wenn sie in den Flow der Community eingearbeitet werden.

2. Geringe Drop-Out Rate
Ich habe schon auf Veranstaltungen gesessen, da haben Leute gesagt, dass ein Drop-Out von 50% ein Erfolg ist. Wenn mir über die Laufzeit der Community die Hälfte der Teilnehmer verloren gehen würden, also nicht mehr oder deutlich seltener und spärlicher an der Community teilnehmen, dann würde mich das ernsthaft beunruhigen. Denn es wäre ein Zeichen dafür, dass etwas mit der Community nicht stimmt, genauer gesagt mit der Motivation der Teilnehmer.
Daher ist es zentral, die Motivation der Teilnehmer an solchen Studien zu verstehen. Jeder TN ist unterschiedlich, was nicht zuletzt auch mit der Persönlichkeit zusammenhängt. Und dann geht es darum, diese Motivation zu bedienen. Das kann mit der Art der Incentivierung passieren, das muss aber auf jeden Fall mit der Ansprache der Moderation gewährleistet werden. Mein Tipp: Damit sollte man sich nicht Zeit lassen sondern von der ersten Sekunde der Community-Laufzeit darauf hinwirken, dass die Motivationen klar verstanden sind und bedient werden.
Wer als TN keine „emotionale Rendite“ aus der Teilnahme zieht, der ist schnell wieder weg. Zu kostbar ist letztendlich doch die Zeit…

3. Ausgewogenheit bei der Anzahl Beiträge pro Community-Mitglied
Letztendlich sollen alle Mitglieder der Community beitragen. Es nützt nichts, wenn offiziell alle aktiviert wurden, sich dann aber recht schnell darstellt, dass die Großzahl der Beiträge sich auf ein paar wenige Schultern verteilt. Um diesem „Wikipedia-Effekt“ zu entgehen, ist eine kontrollierte und individuelle Moderation notwendig. Diese muss nicht zwangsläufig nur auf der Plattform stattfinden. Auch E-Mails an einzelne TN oder Telefonate helfen hier sowohl mehr zu aktivieren als auch zu „bremsen“. Eine Gleichverteilung der Beiträge wird man nie erreichen, das ist auch nicht sinnvoll. Es ist jedoch wichtig auch hier unterschiedliche Formate und Ansprachemodi einzusetzen, um die unterschiedlichen Persönlichkeiten der TN zu stimulieren. Das ist Moderationshandwerk und kann einem von der Plattform oder der Software nicht abgenommen werden. Daher ist es so wichtig, dass die Moderation von erfahrenen qualitativen Moderatoren oder Moderatorinnen übernommen wird.

<Dieser Beitrag ist vorher erschienen auf Christians Blog olympiamilano.de>

Share

Über den Autor

Marktforschung mit Leidenschaft mit jeder Menge Erfahrung wie Research für Marketing, Strategie und R&D nutzbar gemacht wird

4 Kommentare

  1. Johannes Mirus am

    Sehr guter Beitrag! Ich denke, letztlich geht es immer darum, die Teilnehmer intrinsisch zu motivieren, denn das hat dann direkte Auswirkungen auf die Teilnahmebereitschaft und die Menge und Qualität der Beiträge.

    Davon abgesehen: Wer die Hälfte oder mehr seiner Teilnehmer im Forschungsverlauf verliert, hat nicht nur ein ökonomisches Problem, sondern schnell auch ein inhaltlich-methodisches.

  2. Christian am

    Danke Johannes,

    Spannend ist es, wie diese intrinsische Motivation angeregt, gesteigert und maximiert werden kann. Je nach Rekrutierungsquelle überwiegt ja erst mal die extrinsische Motivation (Incentive), die TN wissen ja nicht, was sie erwartet. Dass man dann ein paar wenige verliert ist auch klar. Aber bei 50% muss man einfach sagen, dass das Handwerk nicht verstanden wird.

    Wegen Dropout. Mich würde mal interessieren, wie viele TN eine Gruppendiskussion frühzeitig verlassen würden, wenn die Bindung der sozialen Situation nicht so stark wäre 😉

    Viele Grüße
    Christian

  3. Saskia Kettner am

    Danke für diesen Beitrag! Ich denke auch, dass wir etwas Abstand von der „Technikgläubigkeit“ gewinnen sollten… „Die Software wird’s schon richten“ Das ist ein Irrtum. Die beste Software der Welt kommt nicht gegen eine kommunikationsmüden Moderator an. Qualiative Forschung lebt von der Interaktion vom persönlichen Austausch. Egal ob offline oder online. Ich denke es gibt auf den guten Plattformen einige Möglichkeiten die Moderation zu unterstützen / zu vereinfachen, aber am Ende kann der Mensch halt nicht ersetzt werden.
    Sicher steht am Anfang eine extrinsische Motivation (obwohl das Thema an sich auch relevant sein kann!), aber dann müssen andere Faktoren übernehmen. TN wollen wahrgenommen, gehört, verstanden werden… das macht sie zufrieden! Also wiederum der Moderator.
    Am Ende möchte ich eines betonten: Bitte lasst nicht den Praktikanten modererieren. Moderation ist ein Expertenjob, das kann eben nicht jeder! DAS werden die Teilnehmer danken.

  4. Hallo Saskia,

    vielen Dank für Deinen Kommentar, der mir auch aus der Seele spricht.
    Vor allem Dein letzter Punkt ist wichtig und bezieht sich ja nicht nur auf die qualitative Online-Forschung.
    Wäre wirklich kontraproduktiv wenn wir unseren Beitrag dazu leisten, dass man gute von schlechter MaFo nicht mehr unterscheiden kann – an der Oberfläche…

    Viele Grüße
    Christian