Empfehlungen für Mixed-Mode-Designs

Eine bezahlbare Methode finden und die bestmögliche Datenqualität erzielen — das ist wohl die Idealvorstellung eines jeden Markt- und Sozialforschers. Dafür scheinen Mixed-Mode-Designs ein vielversprechendes und beliebtes Mittel zu sein.

Die Vorteile für den Projektablauf sind meist eindeutig: Die Studienteilnahme wird durch den Einsatz verschiedener Erhebungsmodi vereinfacht und somit beschleunigt. Zudem sinken die Kosten, wenn ein kostenintensiver Modus mit einem günstigeren kombiniert wird.

Daneben bieten Mixed-Mode-Designs die Möglichkeit, die Datenqualität im Vergleich zu einer unimodalen Befragung zu verbessern: die Schwächen einzelner Erhebungsmodi können kompensiert, Antwortraten erhöht und dadurch die Verzerrung der Studienergebnisse infolge von Nonreponse sowie Coverage-Fehler verringert werden.

Nicht zwangsweise haben Mixed-Mode-Designs aber den gewünschten positiven Effekt auf die Datenqualität. Eine bloße Vermischung von Kommunikationskanälen und Erhebungsmethoden kann die Datenqualität gar verschlechtern. Werden verschiedene Modi bei der Datenerhebung kombiniert, ist das Risiko unkontrollierter Mode-Effekte hoch. Wissenschaftlich belegt ist, dass erstens verschiedene Probandentypen Vorlieben für unterschiedliche Kommunikationskanäle haben und zweitens die Eigenschaften verschiedener Erhebungsmodi — etwa auditiv oder visuell, selbstgeführt oder interviewergestützt — das Antwortverhalten der Befragten beeinflussen. In Kombination birgt dies die Gefahr von Antwortverzerrungen und einer mangelhaften Vergleichbarkeit beziehungsweise Integrität der Ergebnisse aus verschiedenen Erhebungsformen. Entgegen der gängigen Annahme wird die Responserate zudem nicht erhöht, wenn den Befragten gleichzeitig verschiedene Befragungsmöglichkeiten angeboten werden.

Ob ein Mixed-Mode-Design sinnvoll ist und die Vorteile die möglichen Nachteile überwiegen, muss stets im spezifischen Forschungskontext abgewogen werden. Bei der Wahl der Methode kann aber auf einige grundsätzliche Prämissen zurückgegriffen werden:

  1. Um Messfehler durch Mode-Effekte zu verhindern, empfiehlt sich zunächst stets eine unimodale Datenerhebung. Unbedenklich ist das Hinzuziehen weiterer Modi zur Kontaktaufnahme und Befragten-Ansprache, um die Response-Rate zu verbessern. So hat etwa eine ergänzende postalische oder telefonische Mitteilung (Einladung, Reminder) an die Befragten einer Online-Befragung ausschließlich positive Effekte auf die Stichprobenausschöpfung.
  2. Sind mehrere Modi zur Datenerhebung nötig, weil beispielsweise Responseraten oder Coverage in einem Single-Modus zu gering sind, sollten weitere Erhebungskanäle möglichst nur als Ergänzung des Hauptmodus dienen. Empfohlen wird die vorrangige Datenerhebung mittels eines Hauptmodus mit anschließender Nacherfassung der nichtantwortenden Fälle mithilfe einer anderen Erhebungsmethode. Dieses sequentielle Vorgehen vermindert den Fehler durch Nonresponse und verbessert die Stichprobenausschöpfung.
  3. Werden mehrere Modi zur Datenerhebung genutzt, ist der Einsatz ähnlicher Kommunikationskanäle ratsam. Um den Befragten in allen Modi möglichst gleiche Stimuli zu bieten, empfiehlt sich ein Unified-Modi-Design mit gleichem Wording und gleicher Präsentation der Fragen (Layout, Design). Das Risiko von Mode-Effekten ist beispielsweise relativ gering beim kombinierten Einsatz von Online-Befragung und schriftlichem Fragebogen oder Telefon- und Face-to-Face-Interview.

Quellen:
Edith D. de Leeuw (2005): To Mix or Not to Mix Data Collection Modes in Surveys. In: Journal of Official Statistics 21(2): 233-255.
Don A. Dillmann, Jolene D. Smyth & Leah Melani Christian (2009): Internet, Mail, and Mixed-Mode-Surveys. The Tailored Design Method. Hoboken, New Jersey: John Wiley & Sons, Inc.


Dieser Beitrag erschien in abgewandelter Form in Ausgabe 2/2018 der Research & Results: