Einstufung von Verbatims in Ebene 1 und 2: Tutorial

Offene Verbatims (Level 1 und 2) mit smartinterivew klassifizieren

Sobald die Daten erhoben wurden, sei es über SmartInterview oder eine externe Datei, ist der nächste Schritt, offene Antworten in nutzbare thematische Codes umzuwandeln.

Smartinterview ermöglicht:

• Einen Codierungsplan zu definieren (1 oder 2 Tiefenebenen) (bald 3)

• Themen automatisch per KI zu generieren, mit benutzerdefinierten Anweisungen

• Die Anzahl der Codes pro Befragtem dank eines Regelsystems präzise zu steuern

• Einen Trainingsdatensatz zu importieren, um die Klassifizierung zu steuern

• Eine Stichprobe vorzuklassifizieren und Ergebnisse zu korrigieren

• Die vollständige Klassifizierung über alle Antworten zu starten

• Die Qualität der Codes mit einer MECE-Korrelationsmatrix zu bewerten (mutually exclusive, collectively exhaustive)

• Ergebnisse nach Excel zu exportieren

• Ergebnisse im Dashboard zu analysieren

Dieser Artikel erklärt, Schritt für Schritt, wie man in der Plattform eine Klassifizierung mit 1 oder 2 Ebenen durchführt.

1. Datenquelle auswählen

Die Codierung akzeptiert zwei Quellen :

Excel-Datei:

Umfrage:

Dateiimport: Spaltenauswahl

Beim Import einer Datei müssen Sie dem System angeben :

• Die Befragten-Spalte (eindeutige Kennung jedes Befragten)

  • Wenn Ihre Datei keine Kennung enthält, wählen Sie "No column" : das System nummeriert die Befragten automatisch von 1 bis N

• Die Antwortspalte zur Klassifizierung (die Verbatims)

 Tipp : Das System erkennt gängige Spalten automatisch (Respondent_ID, Serial, Réponses, Answer, usw.) anhand der Datei-Header.

[Screenshot: Spaltenauswahl in der Konfiguration]

2. Klassifizierungstiefe wählen

Tiefe 1 Ebene (nur L1)

Eine flache Liste mit Hauptthemen. Jede Antwort wird einem oder mehreren Themen zugeordnet.

    Ease of use ← L1
    Performance ← L1
 User interface ← L1
        Nothing ← L1

    Ease of use ← L1
    Performance ← L1
 User interface ← L1
        Nothing ← L1

    Ease of use ← L1
    Performance ← L1
 User interface ← L1
        Nothing ← L1

Use Case : explorative Studien, schnelle Erstanalyse, kurze Verbatims.

Tiefe 2 Ebenen (L1 + L2)

Hauptthemen (L1) mit zugehörigen Sub-Themen (L2). Die Struktur ist hierarchisch : jedes Sub-Thema gehört genau zu einem Parent-Thema.

Ease of use                          ← L1 (thème principal)
  ├── Interface is intuitive         ← L2 (sous-thème)
  ├── Navigation is confusing        ← L2
  └── Easy to complete tasks         ← L2

Performance                          ← L1
  ├── App is fast                    ← L2
  └── App crashes or freezes         ← L2

User interface                       ← L1
  ├── Interface is easy to use       ← L2
  └── Interface is confusing         ← L2


Nothing                              ← L1
  └── Nothing                        ← L2

Ease of use                          ← L1 (thème principal)
  ├── Interface is intuitive         ← L2 (sous-thème)
  ├── Navigation is confusing        ← L2
  └── Easy to complete tasks         ← L2

Performance                          ← L1
  ├── App is fast                    ← L2
  └── App crashes or freezes         ← L2

User interface                       ← L1
  ├── Interface is easy to use       ← L2
  └── Interface is confusing         ← L2


Nothing                              ← L1
  └── Nothing                        ← L2

Ease of use                          ← L1 (thème principal)
  ├── Interface is intuitive         ← L2 (sous-thème)
  ├── Navigation is confusing        ← L2
  └── Easy to complete tasks         ← L2

Performance                          ← L1
  ├── App is fast                    ← L2
  └── App crashes or freezes         ← L2

User interface                       ← L1
  ├── Interface is easy to use       ← L2
  └── Interface is confusing         ← L2


Nothing                              ← L1
  └── Nothing                        ← L2

Use Case : tiefgehende Studien mit feiner Granularität, Differenzierung von Nuancen innerhalb desselben Themas, Codierungen nach market research standards.

In diesem Beispiel:

• Ease of use → L1 (Hauptthema)

• Zeilen mit einer ID → L2 (Sub-Themen)

  
  

3. Codierungsplan definieren

Sie haben außerdem zwei Möglichkeiten, Ihren Codeplan zu erstellen :

• A - Einen Excel code-frame importieren (wie im Beispiel) 

• B - Die KI die Themen generieren lassen.

  
  

Option A: Codes per Excel importieren

Wenn Sie bereits über einen code-frame verfügen, importieren Sie ihn direkt.

Format für 1 Ebene

Eine Datei mit mindestens einer Spalte, die die Themenlabels enthält :

Format für 2 Ebenen

Die Datei muss L1 und L2 hierarchisch strukturieren. Das System erkennt die Spalten ID und Label automatisch anhand der Header.

Option 1 :  Getrennte Ebenenspalten (in einem Excel-Sheet):

Option 2 : Mit Kennungen und Parent_ID :

💡 Tipp : Sie müssen die Topics in einem separaten Sheet Ihrer Excel-Datei speichern (z. B. ein Tab "Topics"). Das System schlägt Ihnen vor, das Sheet mit den Codes auszuwählen.

Vorschau und Filterung

Nach dem Import wird eine Vorschau des code-frame angezeigt mit :

• Der Anzahl erkannter Topics (automatisch aktualisiert)

• Der Möglichkeit, nach Spalte zu filtern (nützlich, um bestimmte Kategorien auszuschließen)

• Der Möglichkeit, einzelne Zeilen manuell auszuschließen

Option B: Codes per KI generieren

Wenn Sie keinen bestehenden Codeplan haben, analysiert die KI eine Stichprobe Ihrer Antworten und erkennt wiederkehrende Themen automatisch.

Wie es funktioniert

1. Das System zieht eine Stichprobe von bis zu 400 Antworten aus Ihrer Datei

2. Die KI identifiziert wiederkehrende Themen und formuliert sie als klare Labels

3. Die Themen werden nach geschätzten Häufigkeiten sortiert (indikative Anzahl betroffener Befragter)

4. Die Themen werden automatisch nummeriert (sequenzielle IDs)

Benutzerdefinierte Anweisungen geben (Guidelines)

Sie können die Generierung steuern, indem Sie Textanweisungen im Feld "Guidelines" angeben:

Focus on sensory attributes.
Separate positive and negative perceptions.
Include a "Nothing / No comment" category.
Always use English labels

Focus on sensory attributes.
Separate positive and negative perceptions.
Include a "Nothing / No comment" category.
Always use English labels

Focus on sensory attributes.
Separate positive and negative perceptions.
Include a "Nothing / No comment" category.
Always use English labels

Diese Anweisungen beeinflussen direkt :

• Das verwendete Vokabular für die Labels

• Das Granularitätsniveau (mehr oder weniger Themen)

• Die Analyseperspektive (sensorisch, emotional, funktional...)

• Die Sprache der Labels

⚠️ Wichtig : Die Anweisungen sind in der  Beta-Version. Sie funktionieren gut zur Steuerung der Generierung, aber die Ergebnisse können variieren. Prüfen Sie die generierten Themen immer.

Generierung im 2-Ebenen-Modus

Im 2-Ebenen-Modus umfasst der Prozess zwei Schritte :

1. Generierung der L1: Die KI identifiziert die Hauptthemen

2. Automatische Generierung der L2: Für jedes L1-Thema erzeugt die KI automatisch Sub-Themen auf Basis der entsprechenden Antworten

L1-Themen, die noch keine Sub-Themen haben, werden automatisch erkannt, und das System startet die Generierung der fehlenden L2, bevor die Klassifizierung beginnt.

Themen-Editor

Ob importiert oder generiert, die Themen erscheinen im Themen-Editor (linkes Seitenpanel), wo Sie :

💡 Die geschätzten Häufigkeiten (indikative Zahl neben jedem Thema) werden nach jeder Klassifizierung neu berechnet. Vor der ersten Klassifizierung stammen sie aus der KI-Schätzung bei der Generierung.

4. Klassifizierungsregeln konfigurieren

Regeln steuern, wie viele Codes jedem Befragten zugewiesen werden können. Sie werden auf drei Ebenen angewendet : bei der Vor-Klassifizierung, auf importierte Beispiele, und bei der vollständigen Klassifizierung.

Regeln für 1 Ebene

Beispiel : Mit Max codes = 3 kann ein Befragter höchstens 3 Themen erhalten, auch wenn seine Antwort mehr erwähnt.

Regeln für 2 Ebenen

Im 2-Ebenen-Modus ermöglichen drei ergänzende Parameter eine feine Steuerung :

Reihenfolge der Regelanwendung:

1. Max L1 : Begrenzt die Anzahl der Hauptthemen (Pass 1)

2. Max L2/L1 : Begrenzt Sub-Themen pro Parent (Pass 2, per Aufrufe)

3. Max L2 global : Endgültige Obergrenze nach Zusammenführung aller Sub-Themen (Post-Processing)

💡 Hinweis : Max L2/L1 ist besonders nützlich, wenn manche L1-Themen sehr breit sind und sonst alle Sub-Themen dominieren würden. Zum Beispiel mit Max L2/L1 = 2 kann jedes Parent-Thema höchstens 2 Sub-Themen beitragen, was für eine ausgewogene Verteilung sorgt.

5. Trainingsdatensatz importieren (historische Daten) (optional)

Warum Beispiele importieren?

Ein Trainingsdatensatz (oder few-shot examples) ermöglicht es, Beispiele bereits codierter Verbatims zu zeigen. Diese Beispiele werden als Kontext gesendet, um jeden Klassifizierungsbatch zu steuern.

Der Import wird empfohlen, wenn:

• Die Themen nuanciert oder eng beieinander liegen.

• Sie Kontinuität innerhalb eines Projekts oder zwischen mehreren Projekten wünschen.

• Sie spezifische Codierungskonventionen haben (z. B.: bestimmte Ausdrücke sollen immer unter einem bestimmten Thema klassifiziert werden)

• Sie eine bestehende Klassifizierung auf neue Daten reproduzieren möchten.

• Die Vor-Klassifizierung ohne Beispiele unbefriedigende Ergebnisse liefert.

Format der Trainingsdatei

Die Excel-Datei muss wie folgt aufgebaut sein :

Das System erkennt automatisch Spalten mit Codes, indem es sie mit den im Codierungsplan definierten Themen abgleicht. Spalten, deren Werte bekannten Themen entsprechen, werden automatisch identifiziert.

⚠️ Limit : 30 Beispiele werden gespeichert. Die Codes müssen mit denen übereinstimmen, die im ursprünglichen Codeplan der neu importierten Dateien verwendet werden.

Prüfung und Übersetzung

Jedes importierte Beispiel wird angezeigt mit :

• Dem Antworttext (Verbatim)

• Den zugewiesenen Themen-Badges (mit Farbcodierung)

• Einem individuellen Übersetzungsbutton mit Sprachauswahl (Français, English, Deutsch)

Die Übersetzung ermöglicht die Prüfung des Inhalts der Beispiele in Ihrer Arbeitssprache, ohne die an die Klassifizierung gesendeten Daten zu ändern.

6. Eine Stichprobe vor-klassifizieren

Was ist Vor-Klassifizierung?

Bevor die Klassifizierung auf den gesamten Datensatz angewendet wird, klassifiziert das System testweise die ersten 30 Antworten. Dies ist der wichtigste Schritt, um die Qualität Ihres Codierungsplans zu validieren.

Die Vor-Klassifizierung nutzt exakt denselben Algorithmus wie die vollständige Klassifizierung, aber auf einer kleineren Stichprobe für eine schnelle Prüfung.

Was Ihnen die Vor-Klassifizierung zeigt

Für jede Antwort sehen Sie :

• Den Verbatim-Text (mit Hervorhebung von Keywords, die den Themen entsprechen)

• Zugewiesene L1-Badges (mit Farbcodierung)

• Zugewiesene L2-Badges (wenn Tiefe = 2), unter ihren L1-Parents gruppiert

• Eine Zusammenfassung : Anzahl klassifizierter Antworten insgesamt

Ergebnisse korrigieren

Die Vor-Klassifizierung ist interaktiv: Sie können jede Zeile korrigieren :

💡 Validierungsbereich : Alle Zeilen zwischen Ihrer ersten und letzten Korrektur gelten als validiert. Sie werden blau markiert und werden automatisch zu  für die vollständige Klassifizierung.

7. Vollständige Klassifizierung starten

Wann die Klassifizierung starten?

Starten Sie die vollständige Klassifizierung, wenn :

• Die Themen der Vor-Klassifizierung Ihren Erwartungen entsprechen

• Mögliche Korrekturen in den ersten 30 Zeilen vorgenommen wurden

• Trainingsdaten importiert wurden.

• Die Regeln (Max codes) korrekt konfiguriert sind

Was im Hintergrund passiert

1. Die Antworten werden in Batches aufgeteilt

2. Jeder Batch wird mit Folgendem an die KI gesendet:

   • Die Liste der verfügbaren Themen

   • Die Trainingsbeispiele (importiert + Korrekturen aus der Vor-Klassifizierung)

   • Die konfigurierten Regeln für Limits

3. Im 2-Ebenen-Modus:

   • Pass 1 : L1-Klassifizierung über alle Batches

   • Pass 2 : Für jedes zugewiesene L1-Thema L2-Klassifizierung pro Parent

   • Post-Processing : Anwendung der globalen L2-Obergrenze (Max L2)

Ergebnis

Nach der Klassifizierung sehen Sie :

• Einen Erfolgsbanner : "Classification complete : N classified responses"

• Die ersten 30 Antworten mit ihren zugewiesenen Codes (bearbeitbar)

• Die importierten Beispiele (ausklappbarer Bereich, wenn ein Trainingsdatensatz verwendet wurde)

• Die Korrelationsmatrix (siehe nächsten Abschnitt)

8. Ergebnisse mit der Korrelationsmatrix bewerten

Das MECE-Prinzip

Ein hochwertiger Codierungsplan muss MECE sein:

• Mutually Exclusive : Jedes Thema deckt einen eigenständigen Aspekt ab. Zwei Themen sollten nicht dasselbe beschreiben.

• Collectively Exhaustive : Die Gesamtheit der Themen deckt alle Antworten ab. Kein Verbatim sollte ohne passenden Code bleiben.

Die Co-Occurrence-Matrix lesen

Die Matrix zeigt den Prozentsatz der Befragten, die gleichzeitig zwei Themen erhalten haben. Die Diagonale ist immer 100% (ein Thema ist immer mit sich selbst korreliert).

Wie die Matrix zu interpretieren ist

💡 Stark korrelierte Zellen werden farblich hervorgehoben, um Probleme schnell zu erkennen.

Analysebeispiel

In der obigen Matrix :

• App is fast × Interface is intuitive = 33% → Diese beiden Empfindungen werden manchmal zusammen genannt. Das ist normal für ein per Inhalation konsumiertes Produkt: die Themen bleiben dennoch unterschiedlich.

• Nothing × alles andere = 0% → Perfekt: Befragte ohne Aussage werden nicht in andere Themen klassifiziert.

• Interface is intuitive (122) ist das dominante Thema: 122 Befragte von 232, also mehr als die Hälfte.

Auf die Ergebnisse reagieren

Wenn die Matrix Probleme aufzeigt :

1. Klicken Sie auf "Back to codes" , um zum Themen-Editor zurückzukehren

2. Führen Sie redundante Themen zusammen oder formulieren Sie mehrdeutige Definitionen neu

3. Starten Sie die Klassifizierung erneut; Korrekturen aus den ersten 30 Zeilen bleiben als Trainingsbeispiele erhalten (Button "Re-classify with corrections")

Dieser iterative Zyklus klassifizieren → bewerten → anpassen → neu klassifizieren ermöglicht es, schrittweise einen robusten und MECE-konformen Codierungsplan zu erreichen.

9. Ergebnisse exportieren

Sobald die Klassifizierung validiert ist, klicken Sie auf "Download Excel" , um eine strukturierte Datei zu erhalten :

Praktische Tipps

Wie viele Themen definieren?

Wann 1 Ebene vs. 2 Ebenen verwenden?