Market Research - Data Strategy : Tracker Best Practices

Aus einem smartinteview Use Case: Tracking von 1000en Marken in 40 Ländern

Brand tracking ist ein kritischer Datenerhebungsprozess für Marken und ermöglicht Unternehmen, Einblicke in die Markenperformance über mehrere Regionen und Marken hinweg zu gewinnen. Allerdings kann die Verwaltung von Daten über 1000+ Marken in 40 Ländern aus Datenperspektive schnell überwältigend werden.

Der Schlüssel zum Erfolg in diesem Bereich liegt sowohl in der richtigen Data strategy als auch in der richtigen technischen Expertise.

Brand tracking ist eine starke Methode, um die Zahl der Endkunden für ein Market Research Institut zu skalieren, muss aber korrekt umgesetzt werden. Dabei können viele Herausforderungen auftreten, z. B. kein passender Delivery-Prozess von Survey-Daten in Analytics.

Um es richtig zu machen, braucht man sowohl die richtigen Engineers als auch die richtige Strategy.

Wir erkannten das Potenzial einer robusteren Lösung, die Market Researchers dabei hilft, Marken über verschiedene Geografien hinweg zu tracken und erweiterte quant/qual Insights automatisch zu analysieren.

Endkunden sind große Entertainment-Unternehmen.

• Wir haben festgestellt, dass die Kombination aus fortgeschrittenen AI-Modellen – wie Speech-to-text-Technologie – und Large Language Models (LLMs) die Insight-Qualität für Brand Research deutlich erhöht.

• Außerdem würde die Skalierung eines Brand Trackers zu einer "SaaS/Product"-Version dem Team viel Zeit sparen, indem manuelle Arbeit reduziert wird.

Team-Treffen in Dubai, 2025.03 

(von links nach rechts: Paul Serre, Full-stack Freelancer bei smartinterview, Nicolae, Software Engineer bei Pulse Partners und ich)

Aber das war nicht einfach… wir haben anfangs viele Fehler gemacht, als wir versuchten, SmartInterview mit diesem finalen Tracker in Einklang zu bringen. In diesem Artikel möchte ich unsere wichtigsten Learnings nach vielen gescheiterten Versuchen teilen, die leistungsfähigste Brand tracking Market Research Software durch die Integration von smartinterview.ai zu bauen.

Herausforderungen

Anfangs wurde mir klar, dass eine der größten Herausforderungen für Market Researchers in ihrer IT- und Data strategy liegt. Dieser Bereich liegt oft außerhalb ihrer Expertise, wodurch es schwierig ist, die richtigen Ressourcen zuzuweisen – sowohl Zeit als auch Budget.

Die richtigen Partner auszuwählen, um sicherzustellen, dass ihre Data strategy mit ihren Kernaktivitäten übereinstimmt, kann eine schwierige Aufgabe sein. Außerdem kann die Abhängigkeit von Standard-Market-Software schnell prohibitv teuer werden, mit Kosten von leicht $100K pro Jahr für kleine Institute.

Dann entwickelten wir ein erstes PoC, um diese Art von Research in unserem initialen ICP zu priorisieren.

Es ist ziemlich komplex, aber wir wussten, dass wir durch das Lösen dieser Art von Tracker auch alle einfacheren Use Cases lösen könnten.

Unsere Haupt-Value-Proposition war dann, die Qualität der Insights für Kunden von Market Research Institutes deutlich zu verbessern, indem wir LLM-Modelle und Speech-to-text in ihren offenen Fragen einsetzen. Dafür mussten wir die kritischen Industriestandards berücksichtigen, die im Wesentlichen unsere „market entry barriers“ waren.

Eine exzellente Quantitative Market Research Data Collection Software sollte aus Datensicht auf zwei zentralen Säulen aufgebaut sein:

1. Data Delivery

2. Timing Data Quality (keine Fake-Daten, keine fehlenden Daten usw.)

Außer wenn man wirklich stark darin ist, frühe Anforderungen zu verstehen und zu definieren sowie die erfolgreichste Software im Markt zu reverse-engineeren, denke ich, dass jeder Market Research Software Builder mit den Schwierigkeiten konfrontiert wird, die wir erlebt haben, und bei einigen Projekten anfangs fast scheitert. Hier ist eine Übersicht dieser Säulen: wie wir mit diesen spezifischen Herausforderungen in SmartInterview gerungen und sie letztlich gelöst haben.

1. Data delivery timing:

Wir haben die Antworten von Multiple-Choice-Fragen zuvor mit diesen spezifischen IDs beschrieben:

response_table:
id[int] | value | list[str]

• id als Name der Frage

• value die Antwort

• list_str die Liste der Items für Multiple-Choice.

Das erschwerte jedoch die Verwaltung von Multiple-Choice-Fragen über mehrere Surveys hinweg.

Am Anfang hat SmartInterview die meisten unserer Kunden ausgebremst; trotz tieferer Insights war es dadurch in Bezug auf Kosteneffizienz unzuverlässig

2. Data quality

Smartinterview Frage

In diesem Artikel erklären wir auch, wie wir Herausforderungen adressiert haben, um Industry-Standards für Data Quality zu erfüllen, was uns letztlich ermöglichte, mehr Projekte mit besseren Insights als unsere Wettbewerber zu liefern.

Wir mussten unseren Fokus sowohl auf Data Quality als auch auf Speed-Standards verstärken, um SmartInterview in eine professionelle Market Research Software-Lösung zu transformieren.

Data Quality bedeutet im Wesentlichen:

• Kein Datenverlust innerhalb einer Survey

• Reichhaltige Insights (Speeder-Removals,…)

• Logisches Fieldwork-Management über Samples hinweg

Lösungen

1. Data delivery timing:

Für mehrere Länder haben wir das Datenformat angepasst, sodass Kunden Daten aus 17 Ländern mit einer einzigen SQL-Query aggregieren können. Quantitative Market Research Daten werden jetzt automatisch aggregiert, wodurch sich Analytics darauf leichter aufbauen lassen. Das erreichten wir durch Re-Indexierung der gesamten Software und durch eine zusätzliche Ebene für die Antwort jedes Kunden.

—> Wir mussten das Data-Output-Format transformieren.

Wir haben z. B. Multiple-Choice geändert zu:

(new) response_table:
id[int] | ID[str] | value | dict[int : str]

Die ID entspricht der Question-ID, und value entspricht der Antwort. Das Mapping mit Keys erlaubt uns, Daten aus mehreren Surveys zu gruppieren.

Es mag einfach erscheinen, aber wenn die gesamte Software auf dieser Struktur basiert, dauert es Wochen, die notwendigen Änderungen umzusetzen.

Früher mussten wir mit der alten Datenarchitektur eine SQL-Query pro Land ausführen (500+ Zeilen), wie in diesem Auszug für Spanien:

Smartinterview - ancienne SQL-Query

und jetzt ist es viel einfacher geworden, sodass wir 40 Länder in einer Query skalieren und aggregieren können:

Smartinterview - nouvelle SQL-Query

Kunden können Survey-Daten nun leicht aggregieren, um darauf Analytics aufzubauen.

Wir kamen zu dem Schluss, dass wir in dieser Branche Integration von Anfang an in jedem Projekt priorisieren müssen, damit jeder Kunde den Wert unserer Lösung maximal ausschöpft. Sie sollten für jedes Projekt gleiche oder bessere Delivery-Zeiten erleben – kombiniert mit exzellenten qualitativen Insights.

Dieses Detail mag banal wirken (SQL-Queries mit 500+ Zeilen), ist aber entscheidend für die Skalierung unserer Lösung. Wir waren überrascht, wie ein notwendiger Data-Transformation-Schritt letztlich zu Zeitverlust führen kann, wenn er nicht frühzeitig adressiert wird. Wenn du einen ähnlichen Use Case hast, stelle sicher, dass du Integration von Anfang an antizipierst.

Ich habe ein komplettes Video erstellt, das erklärt, wie man interne Data strategy für erfolgreiche AI-Integration managt: YouTube link 

Wenn du Französisch verstehst, bin ich sicher, dass es nützlich sein wird, damit du Integration frühzeitig einplanst.

2. Data quality :

Wir haben die Feedback-Schleife zwischen Responses und Analyse beschleunigt, indem wir ein umfassendes Analytics-Dashboard sowohl für Endkunden als auch für uns als Programmierer bereitgestellt haben. Durch Reverse-Engineering von Industriestandards haben wir implementiert:

• % Drop-out measure

• % Completed measure

• Completion-Boolean pro Respondent

• Und weitere Schlüsselparameter, die in Market Research Software üblich sind.

Jetzt kannst du die wichtigsten Market Research KPIs über unser proprietäres Dashboard verfolgen (app.smartinterview.ai):

smartinterview exklusives B2B-Analytics-Dashboard

Die richtige Data strategy - eine Zusammenfassung

Eine automatisierte Survey-Datenübertragung in PowerBI-Analytics wurde durch folgende Architektur ermöglicht:

smartinterview exklusiver B2B-Service für Tracker

Die Cloud Function extrahiert, aggregiert und importiert Daten aus SmartInterview in Azure SQL für den Endkunden, der Zugriff auf Live-Daten benötigt.

Alle 5 Minuten führen wir ein Upsert der Daten der letzten 24 Stunden durch. Dieser Ansatz reduziert die Zeit zwischen Datenerhebung und Insight-Präsentation drastisch, insbesondere im Vergleich zu den traditionellen PowerPoint-Reports, die in Market Research Institutes üblich sind.

Als Ergebnis berichtete der Kunde von einer Einsparung von 20 Full-time equivalent (FTE)-Tagen pro Quartal. Außerdem half uns die Konfrontation mit dieser anfänglichen Herausforderung, das ideale Datenformat für den Output von SmartInterview zu bestimmen. Auch wenn es unseren Go-to-Market-Prozess anfangs verzögerte, geschah dies aus einem entscheidenden Grund: Wir bauten eine robuste Datenarchitektur, die Industriestandards nicht nur erfüllt, sondern übertreffen kann – insbesondere für Brand Tracker, wenn Unternehmen auf unsere Infrastruktur angewiesen sind.

Durch Gespräche mit Market Research Führungskräften wurde uns klar, dass viele AI-Lösungen im Markt diesen anspruchsvollen Data-Transformation-Prozess nicht durchlaufen, wodurch sie für Market Research Projekte weniger geeignet sind.

qAI-Optimierung

Einer der zentralen Bereiche der AI-Adoption ist die Analyse offener Fragen innerhalb von SmartInterview. Wir experimentieren damit mit einem komplett neuen Ansatz, um Brand Recognition und Concept Testing in offenen Fragen während Brand Tracking zu erkennen und zu verbessern.

Aber wir gehen im nächsten Artikel tiefer auf dieses Thema ein 😌, also bleib dran!

Die Evolution von Market Research Trackers

Um weitere interessante Themen zu öffnen: Wir haben ungenutztes Potenzial in Market Research Trackers identifiziert, bei denen AI und großskaliges Data Engineering den Wert für Endkunden deutlich steigern können. Hier sind 3 große Trends, an denen wir aktuell arbeiten und die wir bald beschreiben:

1. AI Explainability
Begründung eines Insights, indem es direkt mit einem spezifischen Respondent verknüpft wird.

2. A New Data Layer for Unstructured Data
Diese Layer verbindet unstrukturierte Daten aus offenen Fragen mit Bedingungen via LLM-StructuredOutput. Das ist ein Game-Changer, da wir dadurch unstrukturierte Insights navigieren und quantifizieren können und Analytics ohne tausende Stunden manueller Nacharbeit möglich werden.

3. AI Classification
Erkennung von Sentiments und Identifikation „goldener“ bzw. „fundamentaler“ Themen. Das hat enormen Wert für Market Research Institutes, da es ihnen beim Skalieren ihrer Analyse offener Antworten Tage an Arbeit spart.

Durch unsere Partnerschaften mit OpenAI und Microsoft Azure erhalten wir außerdem Early Access zu neuen Modellen, die wir testen und in unsere Produkte integrieren können. Wenn dich das begeistert und du vor ähnlichen Herausforderungen stehst, melde dich gern bei mir unter matthieu.saussaye@pulse-partners.ch.

Wir sind immer auf der Suche nach innovativen Unternehmen, die ihre Data Insights Strategy skalieren wollen, sowie nach smarten Engineers für unser Team!