Gezielte A/B-Tests mit 22 festen Bildpaaren?

Hallo zusammen,

ich bin Erstnutzer (aktuell Premium-Account) und benötige Unterstützung bei der Einrichtung einer spezifischen Umfrage für Bild-Vergleiche.

Mein Ziel:

• 22 feste Bildpaare: Ich möchte 22 Sets erstellen, bei denen jeweils Bild A gegen Bild B getestet wird.

• Kein "Round-Robin": Ich möchte ausdrücklich nicht, dass jedes Bild gegen jedes andere verglichen wird (Pairwise Comparison), sondern nur die von mir definierten Paare.

• L/R-Randomisierung: Innerhalb eines Paares soll zufällig entschieden werden, welches Bild links und welches rechts erscheint

Mein Problem:
Bisher habe ich nur die Funktion gefunden, bei der alle hochgeladenen Bilder untereinander gemischt werden. Wie erstelle ich gezielt diese 22 festen Matchups? Wie kann hierfür 22 einzelne "Fragen" bzw. "Steps" anlegen? Unterstützt PollUnit dabei die Links-Rechts-Randomisierung innerhalb dieser "Steps"?

Wäre für einen kurzen Guide oder Tipp sehr dankbar!

Bei unserem Paarweisen Vergleich geht es explizit darum, nur einen Teil von einer großen Menge an Optionen zu vergleichen. Unser System bietet daher momentan keine Möglichkeit feste Paare anzulegen.

Eine Alternative könnten unsere Umfragen sein. Hier könnte pro Set ein eigener Schritt angelegt werden. Als Schritt kann auch eine Bewertung über Bilder erstellt werden mit einem »Superlativ« Voting kann dann die beste Option gewählt werden. Momentan werden hier die Bilder untereinander angezeigt und nicht per Zufall sortiert. Ich nehme das aber mal als Funktionswunsch auf.

Vielen Dank für die schnelle und ehrliche Rückmeldung.

Das ist wirklich schade zu hören. Der Verzicht auf feste Paare und die entsprechende Randomisierung macht PollUnit leider für eine sehr große Kategorie von A/B-Tests unbrauchbar.

In der Medizin, der Kosmetik und bei der Bildoptimierung (insbesondere im aktuellen Bereich der KI-Edits) sind Vorher-Nachher-Vergleiche der absolute Standard. Hier geht es nicht um eine Auswahl aus vielen Optionen, sondern um die gezielte Validierung einer spezifischen Änderung. Ohne die Links-Rechts-Randomisierung sind die Ergebnisse zudem durch den 'Position Bias' leider nicht belastbar.

Ich schätze euren bisherigen Ansatz und das faire Preismodell sehr – ein dickes Dankeschön dafür! Ich bin jedoch überrascht, dass diese doch recht grundlegende Funktionalität fehlt, da sie technisch oft simpler umzusetzen ist als komplexe Paar-Algorithmen.

Ich hätte sehr gerne ein europäisches Unternehmen unterstützt, muss nun aber für dieses Projekt doch auf einen US-Wettbewerber ausweichen, der diese Standard-A/B-Logik beherrscht. Ich hoffe, ihr nehmt das Feedback als Impuls für künftige Updates auf.

Danke Dir für die Beschreibung Deiner Use-Cases! Das hilft uns sehr weiter.
Ich werde das Thema in unserem nächsten Planungs-Meeting vorstellen und mich anschließend hier wieder bei Dir melden.

Wir entwickeln unsere Funktionen stark auf Basis der Bedürfnisse unserer Nutzer:innen. Daher bin ich zuversichtlich, dass wir hierfür in Zukunft eine passende Lösung anbieten können.

Feature Release: Optionen in Umfrage-Schritten randomisieren

Der erste Schritt, um Deinen Use Case besser abzubilden, ist jetzt live:
In PollUnit kannst Du ab sofort bei Umfragen die Optionen innerhalb eines Bewertungs-Schritts zufällig anordnen.

So kannst Du nun auch Bilder in zufälliger Reihenfolge anzeigen und bewerten lassen. Für Deinen konkreten A/B-Setup (feste Paare + L/R-Randomisierung) ist das noch nicht die finale Lösung, aber ein erster Baustein in die Richtung. Dein Feedback dazu war super hilfreich und ist weiterhin Teil unserer Planung.

Besten Dank für das Update, Markus!

Toll, dass ihr Benutzerinput ernst nehmt!

Auch wenn es für meine aktuellen Zwecke etwas zu spät kommt, erlaube ich mir, euch drei echte Use-Cases etwas genauer darzustellen, vielleicht bringt es euch ja was für die zukünftige Featureentwicklung:

• Use-Case 1: Zuletzt hatte ich 50 Probanden, die ein Mittel zur Wimpernstärkung nutzten. Von jedem Probanden existierten Bilder vor und nach der Nutzung des Mittels. Zwecks Validierung des Ergebnisses hätten die Bewerter mit R/L-Randomisierung bewerten sollen, welches Wimpernbild jeweils besser aussah.

• Use-Case 2: Einige Bilder für eine Marketingaktion wurden per KI erstellt. Die Bilder wurden inkrementell mehrfach weiter angepasst, aber mir als Ersteller war jeweils oft unklar, ob die neue Version besser war als die vorherige Version oder nicht. Dafür dann ein A/B-Testing mit einer Fokusgruppe, immer nur mit der einen Änderung und der Frage "Was ist besser, R/L?" (Hier wäre es auch interessant gewesen, den A/B-Test in einen AI-agentischen Workflow einzubinden, um den Loop zu automatisieren; dies hätte eine API beim A/B-Test vorausgesetzt - vielleicht auch ein Feature, über das ihr nachdenken solltet!)

• Use-Case 3: Vor und nach einer orthopädischen Intervention wurden Aufnahmen bildgebender Verfahren (CT, MRT/NMR usw.) der betroffenen Körperteile gemacht. Die Bewerter sollten beurteilen, welche Bilder "gesünder"/"funktionaler"/"besser" aussehen. Dies setzte allerdings sehr hohe Auflösungen voraus.

Alle dies Workflows sind mir auch tatsächlich so untergekommen sind. Zur Erläuterung: Ich bin zwar Hardcore-ITler (v.a. Projektleitung, Architektur, Entwicklung) mit AI-Exposure, habe aber auch Medizin studiert, hatte früher ein kleines Medtech-Startup, bin aktuell aber bei einem Biotech-/Kosmetikunternehmen.

Ich wünsche Euch auch weiterhin viel Erfolg bei diesem wirklich schönen Projekt!

Hallo Victor, danke Dir nochmal, dass Du das mit uns teilst!

Wir arbeiten aktuell an einer ersten Version der API und geben hier Bescheid, sobald es Updates gibt. Die erste Version sollte auch nicht mehr allzu lange auf sich warten lassen.

Zu deinem Use Case 3: Was verstehst du konkret unter »sehr hoher Auflösung«?
Wir hatten dazu bereits Gespräche mit Fotoclubs und u. a. eine Verdoppelung der Auflösung der Bildderivate diskutiert. In der Praxis hat sich jedoch gezeigt, dass unsere aktuelle maximale Auflösung von 1920×1920 für die meisten ausreichend ist und bisher kein größerer Bedarf an höheren Auflösungen bestand.