Faalcriteria voor business experimenten instellen (voor je begint)

Vorige maand zag ik een team de resultaten van een zes weken durend experiment presenteren. Ze hadden getest of B2B-kopers in de voedselverwerkende industrie zouden betalen voor een nieuwe predictive maintenance dienst. Het experiment: een landingspagina met een “demo aanvragen” button. Hun target: 30% van de bezoekers klikt.

Het resultaat: 12%.

De conclusie van het team? “De resultaten zijn veelbelovend. We moeten de landingspagina optimaliseren en het opnieuw proberen.”

Nee. Twaalf procent tegen een target van dertig procent is niet veelbelovend. Het is een fail. Maar omdat het team vooraf geen faalcriteria voor hun business experiment had vastgesteld, kon niemand dat hardop zeggen. En dus leefde het idee voort, een heel kwartaal lang, terwijl het budget en aandacht opslokte.

Dit is de meest voorkomende en duurste fout die ik zie bij het testen van business ideeën. Niet het verkeerde experiment kiezen. Niet de verkeerde aanname testen. De stap overslaan waarin je bepaalt hoe “mislukt” eruitziet, voor je begint.

Waarom faalcriteria, niet slaagcriteria

Je vraagt je misschien af waarom ik “faalcriteria” zeg in plaats van “slaagcriteria.” Het verschil is niet semantisch. Het is psychologisch.

Slaagcriteria definiëren wat goed eruitziet. “We hebben 30% klikkers nodig.” Klinkt helder. Maar als het resultaat op 28% uitkomt, verschuift het gesprek: “28% ligt dicht bij 30%. We waren er bijna. Laten we de headline aanpassen en het opnieuw proberen.”

Faalcriteria definiëren wat slecht eruitziet. “Als minder dan 20% van de bezoekers klikt, klopt deze hypothese niet.” Komt het resultaat op 12% uit? Dan is er geen ruimte voor “bijna goed genoeg.” Twaalf is lager dan twintig. De hypothese is gefaald.

De framing maakt verschil door hoe teams omgaan met teleurstellende resultaten. Slaagcriteria nodigen uit tot onderhandelen naar boven. “We waren er bijna.” Faalcriteria dwingen een binair antwoord af. Zijn we gezakt of niet?

In 100+ sessies waarin ik teams heb geholpen met experimenten, heb ik nog nooit een team zien beweren dat 12% dicht genoeg bij 20% ligt. Maar tientallen teams heb ik zien betogen dat 28% dicht genoeg bij 30% ligt. De doelpalen verschuiven wanneer de criteria als targets zijn geformuleerd in plaats van als vloeren die je moet halen.

Osterwalder en Bland benadrukken dit punt in Testing Business Ideas: stel je call-to-action criteria in voor je het experiment uitvoert. Niet achteraf. Niet halverwege. Vooraf.

Drie methoden om faalcriteria in te stellen

Het moeilijkste aan faalcriteria is niet het concept. Het is het getal. Wat moet de drempelwaarde zijn?

Ik gebruik drie methoden, afhankelijk van de situatie. Ze sluiten elkaar niet uit. Bij belangrijke experimenten raad ik aan om minstens twee methoden te gebruiken en de uitkomsten te vergelijken.

Methode 1: early adopter benchmarks

Early adopters zijn de meest vergevingsgezinde klanten die je ooit zult hebben. Ze accepteren ruwe randjes, onvolledige features en onhandige processen, omdat ze de oplossing zo graag willen. Als early adopters niet reageren op je experiment, doet de bredere markt het zeker niet.

Je faalcriterium moet dus weerspiegelen wat geëngageerde, gemotiveerde prospects zouden doen. Niet wat de gemiddelde klant zou doen.

Voorbeeld: Een maakbedrijf testte een nieuwe IoT-gebaseerde kwaliteitsbewakingsdienst. Ze nodigden 40 prospects uit die eerder interesse hadden getoond in kwaliteitsverbetering, voor een webinar over het concept. Het faalcriterium: als minder dan 25% van de genodigden zich registreert, is de pull voor dit idee onvoldoende, zelfs onder warme prospects.

De logica: deze 40 mensen hadden al een keer hun hand opgestoken. Ze gaven al om kwaliteitsverbetering. Als driekwart van hen geen 45 minuten kon vrijmaken om te horen over een mogelijke oplossing, dan is de waardepropositie niet sterk genoeg.

Resultaat: 11 van de 40 registreerden zich (27,5%). Net boven de drempel. Het team ging door naar het volgende experiment, maar met een aantekening: de vraag onder warme prospects is reëel, maar niet overweldigend.

Methode 2: branche-analogen

Je bent zelden het eerste bedrijf dat iets test in een bepaald kanaal. Andere producten in jouw branche, of vergelijkbare branches, hebben conversieratio’s die je als referentie kunt gebruiken.

Je faalcriterium hoort op of onder de onderkant van de relevante benchmark te liggen. Als het branchegemiddelde voor landingspagina conversie met koude traffic 2-5% is en je experiment haalt 0,8%, dan heb je een signaal. Niet over je landingspagina-ontwerp. Over de kracht van de onderliggende waardepropositie.

Een waarschuwing: cherry-pick geen benchmarks die je resultaten er goed uit laten zien. Test je met warme traffic? Gebruik warme traffic benchmarks. Richt je experiment zich op een nichesegment? Corrigeer voor kleinere steekproefeffecten. Intellectuele eerlijkheid is hier het verschil tussen nuttige experimenten en duur theater.

Methode 3: achterkant-van-een-bierviltje rekensommetje

Dit is mijn favoriete methode voor B2B en industriële experimenten, omdat het direct aansluit op business viability.

Werk terug vanuit het businessmodel. Wat vereist de rekensom?

Voorbeeld: Een industrieel servicebedrijf wilde een abonnementsmodel testen voor het kalibreren van apparatuur. De jaarlijkse abonnementsprijs was €15.000. Elke klant zou ongeveer €9.000 kosten om te bedienen. Blijft over: €6.000 bruto marge per klant. Het bedrijf had 50 abonnees nodig in jaar een om de investering in de service-infrastructuur te rechtvaardigen.

Het experiment: een gerichte e-mailcampagne naar 500 gekwalificeerde prospects met een early-access korting.

Het bierviltje-rekensommetje: – 50 klanten nodig uit een bereikbare markt van ongeveer 2.000 gekwalificeerde bedrijven – Dat is een conversieratio van 2,5% van de totale markt – Van een gerichte e-mailcampagne naar 500 heb je minimaal 10 aanmeldingen nodig (2% van de ontvangers) om op koers te liggen voor het target van 50 klanten – Faalcriterium: minder dan 10 serieuze interesse-uitingen (gedefinieerd als het boeken van een gesprek om voorwaarden te bespreken)

Deze methode is krachtig omdat het meningen uit de vergelijking haalt. Het businessmodel werkt bij deze getallen of het werkt niet. Je mening over of de landingspagina “goed genoeg” was doet er niet toe. De rekensom is de rekensom.

Zo krijg je teamovereenstemming voor de start

Faalcriteria alleen aan je bureau instellen is eenvoudig. Een cross-functioneel team het eens laten worden is de echte uitdaging. Dit is het proces dat ik gebruik in workshops.

Stap 1: schrijf de hypothese op

Wees specifiek. Niet “klanten willen dit product.” Maar: “Minstens 20% van de middelgrote voedselverwerkende bedrijven in Nederland zal interesse tonen in een predictive maintenance abonnement wanneer ze de waardepropositie zien via een gerichte landingspagina.”

De hypothese moet bevatten: wie, welk gedrag, welke drempel, en via welk kanaal.

Stap 2: stel het faalcriterium voor

Ik vraag het team: “Welk resultaat zou je ervan overtuigen dat dit idee niet de moeite waard is om verder te vervolgen?” Niet welk resultaat je blij zou maken. Welk resultaat je zou laten stoppen.

Die vraag verandert de energie in de ruimte. Mensen worden snel concreet. “Als minder dan 10 bedrijven reageren, moeten we stoppen.” “Als geen van de respondenten meer dan €8.000 wil betalen, zit de marge er niet in.”

Stap 3: daag het uit van twee kanten

Twee vragen om het voorgestelde criterium te toetsen:

“Als we precies dit getal halen, zou je dan echt bereid zijn om het idee te stoppen?” Als het antwoord nee is, dan ligt het criterium te laag. Verhoog het.

“Als we dit getal met een missen, zou je dan echt stoppen?” Bij aarzeling ligt het criterium misschien te hoog, of is het team niet echt committed aan bewijs-gestuurd beslissen. Beide zijn het waard om te bespreken voor je geld uitgeeft aan het experiment.

Stap 4: documenteer en teken af

Schrijf het faalcriterium op het experiment canvas. Niet in een apart document. Niet in een e-mail. Op het canvas zelf, naast de hypothese en het experimentontwerp. Iedereen die betrokken is bij het interpreteren van resultaten moet het zien en ermee akkoord gaan.

In een corporate omgeving raad ik ook aan om aftekening te krijgen van degene die het budget beheert. Als een VP heeft ingestemd met “minder dan 15 reacties betekent dat we stoppen,” dan is het veel moeilijker voor het team om zes weken later rond dat getal heen te argumenteren.

Meer over het identificeren van welke aannames je eerst moet testen, vind je in de gids business aannames testen.

Wat er gebeurt als je deze stap overslaat

Ik heb het patroon vaak genoeg gezien om het precies te beschrijven.

Week 1: Het team voert een experiment uit zonder faalcriteria. “We zien wel wat de data ons vertelt.”

Week 7: Resultaten komen binnen. Matig. Niet slecht, niet goed. Het team bespreekt.

Week 8: Iemand zegt “de resultaten zijn veelbelovend, maar de steekproef was te klein.” Een ander suggereert dat de timing slecht was. Een derde denkt dat de boodschap niet klopte maar het onderliggende idee solide is.

Week 9: Het team vraagt budget aan voor een tweede ronde. “We hebben veel geleerd van ronde een. Ronde twee wordt anders.”

Week 15: De resultaten van ronde twee zijn iets beter, maar nog steeds matig. Hetzelfde gesprek herhaalt zich. Meer budget aangevraagd.

Week 24: Het idee heeft zes maanden en fors budget verbruikt zonder ooit sterk bewijs op te leveren. Maar niemand kan het stoppen, want er was nooit een vastgesteld punt waarop “mislukt” ook echt mislukt betekende.

Dit is pilot purgatory. En de oorzaak is bijna altijd dezelfde: geen faalcriteria.

De kosten zijn niet alleen het geld dat aan het experiment is besteed. Het zijn de opportuniteitskosten. Elke maand dat een matig idee blijft leven, is een maand dat een potentieel sterker idee niet getest wordt. In organisaties die innovatieportfolio’s beheren, is dit hoe het portfolio volloopt met zombie-projecten: ideeën die niet levend genoeg zijn om te slagen maar niet dood genoeg om te stoppen.

Inzicht in innovation accounting helpt teams te bepalen of experimenten echte learnings opleveren of alleen maar activiteit.

Het “bijna goed genoeg” probleem

Het gevaarlijkste getal is het getal dat er bijna is.

Als je faalcriterium 30% is en het resultaat is 5%, discussieert niemand. Het idee is mislukt. Door naar het volgende. Als het resultaat 80% is, discussieert ook niemand. Duidelijke winst.

Maar als het resultaat 27% is? Of 24%? Dan begint het onderhandelen.

“De e-mail ging op een vrijdag de deur uit. Open rates zijn altijd lager op vrijdag.” “Drie van de niet-respondenten waren op vakantie.” “Onze landingspagina had de eerste twee uur een technisch probleem.”

Elk van deze punten kan waar zijn. Maar als je achteraf-verklaringen toestaat om vooraf ingestelde faalcriteria te overrulen, heb je geen faalcriteria. Dan heb je suggesties.

Mijn regel: als het resultaat onder het faalcriterium ligt, is de hypothese gefaald. Punt. Het team kan kiezen om een nieuw experiment te draaien met een herziene hypothese. Ze kunnen een ander segment of kanaal testen. Maar ze kunnen niet achteraf het criterium aanpassen aan het resultaat.

Dat klinkt rigide. Klopt. Dat is het punt. De volledige waarde van faalcriteria zit erin dat ze achteraf niet onderhandelbaar zijn. Haal die restrictie weg en je bent terug bij beslissen op basis van meningen, precies wat business ideeën testen moet vervangen.

Als een experiment mislukt, helpt het pivot of doorgaan besliskader het team te bepalen wat de volgende stap is.

Het juiste experimenttype kiezen uit de experiment bibliotheek verhoogt de kwaliteit van het bewijs dat je verzamelt.

Checklist voor je een experiment start

Bevestig deze zes punten voordat je een experiment lanceert:

1. De hypothese is opgeschreven, specifiek en toetsbaar
2. Het faalcriterium is een getal, geen gevoel
3. Het faalcriterium is ingesteld met minstens een van de drie methoden (early adopter benchmarks, branche-analogen, achterkant-van-een-bierviltje rekensommetje)
4. Het team is het eens over het faalcriterium voor het zien van resultaten
5. De persoon die het budget beheert heeft de drempel afgetekend
6. Het faalcriterium staat op het experiment canvas, zichtbaar voor alle betrokkenen

Als een van deze zes punten ontbreekt, ben je niet klaar om het experiment uit te voeren. Los het eerst op. Een experiment draaien zonder faalcriteria is als je businessmodel in kaart brengen zonder met klanten te praten. Het voelt productief maar levert niets op waar je iets mee kunt.

De tijd die je besteedt aan het afspreken van faalcriteria voor het experiment bespaart je weken of maanden discussie achteraf. In maak- en industriële omgevingen waar experimentbudgetten fors zijn en stakeholder-alignment moeilijk te verkrijgen is, is deze stap niet optioneel. Het is het fundament waar al het andere op rust.

Frequently asked questions

Wat zijn faalcriteria bij business experimenten?

Faalcriteria zijn vooraf vastgestelde drempelwaarden die bepalen wanneer een experiment is mislukt. Je stelt ze in voor je het experiment uitvoert. Bijvoorbeeld: als minder dan 15% van de prospects op de pre-order button klikt, klopt deze hypothese niet. Het sleutelwoord is “vooraf.” De drempel achteraf bepalen geeft teams de ruimte om elk resultaat als succes te verkopen.

Waarom faalcriteria in plaats van slaagcriteria?

Faalcriteria werken beter dan slaagcriteria vanwege hoe teams resultaten interpreteren. Met slaagcriteria zegt een team dat 28% scoort tegen een target van 30%: “bijna genoeg, we gaan door.” Met faalcriteria ligt er een scherpere vraag op tafel: zijn we gezakt of niet? De psychologische framing maakt het moeilijker om de lat te verschuiven. Je vraagt niet “was dit goed genoeg?” Je vraagt “is dit mislukt?”

Hoe bereken je faalcriteria voor een nieuw business idee?

Drie methoden werken goed. Ten eerste: early adopter benchmarks, stel criteria in op basis van wat enthousiaste early adopters zouden doen als het idee potentie heeft. Ten tweede: branche-analogen, kijk naar conversieratio’s van vergelijkbare producten of kanalen in jouw branche. Ten derde: achterkant-van-een-bierviltje rekensommetje, bereken welke conversieratio of prijspunt het businessmodel nodig heeft om levensvatbaar te zijn en stel je faalcriterium daaronder in.

Wanneer stel je faalcriteria in voor een experiment?

Altijd voor je het experiment uitvoert. Niet onderhandelbaar. Zodra je resultaten ziet, is je oordeelsvermogen aangetast. Faalcriteria achteraf instellen is geen criteria instellen. Het is rationaliseren. In de praktijk is het beste moment tijdens het experimentontwerp, wanneer het team samen de hypothese, het experimenttype, de metric en de faaldrempel vaststelt.

Wat gebeurt er als teams faalcriteria overslaan?

Teams die faalcriteria overslaan gaan bijna altijd door met ideeën die allang gedood hadden moeten worden. Het patroon is voorspelbaar: experiment uitvoeren, matige resultaten krijgen, beweren dat de resultaten “veelbelovend” zijn, meer budget aanvragen, nog een experiment draaien met iets andere parameters, weer matige resultaten, en herhalen. Zo belanden bedrijven in pilot purgatory: maanden en fors budget besteden aan ideeën waar nooit echt bewijs voor was.