3 min. lezen

Cloudflare test systeem om uitgevers AI-crawlers te laten opladen

De dagen dat AI-bedrijven gratis inhoud schrapen, zijn misschien geteld. Cloudflare heeft zojuist iets uitgerold dat "Pay per Crawl" wordt genoemd en waarmee website-eigenaren daadwerkelijk geld kunnen verdienen wanneer AI-bots verschijnen om hun spullen te pakken. Het is een behoorlijk groot probleem voor iedereen die online inhoud maakt.

Katarína Šimčíková Katarína Šimčíková
Freelance I Digital Marketing Specialist, Ecommerce Bridge EU
Dit artikel werd voor u vertaald door kunstmatige intelligentie
Cloudflare test systeem om uitgevers AI-crawlers te laten opladen
Bron: Canva Pro License

Het probleem waar niemand over praat

Hier is het ding – als je een website beheert, heb je in feite twee keuzes gehad. Laat AI-systemen binnenwalsen en gratis nemen wat ze willen, of blokkeer ze volledig en mis potentieel verkeer.

Ondertussen sluiten Google en OpenAI miljoenendeals met grote nieuwszenders, terwijl kleinere makers niets krijgen. Hun artikelen en blogposts trainen AI-modellen ter waarde van miljarden, en ze zien geen cent.

Na met honderden uitgevers te hebben gesproken, kwam Cloudflare erachter wat iedereen echt wilde: de AI-bots binnenlaten, maar ervoor betaald krijgen.

"Cloudflare AI Audit dashboard showing crawler analytics with 1.39M total requests, including 750.5K allowed and 640.1K blocked requests. Interface displays individual AI crawlers like ProRataInc with Allow/Charge/Block action options.

Source: blog.cloudflare.com

Hoe het echt werkt

Cloudflare stofte een oude webstandaard af – HTTP-code 402, wat “betaling vereist” betekent – en bouwde er een heel systeem omheen. Wanneer een AI-crawler uw site raakt, heeft u drie opties:

  • Laat ze gratis binnen
  • Breng ze de door u ingestelde prijs in rekening
  • Blokkeer ze volledig

De technische dingen omvatten wat fancy cryptografie om ervoor te zorgen dat bots hun identiteit niet kunnen vervalsen. Maar het basisidee is simpel: geen betaling, geen inhoud.

Twee manieren om betaald te worden

Uitgevers kunnen dit naar eigen inzicht instellen. Misschien rekent u € 0,01 per pagina, of € 0,10, of wat dan ook zinvol is voor uw inhoud.

Het systeem werkt in twee richtingen. Of de bot vraagt eerst om uw inhoud, krijgt de prijs te horen en beslist vervolgens of hij betaalt. Of de bot zegt van tevoren: “Ik betaal hier tot $ 0.05 voor”, en krijgt direct toegang als uw prijs lager is.

Als uw prijs hoger is dan wat ze bereid zijn te betalen, krijgen ze een bericht “betaling vereist” met uw werkelijke prijs.

Cloudflare Pay Per Crawl workflow diagram showing an AI crawler's request flowing through Cloudflare's security layers - WAF Custom Rules, AI Audit Crawler Blocking, Bot Solutions, and AI Audit Pay Per Crawl - before reaching website content.

Source: blog.cloudflare.com

De geldkant

Cloudflare regelt alle betalingsverwerking. Ze houden bij wanneer bots betalen voor inhoud, de AI-bedrijven in rekening brengen en het geld naar uitgevers sturen. Het is niet nodig om uw eigen betalingssystemen op te zetten of over individuele deals te onderhandelen.

Het geheel sluit aan op de beveiliging die u al op uw site heeft.

Wat is het volgende

Op dit moment is dit in privétests. Cloudflare wil van beide kanten horen: AI-bedrijven die bereid zijn te betalen voor inhoud en uitgevers die willen gaan betalen.

Ze denken al na over upgrades zoals dynamische prijzen op basis van de vraag, verschillende tarieven voor verschillende soorten inhoud en geautomatiseerde marktplaatsen waar bots bieden op toegang tot informatie.

Waarom dit belangrijk is

Dit zou de manier waarop internet werkt kunnen veranderen. Op dit moment halen AI-bedrijven het grootste deel van de waarde uit inhoud, terwijl makers niets krijgen. Pay per Crawl draait dat om.

Naarmate AI-systemen slimmer en onafhankelijker worden, kan het hebben van een standaardmanier om informatie te kopen en verkopen cruciaal zijn om het web vol goede inhoud te houden. Als makers geen geld kunnen verdienen met hun werk, stoppen ze met creëren.

Of dit experiment slaagt, kan bepalen of het toekomstige internet de mensen beloont die daadwerkelijk dingen maken, of dat het het huidige systeem blijft waarin AI-bedrijven gratis rijk worden van het werk van anderen.

Artikel delen
Katarína Šimčíková
Freelance I Digital Marketing Specialist, Ecommerce Bridge EU

Freelance Digital Marketing Specialist at Ecommerce Bridge with nearly a decade of experience in digital marketing, where I’ve specialised in managing international teams and building strategic partnerships. As former International Team Lead at Groupon, I managed teams across various European countries, handled KPI achievement, and worked daily with agencies in English. These days, I focus on content strategy, link building, and coordinating with international agencies in e-commerce expansion. What truly fulfils me is working with people and seeing everyone happy and satisfied with the results. I’m passionate about researching and writing about the latest trends in e-commerce and digital marketing, bringing fresh insights and industry news to our readers. I hold a Master’s degree in Mass Media Studies and completed international courses in London and Bristol.

Vergelijkbare artikelen
Google Spreadsheets lanceert AI-formule
4 min. lezen

Google Spreadsheets lanceert AI-formule

Stop met het doorlezen van eindeloze spreadsheetrijen en het kopiëren van gegevens tussen tabbladen. Google heeft een functie laten vallen die gegevenstaken van 30 minuten omzet in prompts van 30 seconden.

Katarína Šimčíková Katarína Šimčíková
Freelance I Digital Marketing Specialist, Ecommerce Bridge EU
E-commerce expert: ‘Stop met het najagen van AI-hype – dit is wat de verkoop daadwerkelijk stimuleert
8 min. lezen

E-commerce expert: ‘Stop met het najagen van AI-hype – dit is wat de verkoop daadwerkelijk stimuleert

De grootste fout? Ontwerpen van binnenuit in plaats van hoe klanten daadwerkelijk winkelen.” Deze botte beoordeling komt van Roberto, een veteraan op het gebied van digitale transformatie die alles heeft gezien – van het leiden van een startup in Bristol via de overname van Vodafone tot het leiden van innovatie bij UST Spanje en Latam.

Roberto Álvarez Ceballos Roberto Álvarez Ceballos
Director of Products, Platforms & Innovation, UST España & Latam