Dacă site-ul dumneavoastră este în spatele Cloudflare, există o șansă mare să fie invizibil pentru asistenții AI, fără ca nimic să pară în neregulă. Motivul: Cloudflare blochează implicit crawlerele de inteligență artificială, iar Googlebot nu este printre ele.
Pe scurt
- Problema
- Roboții asistenților AI primesc 403, iar site-ul lipsește din răspunsurile lor.
- De ce nu se observă
- Googlebot trece, deci toate verificările obișnuite arată bine.
- Cum verificați
- O cerere cu identificarea unui robot AI și codul de răspuns primit.
- Unde se schimbă
- În panoul furnizorului de rețea, la secțiunea de gestionare a roboților.
- Capcană înrudită
- Ecranul de verificare servit în locul fișierului cu reguli pentru roboți.
De ce nu se vede problema
Verificările obișnuite se fac cu Googlebot: Search Console arată paginile indexate, testul de adresă live răspunde corect, totul pare în regulă. Roboturile care alimentează asistenții AI sunt însă alte roboturi, iar ele primesc 403 înainte să ajungă la conținut.
Cum verificați în două minute
Din orice terminal, cereți prima pagină cu identificarea unui robot AI și uitați-vă la codul de răspuns:
curl -s -o /dev/null -w "%{http_code}" -A "GPTBot" https://exemplu.ro/Un 200 înseamnă că robotul poate citi. Un 403 înseamnă că site-ul dumneavoastră nu poate fi citat, oricât de bun ar fi conținutul.
Unde se schimbă
În panoul Cloudflare, secțiunea de securitate conține o opțiune dedicată roboturilor AI. Blocarea poate fi o decizie corectă, dacă nu vreți ca textele dumneavoastră să alimenteze modele. Important este să fie o decizie, nu o setare implicită pe care nu ați observat-o.
O capcană înrudită
Un ecran de verificare pus în fața vizitatorilor, de tipul „așteptați cât timp verificăm cererea", poate ajunge servit și pentru robots.txt. Roboții primesc atunci codul 200 și o pagină de verificare în loc de reguli, deci concluzia lor este că nu au voie nicăieri. Am întâlnit exact această situație pe un server propriu, iar simptomul era doar o scădere lentă a paginilor accesate.
Ce înseamnă pentru poziția dumneavoastră
Traficul din asistenți AI nu înlocuiește căutarea clasică, dar crește. Un site care nu poate fi citit de ei pierde exact conversațiile în care cineva cere o recomandare în domeniul dumneavoastră. Verificarea accesului pentru roboți face parte din auditul SEO, iar dacă vreți ca agenții să poată și folosi site-ul, nu doar să îl citească, subiectul este WebMCP.
