Crawl budget a malý web: kedy to musíte riešiť a kedy nie

Crawl budget je pojem, ktorý sa do diskusií o malých weboch dostal hlavne cez audity, ktoré ho tam nemali čo robiť. Vyzerá odborne, znie naliehavo a dá sa na ňom postaviť faktúra. Pravda je nudnejšia: web so 150 stránkami crawl budget neriešil, nerieši a riešiť nebude.

Napíšem, kde je hranica, kedy sa téma stáva skutočnou aj pre menší web, a čo sa za crawl budget najčastejšie zamieňa.

Čo crawl budget vlastne je

Googlebot nemá neobmedzené zdroje. Pre každý web si drží dve veci naraz:

• Limit prechádzania — koľko požiadaviek za sekundu vie server zvládnuť bez toho, aby sa spomalil. Keď server odpovedá pomaly alebo vracia chyby 5xx, Googlebot sám uberie plyn.
• Potreba prechádzania — koľko sa Googlebotu oplatí na webe chodiť. Odvíja sa od toho, ako často sa obsah mení a aký je dopyt po vašich stránkach.

Crawl budget je prienik týchto dvoch vecí. Nie je to číslo, ktoré si niekde pozriete, a nie je to kvóta, ktorú by ste mohli minúť zle. Je to skôr opis správania robota.

Hranica, pod ktorou to neriešite

Google má na crawl budget samostatnú dokumentáciu a hneď v úvode hovorí, pre koho je určená: pre veľké weby nad milión unikátnych URL s obsahom, ktorý sa mení aspoň raz týždenne, a pre stredne veľké weby nad 10 000 URL s obsahom, ktorý sa mení denne.

Všetko pod tým Google priamo označuje za weby, ktoré sa crawl budgetom zaoberať nemusia. To je dôležité číslo, lebo väčšina firemných webov má 20 až 300 stránok a väčšina e-shopov malej a strednej veľkosti sa zmestí do nižších tisícok URL vrátane produktov.

Keď máte 400 stránok a Googlebot ich prejde za pár dní, nemáte problém s rozpočtom prechádzania. Máte problém niekde inde.

Čo sa za crawl budget najčastejšie zamieňa

Typická situácia: v Search Console vidíte stovky URL v stave „Prehľadané – zatiaľ neindexované" alebo „Nájdené – zatiaľ neprehľadané" a niekto vám povie, že míňate crawl budget. V deviatich z desiatich prípadov ide o niečo z tohto zoznamu.

Google stránku prešiel, ale nepovažoval ju za hodnú indexu. To nie je otázka rozpočtu, ale hodnoty stránky. Tenký obsah, produkt bez popisu, kategória s troma položkami a generickým textom. Pridaním crawl kapacity sa to nevyrieši.

Duplicita. Dve URL s rovnakým obsahom Google zlúči a jednu vyradí. Riešením je canonical tag alebo zmena štruktúry, nie crawl budget.

Stránky, na ktoré nič neodkazuje. Googlebot ich nemá ako nájsť, pokiaľ nie sú v sitemape. Hovorí sa im osirelé stránky a to je úplne iná diagnóza.

Zablokovanie v robots.txt alebo noindex, o ktorom nikto nevie. Najbanálnejšia príčina, akú poznám, a zároveň najčastejšia po migrácii webu. Chyby v sitemape a robots.txt viem nájsť v rámci kontroly webu a presne pomenovať, ktoré pravidlo blokuje čo.

Pokiaľ si neprejdete tieto štyri veci, crawl budget je zlá odpoveď na správnu otázku.

Kedy to malý web predsa len riešiť musí

Existujú situácie, kde web vyzerá malo, ale generuje desiatky tisíc URL. Vtedy je téma reálna aj pri 200 produktoch.

Filtre a parametre v e-shope

Tri filtre s piatimi hodnotami každý a možnosťou kombinácie dávajú stovky kombinácií na každú kategóriu. Keď sú tieto kombinácie dostupné cez odkaz a nie sú ošetrené, Googlebot ich bude chodiť prechádzať namiesto produktov. Toto je najčastejší spôsob, akým sa malý e-shop dostane k reálnemu crawl problému — rozpísal som ho v článku o faceted navigácii.

Interné vyhľadávanie a triedenie

URL typu ?search=, ?sort=cena-asc, ?view=grid. Každá z nich je pre robota nová adresa. Pri dvoch spôsoboch triedenia a troch zobrazeniach sa počet URL vynásobí šiestimi.

Kalendáre a archívy

Rezervačný kalendár, ktorý má odkaz na ďalší mesiac, dokáže generovať nekonečnú postupnosť URL do roku 2190. Googlebot to skúsi.

Reťazce presmerovaní a mŕtve odkazy

Každé 301 presmerovanie v reťazci je jedna požiadavka navyše. Pri migrácii, kde sa reťazia tri až štyri presmerovania za sebou, sa z jedného prechodu stanú štyri. To isté platí pre masu 404 chýb, na ktoré stále niekde vedú odkazy.

Pomalý server

Keď server odpovedá v sekundách namiesto stoviek milisekúnd, Googlebot zníži tempo sám od seba. Pri malom webe to nevadí, pri webe s tisíckami URL to znamená, že nové produkty sa do indexu dostanú o týždne neskôr. Súvislosť s rýchlosťou rozoberám v texte o Core Web Vitals — s tým rozdielom, že pre crawl budget je podstatný čas odpovede servera, nie to, ako rýchlo sa stránka vykreslí v prehliadači.

Ako si to overíte za pätnásť minút

Nepotrebujete na to nástroj. Stačí Search Console a kalkulačka.

1. Spočítajte si reálny počet URL. Nie počet produktov, ale počet adries, ktoré web vie vrátiť s kódom 200. Vrátane filtrov, stránkovania, variantov a jazykových mutácií. Keď ste pod 10 000 a obsah nemeníte každý deň, končíte tu.

2. Otvorte Štatistiky prechádzania. V Search Console sú v Nastaveniach, položka Štatistiky prechádzania. Zaujímajú vás tri veci: celkový počet požiadaviek za deň, priemerný čas odpovede a stav hostiteľa. Keď je stav hostiteľa v poriadku a čas odpovede v stovkách milisekúnd, server Googlebota nebrzdí.

3. Pozrite si, čo Googlebot chodí sťahovať. V tej istej správe je rozpis podľa typu súboru a podľa účelu (zisťovanie vs. obnovenie). Keď väčšina požiadaviek smeruje na URL s otáznikom a parametrami, viete, kde je problém.

4. Porovnajte s indexom. Index coverage report vám ukáže, koľko URL je indexovaných a koľko vypadlo a prečo. Keď máte 300 stránok a 280 indexovaných, crawl budget nie je vaša téma.

Čo robiť namiesto toho

Pri malom webe prinesie viac úžitku toto poradie:

1. Odstrániť technické blokády — robots.txt, noindex, rozbitá sitemapa. Rýchle a s okamžitým efektom.
2. Opraviť duplicity v titulkoch a popisoch. Stránka s rovnakým titulkom ako päť ďalších nemá v indexe pevné miesto. Duplicitné titulky sú zvyčajne najpočetnejší nález na malých weboch.
3. Prelinkovať to, čo visí vo vzduchu. Interné prelinkovanie rieši objavovanie aj rozdelenie dôležitosti naraz.
4. Doplniť obsah tam, kde je stránka prázdna. Kategória s jednou vetou sa do indexu dostane ťažko bez ohľadu na to, koľkokrát ju robot navštívi.

Ako to riešim ja

Pri kontrole webu si prejdem verejne dostupné stránky a pozriem sa aj na veci, ktoré s prechádzaním súvisia: presmerovacie reťazce, 404-ky, zablokované URL, stránky bez vnútorných odkazov, časy odpovede. Keď je web pod hranicou, kde crawl budget dáva zmysel, nenapíšem, že ho treba optimalizovať. Napíšem, čo z nálezov má reálny dopad, a k dôležitým z nich rovno pripravím hotový text opravy — titulok, popis, alt text — na schválenie a nasadenie.

A potom sa pozriem, či to niečo spravilo. Každú nasadenú opravu meriam 28 dní pred a 28 dní po. Keď sa nič nezmení, dozviete sa to tiež.

Crawl budget je legitímna téma pre weby s miliónom URL. Pre firemný web s dvesto stránkami je to odvádzanie pozornosti od vecí, ktoré by ste naozaj mali opraviť.