Crawling (procházení webu)

Crawling neboli procházení webu či crawlování webu je úkon, který provádí roboti internetových vyhledávačů za účelem hledání nových nebo aktualizovaných stránek pro přidání do indexu Googlu. Crawling se velmi často zaměňuje s indexováním webu. Jedná se o dvě různé, ale související akce, které internetové vyhledávače provádí na procházeném webu.

Crawlování webu slouží primárně k posouzení kvality obsahu. Pokud je obsah kvalitní a splňuje veškeré posuzované faktory, Google provede indexování posouzené stránky a následně jí nabídne v organických výsledcích vyhledávání.

Řízení procházení vašeho webu

Velmi často se stává že potřebuje řídit procházení vašeho webu a omezit přístup robotů k některým jeho částem, které mohou obsahovat administraci webu nebo generovat příliš mnoho různých variant URL (kombinace filtračních parametrů). V druhém případě se velmi snadno stane že crawl budget určený pro váš web, vyčerpáte na stránkách, které nejsou důležité.

Chování crawlera, který přijde na váš web můžete ovlivnit několika způsoby. Nejběžnější je definování souboru robots.txt, ve kterém řeknete robotu internetového vyhledávače, do této části webu nechci abys chodil, do této naopak můžeš. Více informací o nastavení tohoto souboru najdete na robots.txt.

Dalším způsobem, kterým můžete ovlivnit procházení, je globální nastavení meta robots na nofollow, čímž říkáte robotům internetových vyhledávačů aby neprocházely odkazy nalezené na dotčené stránce. Jednotlivé odkazy na stránkách můžete označit jako, rel="nofollow".