Robot vyhledávače je zodpovědný za procházení webových stránek. Program automaticky čte data ze všech webů a registruje je ve formě, která je srozumitelná pro samotný vyhledávač, takže systém později zobrazí nejvhodnější výsledky pro uživatele.
Funkce
Všechny indexované informace se zaznamenávají do společné databáze.
Vyhledávací robot je program, který automaticky prochází stránkami internetu, požaduje potřebné dokumenty a přijímá strukturu procházených webů. Robot nezávisle vybírá stránky, které mají být skenovány. Ve většině případů jsou weby ke skenování vybrány náhodně.
Typy botů
Nesprávně fungující robot významně zvyšuje zatížení sítě a serveru, což může způsobit nedostupnost prostředku.
Každý vyhledávač má několik programů zvaných roboti. Každý z nich může vykonávat určitou funkci. Například v Yandexu jsou někteří roboti zodpovědní za skenování RSS zpravodajských kanálů, což bude užitečné pro indexování blogů. Existují také programy, které vyhledávají pouze obrázky. Nejdůležitější věcí je však indexovací robot, který tvoří základ pro jakékoli vyhledávání. K dispozici je také pomocný rychlý robot navržený k vyhledávání aktualizací o novinkách a událostech.
Postup skenování
Dalším způsobem, jak zabránit procházení obsahu, je vytvořit přístup k webu prostřednictvím registračního panelu.
Při návštěvě webu program prohledá souborový systém na přítomnost souborů instrukcí robots.txt. Pokud existuje dokument, začíná čtení směrnic napsaných v dokumentu. Soubor robots.txt může zakázat nebo naopak povolit skenování určitých stránek a souborů na webu.
Proces skenování závisí na typu programu. Roboti někdy čtou pouze názvy stránek a několik odstavců. V některých případech se skenování provádí v celém dokumentu v závislosti na značce HTML, což může také fungovat jako prostředek pro určení klíčových frází. Některé programy se specializují na skryté nebo metaznačky.
Přidávání do seznamu
Každý webmaster může zabránit vyhledávacímu modulu procházet stránky prostřednictvím souboru robots.txt nebo značky META. Tvůrce webu může také ručně přidat web do indexovací fronty, ale jeho přidání neznamená, že robot bude okamžitě procházet požadovanou stránku. Chcete-li přidat web do fronty, poskytují vyhledávače také speciální rozhraní. Přidání webu výrazně zrychluje proces indexování. Pro rychlou registraci ve vyhledávači lze také použít systémy webové analýzy, adresáře webů atd.
