Indexování je proces skenování souborů umístěných na internetovém prostředku vyhledávacím robotem. Tento postup se provádí tak, aby byl web k dispozici ve výsledcích vyhledávání pro různé dotazy ve vyhledávači. Mezi největší vyhledávače současnosti patří Yandex, který provádí toto skenování svým vlastním způsobem.
Instrukce
Krok 1
Indexování internetových stránek se provádí speciálními automatickými programy - vyhledávacími roboty, které automaticky sledují vzhled nových webů v síti WWW, neustále skenují internetové stránky umístěné v Internetu, soubory a odkazy na ně v každém zdroji.
Krok 2
Pro skenování robot přejde do adresáře, kde je zdroj umístěn na konkrétním serveru. Při výběru nového webu se robot řídí jeho dostupností. Například existuje názor, že Yandex nejprve skenuje stránky vytvořené v ruské doméně a v ruštině - ru, rf, su nebo ua, a teprve poté se přesune do jiných oblastí.
Krok 3
Robot přejde na web a skenuje jeho strukturu, nejprve hledá soubory, které naznačují další hledání. Například web prohledá soubor Sitemap.xml nebo robots.txt. Tyto soubory lze použít k nastavení chování vyhledávacího robota při skenování. Pomocí souboru Sitemap (sitemap.xml) získá robot přesnější představu o struktuře zdroje. Správce webu používá soubor robots.txt k definování souborů, které by nechtěl zobrazovat ve výsledcích vyhledávání. Mohou to být například osobní údaje nebo jiná nechtěná data.
Krok 4
Po naskenování těchto dvou dokumentů a obdržení potřebných pokynů začne robot analyzovat HTML kód a zpracovat přijaté značky. Ve výchozím nastavení, pokud chybí soubor robots.txt, začne vyhledávač zpracovávat všechny dokumenty uložené na serveru.
Krok 5
Kliknutím na odkazy v dokumentech robot také obdrží informace o dalších webech, které jsou ve frontě na skenování podle tohoto zdroje. Naskenované soubory na webu se ukládají jako textová kopie a struktura na serverech v datových centrech Yandex.
Krok 6
Potřebu opětovného skenování také automaticky určují roboti. Když program znovu projde indexováním, porovná existující výsledek kontroly s aktualizovanou verzí webu. Pokud se data přijatá programem liší, kopie webu se aktualizuje také na serveru Yandex.
