Robots.txt Generátor zdarma

Optimalizace pro vyhledávání

Robots.txt Generátor


Výchozí - všichni roboti jsou:  
    
Zpomalení procházení:
    
Sitemap: (nechte prázdné, pokud neznáte) 
     
Vyhledávací roboti: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Omezené adresáře: Cesta je relativní vůči kořenu a musí obsahovat koncové lomítko "/"
 
 
 
 
 
 
   



Nyní vytvořte soubor "robots.txt" v kořenovém adresáři. A potom zkopírujte text a vložte do souboru.


O Robots.txt Generátor

Protokol pro zakázání přístupu robotům (robots.txt) je textový soubor, který umožňuje správci webu zakázat nebo povolit přístup některých Botů (např. Googlebot, Jyxobot aj.). Tento soubor se musí nacházet v kořenovém adresáři daného webu.

Příklady

Uvedením následujícího textu v souboru robots.txt lze zakázat indexování všech vyhledávačů:

User-agent: *
Disallow: /

Následující příklad zakáže všem robotům, aby indexovali obsah složek /cgi-bin, /images, /tmp a /private:

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

Zakázaní Googlebotu indexovat vše v adresáři /en:

User-Agent: Googlebot
Disallow: /en/