Semalt: Wéi Darodar Robots Spär.txt

Robots.txt Datei ass eng typesch Textdatei déi Instruktiounen enthält wéi Web Crawler oder Bots e Site crawléiere sollten. Hir Applikatioun ass evident an de Sichmotore- Bots, déi heefeg a ville optimiséierten Websäiten sinn. Als Deel vum Robots Exklusiounsprotokoll (REP), formt robots.txt Datei e wesentlechen Aspekt vun der Indexéierung vum Websäit Inhalt wéi och e Server z'erméiglechen d'Benotzerfroën entspriechend z'authentifizéieren.

D'Julia Vashneva, de Semalt Senior Customer Success Manager, erkläert datt d'Verbindung en Aspekt vun der Suchmaschinoptiméierung (SEO) ass, wat involvéiert Traffic vum anere Beräicher an Ärer Nisch ze kréien. Fir de "verfollegen" Linken fir Link Jus ze transferéieren, ass et essentiell eng robots.txt Datei op Ärer Websäit Hosting Space ze enthalen fir als Instruktor ze handelen wéi de Server mat Ärem Site interagéiert. Aus dësem Archiv sinn d'Instruktiounen präsent andeems se erlaabt oder net erlaabt wéi e puer spezifesch User Agenten sech behuelen.

D'Basisformat vun enger robots.txt Datei

A robots.txt Datei enthält zwou wesentlech Zeilen:

Benotzer-Agent: [Benotzer-Agent Numm]

Ausloossen: [URL String net gekraukt]

Eng komplett Robot.txt Datei soll dës zwou Linnen enthalen. Wéi och ëmmer, e puer vun hinnen kënne verschidde Linne vu User-Agenten an Direktiven enthalen. Dës Kommandoe kënnen Aspekter enthalen wéi erlaabt, net ofgeschloss oder Crawl-Verzögerungen. Et gëtt normalerweis eng Zeilbrech déi all Set vun Instruktiounen trennt. Jiddereen vun den Erlaabten oder Oflehnungsinstruktiounen ass vun dëser Zeilbrech getrennt, besonnesch fir de Robot.txt mat multiple Linnen.

Beispiller

Zum Beispill, eng Robot.txt Datei kann Coden enthalen wéi:

Benotzer-Agent: darodar

Ausloossen: / Plugin

Ausloossen: / API

Ausloossen: / _comments

An dësem Fall ass dëst e Block robots.txt Datei deen den Darodar Web Crawler beschränkt vun der Zougang zu Ärer Websäit. An der uewe genannter Syntax blockéiert de Code Aspekter vun der Websäit wéi Plugins, API, an de Kommentarer Sektioun. Aus dësem Wëssen ass et méiglech vill Virdeeler z'erreechen andeems en Roboter Textdatei effektiv ausféiert. Robots.txt Dateien kënne fäeg Aufgaben ausféieren. Zum Beispill kënne se prett sinn fir:

1. Erlaabt all Web Crawler Inhalt op eng Websäit Säit. Zum Beispill;

Benotzer-Agent: *

Net zouloossen:

An dësem Fall kann all de Benotzerinhalt Zougang kréien duerch all Web Crawler, dee gefrot gëtt fir op eng Websäit ze kommen.

2. Blockéiert e spezifescht Webinhalt aus engem spezifeschen Dossier. Zum Beispill;

Benotzer-Agent: Googlebot

Ausloossen: / Beispill-Ënnermapp /

Dës Syntax mat engem User-Agent Numm Googlebot gehéiert zu Google. Et beschränkt de Bot op Zougang zu all Websäit an der Sait www.ourexample.com/example-subfolder/.

3. Blockéiert e spezifesche Web Crawler vun enger spezifescher Websäit. Zum Beispill;

Benotzer-Agent: Bingbot

Ausloossen: /example-subfolder/blocked-page.html

De Benotzer-Agent Bing Bot gehéiert zu Bing Web Crawler. Dës Zort vun robots.txt Datei beschränkt de Bing Web Crawler op eng spezifesch Säit mat der Sait www.ourexample.com/example-subfolder/blocked-page ze kréien.

Wichteg Informatiounen

  • Net all Benotzer benotzt Är Robts.txt Datei. E puer Benotzer kënnen entscheeden et ze ignoréieren. Déi meescht vun dësen Web Crawler enthalen Trojaner a Malware.
  • Fir datt eng Robots.txt Datei sichtbar ass, sollt et am Topniveau Websäit Verzeechnes verfügbar sinn.
  • D'Personnagen "Robots.txt" si case-sensibel. Als Resultat sollt Dir se net op iergendeng Aart a Weis inklusiv Kapitaliséierung vun e puer Aspekter änneren.
  • Den "/robots.txt" ass am Domaine public. Jiddereen ka fäeg sinn dës Informatioun ze fannen wann en et zum Inhalt vun all URL bäidréit. Dir sollt wesentlech Detailer oder Säiten net indexéieren, déi Dir wëllt datt se privat bleiwen.