Ce este fișierul de configurare, caracterele speciale și liniile directoare permit-disallow, sitemap, gazda, user-agent

gestionaţi pe șenile

Când SEO-optimizare site, altele decât paginile de umplere uzuale de conținut, este necesar să se ia în considerare partea tehnică - de exemplu, modul în care motorul de căutare păianjeni se comporte atunci când este indexare.

Că comportamentul lor este mai mult sau mai puțin guvernată de voința site-ul gazdă, există un fișier de bază pentru acest lucru - robots.txt.

Ce este robots.txt?

Instrucțiuni de bază roboți sunt: ​​dezactivați indexarea și permite indexarea paginii (e) a site-ului.

Robots.txt - protejați-vă!

Astfel, crearea fișierului - este foarte simplu: a crea un document text simplu, deschideți-l cu Notepad (sau Notepad ++) și personalizabil.

Configurarea corectă a robots.txt

Este, mai presus de toate, în prescrierea directivelor specifice. Cele mai importante sunt:

Este de dorit ca directiva să fie urmat în același mod ca și în lista de mai sus în fișierul.

Fișierul robots.txt pentru setările corecte trebuie să înțeleagă cum să folosească așa-numitul caractere speciale. Dacă sunteți familiarizat cu faptul că o expresie regulată este, atunci este foarte ușor. Dacă nu - prea.

Caractere speciale numai 2:

Un asterisc (*) înseamnă „orice secvență de caractere“ (inclusiv, și fără caractere). De exemplu, specificând robots.txt următoarea linie:

Dolar ($) reprezintă capătul liniei. Dacă configurați robots.txt vă scrie, de exemplu,

Puteți găsi înregistrări fără aceste caractere speciale, cum ar fi:

Interacțiunea Permiterea și Disallow

Este de remarcat adăugând că coincidență de orientare permite și dezactivează este dat prioritate directivelor Allow. De exemplu, atunci când o astfel de înregistrare:

- secțiune de pagină în continuare să fie indexate / pisica /.

- această intrare neagă indicele de toate secțiunea de pagini / pisica /, dar vă permite să indexeze pagina /cat/page.html.

Apropo, dacă nu vrem să interzică indexarea pe site-ul dvs., este încă necesar să se înregistreze

Disallow: # nimic pentru a interzice

Allow: / # rezolva toate

Aici este un exemplu de un fișier robots.txt:

User-agent: * # a făcut apel la toți roboții

Permite: a permis să indexeze pagina, dar bun-l pagină.html /some-category/good-page.html #

User-agent: Yandex # repeta totul pentru Yandex ...

Realizator: site.ru # ... cu indicarea oglinzii primare

La fel ca și faptul că a efectuat robots.txt setarea corectă pentru orice site. Repetați pentru Yandex - nu este necesar - asa a dezvoltat istoric. Puteți face fără ea, dar tradiția este tradiția ..

Este necesar să se adauge că, prin inhibarea indicelui orice pagină Robots.tht, avem tendința de a dori să evite să fie văzut de. Dar, arătând în mod specific că în dosar, nu putem „ascunde“ de mai mult sau mai puțin experimentați utilizatori (cei care știu despre fișierul).

Pentru a îngropa pe deplin, cel mai bine este de a utiliza o meta Roboți tag-ul. care înregistrează direct în codul paginii. Iar în fișierul robots.txt, este de dorit să prescrie setările globale - indexarea secțiuni întregi ale site-ului, etc.

Mai multe articole pe acest subiect: