SEO - Otimização de Robots Text File

Otimizando robôs arquivo de texto é realmente importante, se não for feito, então bots motor de busca pode rastrear o seu site para obter informações confidenciais e podem exibi-los em seus motores de busca respectivos ou se você estiver usando robôs. Txt, mas ele não está escrito corretamente, então ele pode ser um dos cenários que podem bloquear motor de busca de indexar o site.

Nós podemos bloquear as aranhas para rastrear áreas restritas do nosso site. áreas restritas do nosso site através dos links do nosso site que nós não queremos ser indexado nos motores de busca e conseguir alguns visitantes indesejados. Por exemplo: -

Quantos de vocês estariam interessados em sua página de administração de indexação em motores de busca?

No passado quando eu vi algumas situações em que proprietários de sites que foram paranóico em usar robots.txt no seu site, eles estavam com medo que isso vai prejudicar SEO. Bem, isso não é verdade, se podemos usar robôs. Txt corretamente, então podemos parar o rastreador rastreamento particularmente links limitados e que irá rastrear todos os outro link que não vai restringir e não vai mesmo prejudicar SEO do nosso site. Podemos realizar essa tarefa usando robots. Txt.

Antes que nós possamos discutir a otimização e pode tomar a vantagem cheia de robôs. Txt, devemos primeiro discutir os conceitos básicos dos robôs. Txt

A robôs. Txt é um arquivo de texto que tem que ser colocados na pasta raiz do seu servidor web (onde você coloca a página do índice do seu site). Você simplesmente pode criar este arquivo em um bloco de notas. Diz bots vários motores de busca que parte do site não devem ser rastreados ou não devem ser indexados. Usando isto, podemos instruir bots para evitar que o nosso site a partir do que está sendo rastreado ou podemos instruí-los para que não indexação de certas áreas do site. Ainda podemos usar robôs mesmo. Txt para dar instruções diferentes robôs diferentes.

Mesmo se você não quiser proteger qualquer área do seu site de indexação ou de rastreamento, você ainda deve usar robôs. Txt, pois ele pode agir como um convite aberto para os motores de busca para indexar o seu website completo.

Pode haver vários cenários em que você poderia estar interessado no bloqueio Search Engine Bots de rastrear determinadas partes do seu site.

Por exemplo

1) Proteger o seu painel de administração do seu site.
2) Proteger a sua construção em páginas de ficar indexadas nos motores de busca.
3) Proteger diretório que você não quer ser indexado como cgi-bin
4) Proteger páginas que tenham endereços de e-mail como eles podem ser usados por spammers se tem posicionado nos motores de busca.

As razões podem ser várias mas a solução é a mesma, ou seja, usando o robots.txt agora vamos começar a escrever no robots.txt

Basic sintaxe do robots.txt é

User-Agent: [Spider Bot ou nome]

Nome] Disallow: Directory [ou arquivo

Você pode repetir essas linhas para bloquear diretórios diferentes ou diferentes dando instruções para aranhas diferentes. Vamos ficar em alguns exemplos que vão torná-lo mais claro.

Exemplo 1) Excluir um arquivo chamado private.html na pasta particular de ser indexado pelo Google bot.

Solução 1) Neste cenário, você pode escrever o seguinte código no robots.txt

User-Agent: Googlebot

Disallow: / private / private.html

Exemplo 2) Excluir uma pasta chamada privada de ser rastreado pelo motor de busca.

Solução 2) Neste cenário, você pode escrever o seguinte código no robots.txt

User-Agent: *

Disallow: / private /

Exemplo 3) Instrua Search Engine robôs para rastrear e posicionar tudo no site.

Solução 3) Neste cenário, você pode escrever o seguinte código no robots.txt

User-Agent: *

Disallow:

Exemplo 4) Instruir Search Engine bots que eles não deveriam engatinhar ou indexar qualquer parte do site.

Solução 4) Neste cenário, você pode escrever o seguinte código no robots.txt

User-Agent: *

Disallow: /

Exemplo 5) Excluir várias pastas (private1, private2, private3) de que está sendo rastreado pelos motores de busca.

Solução 5) Neste cenário, você pode escrever o seguinte código no robots.txt

User-Agent: *

Disallow: / private1 /

Disallow: / private2 /

Disallow: / private3 /

Exemplo 6) Instrua o Google-bot para rastrear tudo no sítio e instruir Alexa bot que ele não deve rastrear qualquer parte do website

Solução 6) Neste cenário, você pode escrever o seguinte código no robots.txt

User-Agent: Googlebot

Disallow:

User-Agent: Alexa

Disallow: /

Estou certo de que depois de ler este artigo você tem a idéia justa sobre robôs. Txt e agora você pode usar robôs. Txt para ajudar SEO do seu site.