SEO - оптимизация текста Роботы файла

Оптимизация роботов текстовый файл действительно важно, если это не сделано, то поисковых ботов может сканировать ваш сайт для конфиденциальной информации и может отображать их в своих поисковых систем или, если вы используете роботов. Текстовый файл, но это не написано правильно, то можно один из сценариев, что он может блокировать поисковых сканирование веб-сайте.

Мы можем блокировать пауков для сканирования ограниченные разделы нашего сайта. Ограниченные части нашего сайта означают ссылки на нашем сайте которой мы не хотим быть проиндексированы в поисковых системах и получить некоторые нежелательные посетители. Например: -

Как многие из вас были бы заинтересованы в Вашей администрации индексации страницы в поисковых системах?

В прошлом, когда я видел несколько сценариев, в которых владельцы веб-сайтов были параноидальные в использовании robots.txt на своем веб-сайте, поскольку они боялись, что это повредит SEO. Ну это не так, если мы можем использовать роботов. TXT правильно, то можно остановить сканеру особенно сканирования ограничены ссылки, и она будет сканировать все остальные ссылка, в которой мы не будем ограничивать и не будет даже вред SEO нашего сайта. Мы можем выполнить эту задачу с помощью роботов. TXT.

Прежде чем мы сможем обсудить оптимизации и может в полной мере использовать роботов. TXT, мы должны сначала обсудить основные концепции роботов. TXT

Роботов. TXT представляет собой текстовый файл, который должен быть размещен в корневом каталоге веб-сервера (где вы разместите главную страницу веб-сайта). Вы можете просто создать этот файл в блокноте. Она рассказывает различных поисковых роботов, которые в какой части сайта не должны быть отсканированы или не должны индексироваться. С помощью этого мы можем поручить ботов для предотвращения наш сайт из сканирования или же мы можем поручить им, что они не должны сканировать или индексировать некоторых районах на сайте. Даже мы можем использовать тот же роботов. TXT давать различные инструкции для различных роботов.

Даже если вы не хотите, чтобы защитить любой области Вашего сайта из индекса или ползком, по-прежнему необходимо использовать роботов. TXT так как он может действовать как открытое приглашение для поисковых систем, чтобы сканировать ваш полный веб-сайт.

Там может быть несколько сценариев, в которых вы можете быть заинтересованы в блокировании поисковых роботов из сканирования определенные части вашего сайта.

Например

1) Защита панель администрирования вашего сайта.
2) Защита строящихся страниц получать индексируются в поисковых системах.
3) Защита каталог, который вы не хотите быть проиндексированы, как CGI-BIN
4) Защита страниц, адреса электронной почты, поскольку они могут быть использованы спамерами, если есть индексируются в поисковых системах.

Причины могут быть самые разные, но решение такое же, то есть использование robots.txt теперь давайте начнем писать в robots.txt

Основной синтаксис robots.txt,

User-Agent: [Spider или имя Bot]

] Disallow: [Directory или имя файла

Вы можете повторять эти строки для блокирования различных каталогах или предоставление различных инструкций различных пауков. Давайте в несколько примеров, которые сделают ее более понятной.

Пример 1) Исключить файл с именем private.html в личной папке из сканирования в Google-бота.

Решение 1) В этом случае можно написать следующий код в файле robots.txt

User-Agent: Googlebot

Disallow: / частных / private.html

Пример 2) Исключить папку с именем частного от сканироваться поисковой системой.

Решение 2) В этом случае можно написать следующий код в файле robots.txt

User-Agent: *

Disallow: / частных /

Пример 3) Поручить поисковых ботов сканировать и индексировать все на сайте.

Решение 3) В этом случае можно написать следующий код в файле robots.txt

User-Agent: *

Disallow:

Пример 4) Поручить поисковых роботов, которые они не должны сканировать или индексировать части сайта.

Решение 4) В этом случае можно написать следующий код в файле robots.txt

User-Agent: *

Disallow: /

Пример 5) Исключить нескольких папках (private1, private2, private3) из сканирования поисковыми системами.

Решение 5) В этом случае можно написать следующий код в файле robots.txt

User-Agent: *

Disallow: / private1 /

Disallow: / private2 /

Disallow: / private3 /

Пример 6) Поручить Google-бот сканирование всего на сайте и поручить Alexa бот что он не должен сканировать любой части веб-сайта

Решение 6) В этом случае можно написать следующий код в файле robots.txt

User-Agent: Googlebot

Disallow:

User-Agent: Alexa

Disallow: /

Я уверен, что после прочтения этой статьи у вас есть четкое представление о роботах. TXT и теперь вы можете использовать роботов. TXT, чтобы помочь SEO вашего сайта.