Если вы создали свой файл robots.txt, то в Яндекс Вебмастер или в Google Webmaster можно будет проверить работоспособность заданных вами правил индексации для поисковиков. Запретили вы, допустим, индексацию некоторых страниц своего ресурса в файле robots.txt. После этого заходим в Яндекс Вебмастер или в Google Webmaster, и в области для проверки работоспособности файла robots.txt вводим ссылку на запрещенную к индексации страницу своего web проекта.
Если в результате мы получим ответ, что индексация данной страницы запрещена файлом robots.txt, то значит, мы большие молодцы и все правильно наколдовали в robots.txt. А если мы в Яндекс Вебмастер или в Гугл Вебмастер получим ответ, что запрета на индексацию этой страницы поисковик не видит, то значит, что мы вовсе и не молодцы, и нужно продолжать корпеть над дальнейшей настройкой robots.txt.
В Яндекс Вебмастер и в Гугл Вебмастер можно также наглядно посмотреть сколько страниц вашего ресурса уже проиндексировано, сколько ошибок при этом было обнаружено, посмотреть эти ошибки (проверка на битые ссылки), посмотреть по каким ключевым запросам на ваш проект чаще всего переходили из данной поисковой машины (Яндекс или Google) посетители, удалить при необходимости лишние страницы из индекса и т.п.
Но прежде чем мы получим доступ ко всему этому великолепию, нам нужно будет не только зарегистрироваться в Яндекс Вебмастер и в Гугл Вебмастере, но и подтвердить свое право в Яндекс Вебмастер, на добавляемые в него сайты. Иными словами доказать, что мы можем управлять своим web проектом.
Для этого вам предлагается на выбор: либо разместить в корне вашего ресурса пустой текстовый файла с заданным названием и расширением, либо добавить в Html код главной страницы приведенный в Яндекс Вебмастер хитрый мета-тег . Если вы выполните одно из этих условий, то поисковая система Яндекс будет считать, что вы действительно являетесь владельцем этого web проекта и предоставит вам доступ к рычагам управления ходом индексации вашего ресурса. Теперь рассмотрим все выше сказанное более подробно…
Но даже без регистрации и добавления своего сайта в Яндекс Вебмастер (webmaster.yandex.ru) у вас будет возможность осуществить некоторые действия, позволяющие подсказать поисковой системе Яндекс информацию о появлении новой страницы (аддурилка Яндекса) или об удалении документа (если этот документ отдает ответ сервера 404, то Яндекс позволит вам удалить такую страницу из индекса):
Без регистрации в Я.Вебмастер вы так же сможете проверить корректность своего файла robots.txt, проверить любую страницу на наличие орфографических ошибок, ну и проделать еще ряд незамысловатых операций. Но после регисрации и добавления своего проекта в Я.Вебмастер возможностей у вас будет больше и кроме этого вы получите доступ к очень интересной информации о видимости вашего сайта в поисковой выдаче, о количестве обратных ссылок и т.п.