Почему важно сразу прописывать Host в robots.txt
Ноя122010
Все дело в том, что я как-то особо не обращал внимания на то, что Яндекс перепутал зеркало домена. Позиции равномерно росли, посещаемость на блоге тоже, все довольны. Но когда до меня, наконец, дошло, что все естественные ссылки ведут на домен с www, а продвигаю то я блог без www, мною было решено срочно прописать в robots.txt директиву host (чтобы подсказать Яндексу главное зеркало сайта), но я не ожидал, что результаты будут настолько плачевными.
Да, Яндекс перезеркалил домен и я добился того, чтобы в выдаче был домен блога без www. Теперь 95% пользователей переходят на мой блог по адресу без www:
Но в тот же момент, позиции блога, которые были высокими за счет естественных ссылок, резко обвалились, в результате чего посещаемость упала в 1.5 раза:
В конце концов получилась ситуация, которую нужно избегать все вебмастерам – вес ссылок разделился на два зеркала: на домен с www и на домен без www. На данный момент я потерял болшое количество веса, который передавали естественные ссылки, которые ведут на домен с www.
Конечно, я мог бы прописать 301 редирект. Мог бы, если бы uCoz это позволял… Руки все никак не дойдут переехать на WP, да и что-то боязно потерять итак пошатнувшиеся позиции. Что посоветуете делать?
Поэтому, советую всем сразу же после прикрепления домена к сайту прописывать в файле robots.txt следующую строку:
Host: moipost.ru
Где moipost.ru нужно заменить на главное зеркало вашего сайта. Если хотите, чтобы домен был с www, то добавьте это в директиву host. Возможно, посещаемость и вернется на прежний уровень, но для этого, в любом случае, потребуется время. А ведь этого можно было очень просто избежать.
Из хороших новостей: блог в последний АП ТИЦ получил +10. Теперь ТИЦ моего блога = 20, что, в любом случае, приятная новость. Всем желаю удачи в продвижении сайтов!
Качественная реклама в социальных сетях. Компания mediatarget.in проведет за вас рекламную компанию.
Хотите узнать рецепты любого блюда?
На портале webmasters.ru можно проверить ТИЦ и PR, индексацию сайтов, позиции сайта.
Кроме этого, советую почитать:
Понравилась статья? Подпишитесь на и первыми читайте новые статьи. Также можете последовать за мной на , я всегда публикую туда ссылки на новые статьи в блоге. Вы также можете подписаться на рассылку по e-mail, форма для подписки находится немного ниже.

Добавлено 13 комментариев
Комментарий добавил Игорь 2011 Июн 06 в 21:03
у меня такая же проблема пропало 2000 с небольшим страниц потом вообще сайт выпал из индекса в вебмастере стоит зеркало с 250 страницами и всё так уже месяц написал в поддержку ответили пропишите директиву host без трёх www просто домен.рф не знаю поможет это или нет может кто сталкивался посоветуйте правильно сделал или нет
Комментарий добавил Владимир 2010 Дек 02 в 17:34
Нет, не обязательно.
Комментарий добавил Онлайн Иван 2010 Дек 02 в 15:47
А после "Host:_" Пробел необязательно ставить?
( _ - это пробел )
Комментарий добавил белый 2010 Ноя 18 в 19:57
была подобная ситуация.
зарегистрировал домен без www, яндекс принял его в список моих сайтов с www
типа, это "основное зеркало"
в итоге в панели вебмастера сайт имел вид http://www.vestnik-pervopohodnika.ru
далее стоял тИЦ 0 и внешних ссылок тоже 0 (домен абс.новый).
я ничего нигде не меняя (ничего из описанных здесь мер, т.е. вообще) продвигал его БЕЗ www
(просто потому что не обратил внимания на эту прихоть яши считать главным зеркало с www)
все бэки имели вид: http://vestnik-pervopohodnika.ru/publ/23-1-0-173 (в этом роде)
таких ссылок было что-то около 35 (и ни в одной www не было!)
потом добавил в сапу, через месяц сайт попал под АГС, а еще через месяц...
сайт получил свой тИЦ 20...
такие парадоксы.
Комментарий добавил Садых Садыхов 2010 Ноя 15 в 21:26
А грамотная оптимизация? Перелинковка и правильно подобранные ключевики могут поднять.
Комментарий добавил Владимир 2010 Ноя 14 в 23:12
ВЧ без ссылок в топ 4 не попадают.
Комментарий добавил Садых Садыхов 2010 Ноя 13 в 19:40
Нет, ВЧ по той тематике был вроде 56 000~ запросов в месяц.
Комментарий добавил Владимир 2010 Ноя 13 в 15:58
Видимо, тематика была "купить плюшевых медвежат в розницу в сибири", поэтому 100 запросов в месяц было ВЧ для этой тематики.
У меня посещалка упала из-за Яндекса, гугл правильно определил зеркало. Сейчас вроде возвращается посещаемость, при этом достаточно быстро.
Комментарий добавил Садых Садыхов 2010 Ноя 13 в 08:27
Владимир, у меня основное без www. Насчёт настроек, да, у меня в блоге так стаяло. Но, Яндекс всё равно считал без www основным зеркалом сайта. Я думал, влияет ли серверный редикрет на зеркало сайта. Вывод сделал такой, что если host не прописан, то влияет, если же он прописан, то толку 0.
Кстати, когда я склеивал нулевой сайт (без всяких бэков, просто в индексе), после склеивания он поднялся с 26, на 4 место по ВЧ. (В Яндексе, а в Гугл после добавления sitemap в виде RSS подписки).
Ещё насчёт Гугла. У него прямо в панельке можно поставить зеркало сайта, однако, если во время не поставить, то в индексе могут появится дублированные страницы с и без www. Я вообще почти все свои сайты пытаюсь делать без www.
Поздравляю
Комментарий добавил Владимир 2010 Ноя 13 в 01:01
Садых Садыхов, а у тебя какое основное зеркало, с www или без? Дело в том, что в общих настройках можно поставить редирект с версии без www на версию с www, а наоборот нельзя.
зы: кстати, судя по статистике, посещаемость уверенно растет.
Комментарий добавил Садых Садыхов 2010 Ноя 12 в 20:59
После трёх апов выдачи у меня стабильно всё стало
Правда, сразу после склеивания слетели в 2,5 раза. Чуть позже, страницы вернулись и всё стало стабильно, даже лучше 
Комментарий добавил Блоггер 2010 Ноя 12 в 17:33
*Побежал прописывать host на своем блоге*
зы: спасибо.
Комментарий добавил saper 2010 Ноя 12 в 16:48
"Что посоветуете делать?"
Лучше раньше переехать, чем позже. Рекламодателей больше найдешь, это факт.