Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Проверьте Robots.txt

12
Цахес
На сайте с 15.03.2007
Offline
205
Цахес
#11

Delgado, в целях соблюдения стандарта написания файла robots.txt, директиву Host, необходимо добавлять непосредственно после записей Disallow.

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
[Удален]
#12

Огромное спасибо всем, кто уточнял текст файла ТС.

Саn
На сайте с 11.01.2008
Offline
9
Саn
#13

Статистика переходов с поисковиков на мой сайт такая:

Яндекс 1,045

Google 185

Search.Mail.ru 125

Rambler 62

Nigma 16

LiveInternet 12

Aport 6

Webalta 6

Gogo.ru 5

Яндекс (картинки) 3

Поиск.ru 3

Yahoo 2

All.by 1

От многих поисковиков нагрузки на процессор много, а толку мало...

Что нужно написать в robots.txt, чтобы разрешить индексировать мой сайт только

поисковикам Яндекс, Гугль, Рамблер и mail.ru, не навредив при этом adsense?

Пока сам составил вот такой вариант:

User-agent: Mediapartners-Google*

Disallow:

User-agent: Yandex

Disallow:

User-Agent: Googlebot

Disallow:

User-agent: StackRambler

Disallow:

User-agent: *

Disallow: /

Если что не правильно, скажите. Спасибо.

organic
На сайте с 07.11.2004
Offline
141
organic
#14

Delgado, у Вас закрыты специальные страницы /Special:, с другой стороны - они ведь редиректят на /Служебная:, да и ссылка из меню Инструменты со всех страниц ведет на кириллические URL, т.е., по сути Ваш роботс не закрывает служебные

Yeah, well, I'm gonna go build my own theme park, with blackjack and hookers. In fact, forget the park!
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий