Форум Поисковые системы Яндекс

robots.txt для яндекса

1 234
SeaBreeze
На сайте с 11.09.2005
Offline
253
SeaBreeze
#21

В самом начале шаблона страниц встравляем этот код: 

$useragent = $_SERVER['HTTP_USER_AGENT'];

if ($useragent == "Yandex") {

     Header("Location: http://www.microsoft.com");

}



else {

     // КОД СТРАНИЦЫ

}

Если робот принадлежит Яндексу, редиректим его на сайт "Майкрософта" или куда хотите. ;)

Ctulhu
На сайте с 21.05.2005
Offline
222
Ctulhu
#22
Егор:
А вот сам robots.txt там вообще секретный

Руки еще не дошли создать программный роботс, а то бы там было круто :)

Альтернативный вариант - поставить <body><noindex></noindex></body> на всех остальных страницах.

А по теме robots.txt - не думаю, что проблема для программера написать импорт урлов в некий список, который потом запихнуть в robots

https://atabekov.business
SeaBreeze
На сайте с 11.09.2005
Offline
253
SeaBreeze
#23
Ctulhu:

А по теме robots.txt - не думаю, что проблема для программера написать импорт урлов в некий список, который потом запихнуть в robots

Средняя длина УРЛа пусть будет 35 символов. На сайте, предположим, 100 тыс. страниц. Получается список УРЛов на 3.5 мегабайта. Ну да, у каждого вебмастера свой изврат :)

Тема с <NOINDEX> понравилась.

Ctulhu
На сайте с 21.05.2005
Offline
222
Ctulhu
#24
SeaBreeze:
На сайте, предположим, 100 тыс. страниц.

сгруппировать по схожим символам в начале урла - дубликаты удалить

P.S. <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> — это я не подумав, что только под Яндекс. Тег вполне пойдет. Только и Рамблер зацепит по идее.

K
На сайте с 31.01.2001
Offline
737
Kost
#25
andrej-ilin:
а если у меня главная страница на фреймах сделана, и еще я хочу чтобы картинки с главной страницы тоже в индекс попали?

Тогда можете сформулировать тех. задание в личку. Но это уже не бесплатно.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
andrej-ilin
На сайте с 28.03.2005
Offline
42
andrej-ilin
#26
Kost:
Тогда можете сформулировать тех. задание в личку. Но это уже не бесплатно.

Спасибо. Ну, robots.txt я уж как-нибудь сам напишу.

Я просто хотел проиллюстрировать то, что в общем виде решение не дано. Вы предлагаете запретить индексацию всех файлов и директорий на сервере. Но страница может состоять не из одного файла, поэтому Ваше решение нельзя назвать универсальным.

andrej-ilin@yandex.ru
Elementor - seo и Как менять url без Прямые заходы и 100%
Каширин
На сайте с 03.01.2004
Offline
1018
Каширин
#27
Ctulhu:
Руки еще не дошли создать программный роботс, а то бы там было круто :)

У меня создан 🙄 Все мои robots.txt на самом деле написаны на php и переперты в текст модрирайтом 😎

K. Ermakov
На сайте с 10.12.2004
Offline
328
K. Ermakov
#28
andrej-ilin:
Но страница может состоять не из одного файла, поэтому Ваше решение нельзя назвать универсальным.

Не могли бы Вы пояснить первую часть фразы?

С уважением, Константин Ермаков, absite.ru: онлайн кроссворды (http://absite.ru/); searchsuggest.ru: поисковые подсказки доставляют (http://searchsuggest.ru/).
andrej-ilin
На сайте с 28.03.2005
Offline
42
andrej-ilin
#29

K. Ermakov, в браузере выбираем Файл > Сохранить как > Веб страница, полностью и получаем набор файлов. На сервере, конечно, некоторые файлы не хранятся, а создаются динамически.

Ну а про странички на фреймах я уже говорил.

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
SeaBreeze
На сайте с 11.09.2005
Offline
253
SeaBreeze
#30
andrej-ilin:
K. Ermakov, в браузере выбираем Файл > Сохранить как > Веб страница, полностью и получаем набор файлов. На сервере, конечно, некоторые файлы не хранятся, а создаются динамически.
Ну а про странички на фреймах я уже говорил.

5 баллов 😆

1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий