Внимание синтаксис robots.txt

sirota77
На сайте с 08.09.2008
Offline
161
2415

Традиционно прошу не наезжать если тема не новая.

Сегодня обнаружил в индексе гугла одного из сайтов кучу дублей (версии для печати и др.).

robots.txt делал я и тестировал его в яндекс вебмастере. А сегодня я открыл для себя что яндекс и гугл АБСОЛЮТНО по разному понимают один и тот же файл. Правда условия в robots.txt были совсем не простые, полагаю для простеньких условий должны понимать одинаково.

Вот.

Dexter88
На сайте с 06.10.2006
Offline
131
#1

Так напишите, что понималось по разному, воды в топик налили, для чего

Drive-Tube.Ru - Все о твоем настоящем и будущем авто! (http://drive-tube.ru)
kimberlit
На сайте с 13.03.2007
Offline
370
#2

А где сам robots то?

sirota77
На сайте с 08.09.2008
Offline
161
#3
Dexter88:
Так напишите, что понималось по разному, воды в топик налили, для чего

Я же говорю, ооочень сложные правила, я сам не понял что не так, просто создал отдельную секцию для бота гугла.

Я рекомендую проверить тем у кого не просто Disallow: /searchresult/.

Kirik
На сайте с 13.04.2006
Offline
266
#4

че за? полный роботс в студию и какая разница в понятиях кроме хоста?

~~ Продвижение сайтов (https://kirik.pro/) ~~ PRPosting.com (https://prposting.com) - ссылки под бурж, 100+ стран, 45000 доноров, партнерка с 5% от трат ~~ Копирайтинг и рерайтинг (https://wordfactory.ua/)
sirota77
На сайте с 08.09.2008
Offline
161
#5
Kirik:
че за? полный роботс в студию и какая разница в понятиях кроме хоста?

Роботс я не покажу т.к. из него и inurl: станет ясен домен. Не могу я сайт светить !

А показывать обрубок нет смысла.

[Удален]
#6
sirota77:
Роботс я не покажу т.к. из него и inurl: станет ясен домен. Не могу я сайт светить !
А показывать обрубок нет смысла.

Ну а к чему тема то тогда? Жесть просто 😂

kimberlit
На сайте с 13.03.2007
Offline
370
#7
sirota77:
Роботс я не покажу т.к. из него и inurl: станет ясен домен.

Что за бред? А скопипастить сюда нельзя что ли?

sirota77
На сайте с 08.09.2008
Offline
161
#8
Phessiv:
Ну а к чему тема то тогда? Жесть просто 😂

Это просто информация к размышлению, у кого есть подозрения проверят и в я вебмастере и инструментах для вебмастеров гугла.

Я вот сегодня проверил и там и там, удивился, и решил дать знать другим.

sirota77 добавил 09.04.2010 в 11:14

kimberlit:
Что за бред?

не надо меня обижать !

Повторяю: в файле есть части урлов, с помощью inurl:"инфа из роботса" элементарно выяснить домен.

_Unikum_
На сайте с 28.06.2008
Offline
154
#9
sirota77:
Роботс я не покажу т.к. из него и inurl: станет ясен домен. Не могу я сайт светить !
А показывать обрубок нет смысла.

Ну не обязательно же здесь свой сайт палить, вместо своего сайта напишите site.ru и выложите весь роботс.тхт. В чем проблема то? Тогда понятнее будет.

С Уважением, Сергей.
orphelin
На сайте с 02.07.2006
Offline
261
#10

sirota77, т.е. это точно Google накосячил, точно не вы?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий