Яндекс индексирует странно

vlamant
На сайте с 16.11.2006
Offline
129
1449

Добрый день.

Суть проблемы:

Быстро робот индексирует за несколько минут все хорошо: http ://site.ru/news/777-chpu.html но через некоторое время появляется страница (дубль) в поиск вида:

http ://site.ru/news/777-chpu.html?utm_source=twitterfeed&utm_medium=twitter

Как с этим бороться, как запретить к индексации, может быть в движке что то прописать, например в .htaccess...

Движок дле, может есть решение проблемы???

Цель снести из индекса - ?utm_source=twitterfeed&utm_medium=twitter :gm:

Всем заранее спасибо за советы и помощь

Если Яндекс ищет ответ на ваш запрос больше минуты - ждите... Он гуглит... Покупаем ссылки. Дорого!! (http://www.sape.ru/r.fe6e659f65.php) Покупаем и продаем статьи!!! (http://articles.sape.ru/r.fe6e659f65.php)
K
На сайте с 31.01.2001
Offline
737
#1

vlamant, неудобно спрашивать, но про robots.txt вы вообще слыхали?

Ссылка для изучения.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
vlamant
На сайте с 16.11.2006
Offline
129
#2
Kost:
vlamant, неудобно спрашивать, но про robots.txt вы вообще слыхали?
Ссылка для изучения.

Не поверите но слыхал))))) и даже изучал... перед тем как тему создать...

Ну не пойму я как запретить к индексации эту примочку:

?utm_source=twitterfeed&utm_medium=twitter

Ведь страниц куча:

http ://site.ru/news/777-chpu.html?utm_source=twitterfeed&utm_medium=twitter

http ://site.ru/news/778-chpu.html?utm_source=twitterfeed&utm_medium=twitter

http ://site.ru/news/779-chpu.html?utm_source=twitterfeed&utm_medium=twitter

http ://site.ru/news/780-chpu.html?utm_source=twitterfeed&utm_medium=twitter

и т.д........

NikitoZZ
На сайте с 04.04.2007
Offline
208
#3

Disallow: /*?utm_source=twitterfeed&utm_medium=twitter

И будут запрещены все страницы с этой строкой.

Ради интереса проверил на своём сайте, все правильно

jpg 777.jpg
vlamant
На сайте с 16.11.2006
Offline
129
#4

спасибо огромное....

vlamant добавил 08.09.2010 в 15:53

Проверил через аддурл, подобные страницы не добавляется, пишет что запрещен к индексации.. НО!!!!! сейчас смотрю, быстро робот сожрал новые страницы с этой шнягой: ?utm_source=twitterfeed&utm_medium=twitter

Или это временно?? яшка еще не узнал об изменении в роботсе????

vlamant
На сайте с 16.11.2006
Offline
129
#5

проблема актуальна.... появляются вновь и вновь подобные страницы.... или быстроробот не обращает внимание на роботс.тхт????

[Удален]
#6

Может быть неверно запрет к индексу прописали?

vlamant
На сайте с 16.11.2006
Offline
129
#7
Evgeniy NN:
Может быть неверно запрет к индексу прописали?

Все может быть.. но когда пытаюсь добавить новые страницы а аддурлку с подобным окончанием, пишет что к индексации запрещена страница!!!!!!!

Buzzy-Wuzzy
На сайте с 07.07.2010
Offline
66
#8

яндекс жрет все, а то что вы ему запретили не должно попадать в выдачу, но ходить по этим страницам он будет всегда.

vlamant
На сайте с 16.11.2006
Offline
129
#9
Buzzy-Wuzzy:
яндекс жрет все, а то что вы ему запретили не должно попадать в выдачу, но ходить по этим страницам он будет всегда.

Вы хоть поняли сами что написали?))))) Вы наверное имели ввиду: боты яндекса, сканируют все страницы, но в поисковую базу попадают только страницы не запрещенные к индексации?)))) Так вот, у меня в выдаче присутствуют страницы запрещенные к индексации)))) Только вопрос в том - правильно ли я запретил?????? 🍿

p.s. После сегодняшнего апа, новые страницы с окончанием ?utm_source=twitterfeed&utm_medium=twitter опять попали в индекс......

Buzzy-Wuzzy
На сайте с 07.07.2010
Offline
66
#10

vlamant, я то понял, но в теме нигде не упоминается, что эти странице присутствуют в выдаче

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий