Это отличные слова:)
Как же приятно после долгового изучения сео, когда кажется, что основы знаешь, заморочиться на проблеме, долго-долго с ней бороться, и в итоге - получить грамотные и развернутые ответы, понять как все просто и хорошо и улыбнуться :)
Всем огромное спасибо!
Переставить имеется ввиду на сайтах-донорах? Или есть какая то хитрость, о которой я не знаю?:)
Вот, кстати, как раз сейчас читаю про этот вариант.
Я так понимаю, если прописать этот код на каждой странице-дубликате, то робот будет знать, что это дубликат, и индексировать будет оригинал?
update: Да, судя по всему, так и есть. Очень хорошая вещь, жалко что только сейчас о ней узнал.
Спасибо, Dronja!
Но теперь интересен следующий вопрос: если внешние ссылки покупались на дубликат(http://gift54.com/Odejda/Futbolka-Gitara)
будут ли они давать вес, если сейчас покупать ссылки на оригинал (http://gift54.com/Futbolka-Gitara)
Вот оно! Спасибо:)
Решение элементарное, но как-то и не подумал даже.
Allow: /$ - разрешит индекс главной, кроме этого параметра, остальное правильно?
Спасибо еще раз за советы!
Порядок навел, старался оптимизировать роботс.тхт максимально.
Суть оптимизации: запретить роботу Яндексу качать все страницы, разрешить только страницы категорий, главную, страницы товаров (без дубликатов в остальных категориях).
Получился такой роботс (да, чего уже скрывать, сайт gift54.com):
User-agent: * Allow: /plush-toys$ Allow: /Odejda$ Allow: /Neobichnie-zonti$ Allow: /Gadgeti$ Allow: /Zabavnie-veshitsi$ Allow: /Osveshenie$ Allow: /Formi-dlya-lda$ Allow: /Ofisnie-podarki$ Allow: /plush-toys/Toy-FoodChain Allow: /plush-toys/Toy-Rolling-Monkey Allow: /plush-toys/Tapochki-Kroliki-Ubiici Allow: /plush-toys/Penguin-Tux Allow: /plush-toys/Plush-Android Allow: /plush-toys/Toy-Gizmo Allow: /plush-toys/Ktulhu Allow: /plush-toys/Beating-heart Allow: /plush-toys/Toys-Star-Wars Allow: /plush-toys/Toy-Zombie Allow: /Odejda/Futbolka-Baraban Allow: /Odejda/Muzikalnaya-futbolka Allow: /Odejda/Tapochki-Kroliki-Ubiici Allow: /Odejda/Shapka-naushniki Allow: /Odejda/Futbolka-Wi-Fi-detector Allow: /Odejda/Futbolka-Gitara Allow: /Neobichnie-zonti/Zont-Zvezodnoe-nebo Allow: /Neobichnie-zonti/Zont-Samurai-Sword Allow: /Neobichnie-zonti/Zont-Begushii-po-lezviy Allow: /Gadgeti/retro-trubka Allow: /Gadgeti/Snegobot Allow: /Gadgeti/Shockomyach Allow: /Zabavnie-veshitsi/Kaktusovaya-ferma Allow: /Zabavnie-veshitsi/Slinky Allow: /Zabavnie-veshitsi/Myach-meteorit Allow: /Zabavnie-veshitsi/Palchikovaya-barabannaya-ustanovka Allow: /Zabavnie-veshitsi/Piratskie-karti Allow: /Zabavnie-veshitsi/chudo-shariki Allow: /Zabavnie-veshitsi/Sbornie-solominki Allow: /Zabavnie-veshitsi/Electronie-pupirishki Allow: /Osveshenie/Svetodiodnie-medusi Allow: /Osveshenie/Svetodiodnie-svechi Allow: /Formi-dlya-lda/forma-dlya-rumok Allow: /Formi-dlya-lda/Forma-dlya-lda-Tetris Allow: /Formi-dlya-lda/Forma-dlya-lda-Cherepa-i-kosti Allow: /Formi-dlya-lda/Forma-dlya-lda-Galaxy Allow: /Formi-dlya-lda/Forma-dlya-lda-Pi Allow: /Ofisnie-podarki/Shokoruchka Allow: /Ofisnie-podarki/Acroboti Allow: /Ofisnie-podarki/Odushevlyaushie-nakleiki Allow: /Ofisnie-podarki/Miniaturnii-stounhendj Allow: /Ofisnie-podarki/Surikeni-derjateli-bumagi Allow: /Ofisnie-podarki/Robot-Tochilka Allow: /Sposobi-dostavki Allow: /Sposobi-oplati Allow: /about_us Allow: /index.php?route=information/contact Disallow: / Host: gift54.com Sitemap: http://gift54.com/index.php?route=feed/google_sitemap
Собственно, вопрос: все ли грамотно, на Ваш взгляд. И будет ли яндекс индексировать главную страницу? Если нет - то как ее добавить, ведь "Allow: /" разрешит роботу сканить весь сайт.
Заранее спасибо!
Спасибо большое!
И правда ситуацию описал криво.
Суть:
Уже куплено немало ссылок на товары по низкочастотникам такого вида: "сайт.ру/категория/товар"
В индексе яндекса: "сайт.ру/товар"
В robots.txt: "disallow: сайт.ру/товар"
Пока роботс нормально не прочитался яндексом, но в разделе "страницы в поиске" в Яндекс ВебМастере отображаются только ссылки типа "сайт.ру/товар", а ссылок "сайт.ру/категория/товар" - нет вообще.
Может быть есть смысл дописать "Allow: сайт.ру/категория/товар"?
