Еще надо добавить в роботс:
Disallow: /page/*
Disallow: */page/*
Сегодня нашел инфу что гугл практически не обращает внимание на файл robots.txt и закидывает в так называемый "второстепенный" индекс все страницы. То есть роботс проблемы дублей не решает..
Что бы окончательно решить вопрос говорят надо еще в head страниц дополнительно вставлять конструкцию <meta name="robots" content="noindex, nofollow">
а какая разница?
Нашел, похоже дубли возникают из-за тегов, но я же закрыл индексирование их в роботс..
или надо еще так:
Disallow: /tag/* ?
Вообщем спасибо за советы! теперь хоть знаю в какую сторону смотреть
Файл роботс составил вот такой:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Disallow: /tag
Disallow: /category
Disallow: /archives/tag/
Disallow: /2013/*
User-agent: Yandex
Host: www.site.com---------- Добавлено 31.07.2013 в 16:41 ----------
Посмотрел как вы написали, вот что вышло:
"Мы скрыли некоторые результаты, которые очень похожи на уже представленные выше (46).
Показать скрытые результаты." - То есть 46 из 77 страниц гугл показывает, остальные имеют в сниппете вот такой текст:
"Описание веб-страницы недоступно из-за ограничений в файле robots.txt."
Привет! Я поменял в админке Вордпреса (Параметры -Постоянные ссылки) формат отображения урл записи. Раньше было "Месяц и название"(/%year%/%monthnum%/%postname%/), теперь - "Произвольно" (%category%%postname%).
Таким образом все записи с старым форматом начали выдавать при открытии с поиска 404 ошибку.
Что делать не знаю, раньше был такой плагин - Deans Permalinks Migration, но он уже не рабочий. Надо альтернативу..
Здравствуйте! Помогите с небольшой проблемой - на сайте были изменены постоянные ссылки в результате чего все посты с старым форматом пермалинков стали отображаться в поиске с ошибкой.. Что делать? )
Со всего что знаю по Gogetlink так это то что главное эт выбрать правильную тематику и постоянно поднимать Тиц Pr сайта +трафик
Прибыль считал так: 1 ссылка- 80 р. минимум в день (Тиц 20 пр2) *20 дней = 50$
То есть планирую(ну или надеюсь:)) минимально 50$ в мес. Дальше доход по идее должен зависеть от количества заявок..
А какой прогноз от работы в sape? Сайт примерно такой:
Страниц в индексе: 3000
Страниц для размещения ссылок: не больше 1800 (60% от общей сумы в индексе - читал что не надо весь сайт под ссылки отдавать..)
Тиц:10
Схема продажи ссылок: 1-1-1 ..это ж консервативно и уменьшает вероятность АГС?
