- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу

Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Обнаружил дубли страниц у себя на сайте, типа
forum/43-4651-
forum/43-4651-1
Закрыл все страницы заканчивающиеся на - в robots.txt
Disallow: /*-$
В google.com/webmasters/tools/crawl-errors в разделе
Заблокирован файлом robots.txt
стали показываться эти страницы, значит гугл их переиндексировал, но прекрасно видя, что они закрыты в robots.txt и ругаясь на это, он продолжает их держать в индексе. В чем причина и когда всё-таки он выкинет дубли?
Обнаружил дубли страниц у себя на сайте, типа
forum/43-4651-
forum/43-4651-1
Закрыл все страницы заканчивающиеся на - в robots.txt
Disallow: /*-$
В google.com/webmasters/tools/crawl-errors в разделе
Заблокирован файлом robots.txt
стали показываться эти страницы, значит гугл их переиндексировал, но прекрасно видя, что они закрыты в robots.txt и ругаясь на это, он продолжает их держать в индексе. В чем причина и когда всё-таки он выкинет дубли?
Для начала попробуйте их ручками удалить. В панели вебмастера находите "Конфигурация сайта" => "Доступ для сканера" => "Удалить URL". И далее подождать нового индекса, если повторится проблема, есть смысл написать в тех поддержку.
p.s. в последнее время на многих моих сайтах в выдачу гули попадают страницы, закрытые в robots...😕
golf4man, а если таких страниц несколько тысяч, то их тоже в ручную удалять?
golf4man, а если таких страниц несколько тысяч, то их тоже в ручную удалять?
Сколько времени прошло с момента добавления записи в роботс? Читал что знак зведочка (маска) не всеми ботами воспринимается. В сайтмапе страницы удалены?
Для удаления страниц рекомендуют ставить выдачу 404 или 401 страницы тогда бот точно поймет что она удалена.
у меня была похожая ситуация на 2-х сайтах
на одном наладилось через 2 апа, на другом месяц
У меня лишнее в индекс попало, забыл просто вместе с движком залить роботс, обнаружил, проверяя индексацию. Закрыл лишнее в роботс и меньше чем через 12 часов их уже не было в индексе.
у меня была похожая ситуация на 2-х сайтах
на одном наладилось через 2 апа, на другом месяц
Прошу прощения! Не 2 апа, а 2 недели
У меня ситуация чуть сложнее. Последовательность была такая (домен вымышленный):
1. У меня был интернет-магазин domen.kiev.ua, я зарегистрировал domen.ua
2. Три месяца новый .ua редиректил на .kiev.ua
3. По совету специалистов закрыл в robots.txt лишние страницы, типа domen.kiev.ua/checkout/
4. Через пару недель поставил в .htaccess 301-й редирект со старого .kiev.ua на новый .ua
5. Через 2 месяца Яндекс побаловался неделю и вернул сайт уже с новым доменом на прежние позиции. А вот Google, уже через неделю после редиректа, новый сайт из ТОП-3 опустил на вторую страницу.
6. Прошло 4 месяца, в индексе Google оба домена. На обычные запросы выдает новый .ua, на запросы типа site:domen.kiev.ua показывает более 7000 страниц (все они закрыты robots.txt) и количество их с момента редиректа растет (вначале было 1200).
7. В Webmaster Tools .kiev.ua не считают за TLD и явно перенаправить не дают. Отображается список "внешних" ссылок с domed.ua на domen.kiev.ua вот такого вида:
[To] http://domen.kiev.ua/checkout/
[From] http://domen.ua/
Via this intermediate link: http://domen.ua/checkout/
И так 2400 штук линков (не 7000, что странно)
Буду очень признателен, если кто подскажет, как лучше и безболезненней избавиться от старого домена и ссылок в индексе?
Также, может ли являться вышеописанное основной причиной драматического падения в выдаче?
Сколько времени прошло с момента добавления записи в роботс?
более 2-х недель
Ingvarr добавил 19.11.2011 в 18:55
В сайтмапе страницы удалены?
таких страниц там никогда и не было
Ingvarr добавил 19.11.2011 в 18:55
Для удаления страниц рекомендуют ставить выдачу 404 или 401 страницы тогда бот точно поймет что она удалена.
такой возможности нет
более 2-х недель
Ingvarr добавил 19.11.2011 в 18:55
таких страниц там никогда и не было
Ingvarr добавил 19.11.2011 в 18:55
такой возможности нет
Тогда только ждать и может быть удалится :)
Тогда только ждать и может быть удалится :)
Да удалится конечно. Это же Google :)