- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
С гуглом как то давно работаю, но в основном проблема была как вогнать в индекс, тут истуация обратная.
Есть domen.com, пару лет на нем был вялотекущий форум, форум я перевез на новое место а на домене поставил шоп. Перевезти через панель вебмастера не получилось, потому как переносил на субдомен, а с субдоменами их инструмент не работает нормально. Я рассудил, что поставлю 404 и все само вывалится.
И вот тут появилась проблема с индексом. На момент переезда в индексе было около 100к страниц.
Я поставил шоп, в шопе есть фильтры товаров. Ссылки на фильтры запрещены в robots.txt, сами результаты по фильтрации закрыты мета тегом noindex.
Казалось бы сщас станет все как в сказке, но нет
В данный момент, по site:domen.com находит 389,000 страниц. Ждать дальше смысла нет, уже 3 месяца прошло.
дергая inurl видно что форумные паги ни куда особо не пропали и более того в индексе сидят все фильтры (которые вроде как закрыты все чем можно)
В активной выдаче всего страниц 300. Все остальное в соплях, и под каким то аццким фильтром, что подтверждают статсы вебмастер тулз, в sitemap.xml из 3700 страниц проиндексено только 526.
Гугль бот носится по сайту, практически не вылезая,в том числе и по продуктам, но мусор этот не выпадает.
Пробовал спросить в блоге , но ответов пока нет.
Может серч чем то поможет ? Как выкинуть это мусор из индекса?
Если эти страницы являются точками входа, то нет смысла их выкидывать, а лучше правильно их оформить
Да не являются они точками входа, тупо масса которая сидит в соплях. И из за этого нормальные страницы не индексятся, как я понимаю.
Если форум лежал в папке, то можно попробовать в вебмастер тулз сделать запрос на удаление папки.
не в папке :) в корне лежал
Ждать дальше смысла нет, уже 3 месяца прошло.
...
Гугль бот носится по сайту, практически не вылезая,в том числе и по продуктам, но мусор этот не выпадает.
То есть по логам видите, что гуглбот заходит на уже удаленные страницы, получает 404 (а не другой код) и все равно они остаются в его базе уже несколько месяцев?
Можно еще посмотреть в инструментах вебмастера "ошибки сканирования" - видит ли реально кучу не найденных и заблокированных через robots страниц или нет...
Kass, В вашем случае, ИМХО, нужно написать скрипт который бы автоматом удалил страницы через https://www.google.com/webmasters/tools/removals?action=create&hl=ru
То есть по логам видите, что гуглбот заходит на уже удаленные страницы, получает 404 (а не другой код) и все равно они остаются в его базе уже несколько месяцев?
Можно еще посмотреть в инструментах вебмастера "ошибки сканирования" - видит ли реально кучу не найденных и заблокированных через robots страниц или нет...
Да пытается долбится в 404
и в ошибках сканирования стоят 80к страниц как запрещенных через robots.txt
ну вообщем то написать его не вопрос :) вопрос сколько займет отработать хотя бы 10к. Тут в 50 потоков не запустишь.
Вобщем я прихожу к мнению что домены из под форумов есть мусор, который не надо юзать для белых проектов. Или ждать надо пока он переварит это гиганское кол-во мусора и выплюнет его. Но как видно процесс этот не быстрый.
вопрос сколько займет отработать хотя бы 10к. Тут в 50 потоков не запустишь.
Это вообще не вопрос, т.к. работать будет комп, а не вы :). Да и с интенсивностью 1 запрос в секунду это займет меньше 3 часов.
Kass, В вашем случае, ИМХО, нужно написать скрипт который бы автоматом удалил страницы через https://www.google.com/webmasters/tools/removals?action=create&hl=ru
Будьте добры,
расскажите, как это сделать. Мне надо. А я Вам за это тоже что-нибудь хорошенькое сделаю.
Willie, я сам эту тему пробиваю, это у Kass написать его не вопрос :). Если что-то будет поделюсь я не жадный ;)