- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Вообщем, есть сайт - всего 70 тыс ссылок, в индексе яндекса - 50 тысРоботс настроен четко, индексируются только те страницы, которые нужны, Предполагаю 20тыс - это копипаст, который хочу удалить.
Проблема - как мне найти список этих страниц?
В вебмастере нет возможности же выгрузить список страниц целиком, утилит не нашел, которые бы проверяли по карте сайта статус индексации страниц.
Что делать, помогите пожалуйста.
Оригинального решения задачи не видел. Брал xenu или sitemap generator и полученный список урлов 2-3 суток медленно но уверенно чекались.
Иногда удавалось находить по какому-то признаку (части урла, разделу, элементу верстки) - но это скорее интуиция и опыт чем технология ))
Если кто-то знает не столь тривиальное решение, тоже буду рад услышать.
PS
Естественно интересует решение для 10к+ объемов.
Оригинального решения задачи не видел. Брал xenu или sitemap generator и полученный список урлов 2-3 суток медленно но уверенно чекались.
Иногда удавалось находить по какому-то признаку (части урла, разделу, элементу верстки) - но это скорее интуиция и опыт чем технология ))
Если кто-то знает не столь тривиальное решение, тоже буду рад услышать.
PS
Естественно интересует решение для 10к+ объемов.
Нашел более менее быстрый способ, через пейджвейт получил все ссылки сайта, используя robots.txt (xenu с моим роботсом не работает нормально), потом в экселе выбрал колонку ссылок, получилось 65к, больше не влезало
Далее, используя программу YCCY -копировал по 10тыс записей в столбце и прогонял через нее
Нашел более менее быстрый способ, через пейджвейт получил все ссылки сайта, используя robots.txt (xenu с моим роботсом не работает нормально), потом в экселе выбрал колонку ссылок, получилось 65к, больше не влезало
Далее, используя программу YCCY -копировал по 10тыс записей в столбце и прогонял через нее
ну принцип тот же по большому счету