- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем привет. Вопрос задавал некоторое время назад, ответа не последовало.
Но, возможно, есть какие то изменения, появился софт...
?
я.вебместер
загружено роботом 5000 страниц
страниц в поиске 4500
исключено роботом 100
нужно тупо получить список урлов в индексе.
Спасибо заранее.
http://yandex.ru/yandsearch?text=url%3Ahttp%3A%2F%2Fsearchengines.guru%2Fshowthread.php%3Ft%3D863613&lr=2
Вот таким образом распарсить весь сайт
http://yandex.ru/yandsearch?text=url%3Ahttp%3A%2F%2Fsearchengines.guru%2Fshowthread.php%3Ft%3D863613&lr=2
Вот таким образом распарсить весь сайт
Ага, только кто бы написал такой парсер.
Stgrabber в помощь
Stgrabber в помощь
Да, спасибо, нашел /ru/forum/565541 прочитал, заинтересовало,
а оказалось уже не работает.
---------- Post added 27-08-2014 at 08:59 ----------
http://yandex.ru/yandsearch?text=url%3Ahttp%3A%2F%2Fsearchengines.guru%2Fshowthread.php%3Ft%3D863613&lr=2
Вот таким образом распарсить весь сайт
Я бы попробовал сам написать что то типа
скрипта php
скрипту даем список урл, а он поочереди заходит по урлу
http://yandex.ru/yandsearch?text=url%3Ahttp%3A%2F%2Fsearchengines.guru%2Fshowthread.phpt%3D863613
и проверяет, если есть текст "По вашему запросу ничего не нашлось" значит урл не в индексе.
Но как быть с капчей...я не знаю.
Точный список получить практически не реально. Если сайт маленький (до 1000 страниц), то проблем нет, а вот если больше... Если у вас сайт с хорошей структурой, вида domain.ru/category1/, domain.ru/category2/ и все страницы соответствую это иерархии, то можно попробовать пробить через выдачу по конкретным разделам:
site:domain.ru/category1/
site:domain.ru/category2/
P.S. яша хоть 1000 страниц отдает, с гуглом вообще беда :(
Да, спасибо, нашел /ru/forum/565541 прочитал, заинтересовало,
а оказалось уже не работает.
Всё работает, только что проверил. Могу скинуть архив.
Всё работает, только что проверил. Могу скинуть архив.
Да, спасибо. Скинуть в личку реально?
у меня вот что показывает
Точный список получить практически не реально. Если сайт маленький (до 1000 страниц), то проблем нет, а вот если больше... Если у вас сайт с хорошей структурой, вида domain.ru/category1/, domain.ru/category2/ и все страницы соответствую это иерархии, то можно попробовать пробить через выдачу по конкретным разделам:
site:domain.ru/category1/
site:domain.ru/category2/
P.S. яша хоть 1000 страниц отдает, с гуглом вообще беда :(
Разделы есть, но порядка 3000 урлов в корне сайта.
яндекс-xml можно заюзать спокойно.
Если не выйдет - обращайтесь, есть у меня решения.
http://otlichnik.info/viewtopic.php?f=15&t=28
или вот по аналогии (там XML пример)
Качаешь свой сайт пейдж вейтом.
Потом все странички проверяешь на индексацию в Яндексе через xml.