- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем привет. Вопрос задавал некоторое время назад, ответа не последовало.
Но, возможно, есть какие то изменения, появился софт...
?
я.вебместер
загружено роботом 5000 страниц
страниц в поиске 4500
исключено роботом 100
нужно тупо получить список урлов в индексе.
Спасибо заранее.
http://yandex.ru/yandsearch?text=url%3Ahttp%3A%2F%2Fsearchengines.guru%2Fshowthread.php%3Ft%3D863613&lr=2
Вот таким образом распарсить весь сайт
http://yandex.ru/yandsearch?text=url%3Ahttp%3A%2F%2Fsearchengines.guru%2Fshowthread.php%3Ft%3D863613&lr=2
Вот таким образом распарсить весь сайт
Ага, только кто бы написал такой парсер.
Stgrabber в помощь
Stgrabber в помощь
Да, спасибо, нашел /ru/forum/565541 прочитал, заинтересовало,
а оказалось уже не работает.
---------- Post added 27-08-2014 at 08:59 ----------
http://yandex.ru/yandsearch?text=url%3Ahttp%3A%2F%2Fsearchengines.guru%2Fshowthread.php%3Ft%3D863613&lr=2
Вот таким образом распарсить весь сайт
Я бы попробовал сам написать что то типа
скрипта php
скрипту даем список урл, а он поочереди заходит по урлу
http://yandex.ru/yandsearch?text=url%3Ahttp%3A%2F%2Fsearchengines.guru%2Fshowthread.phpt%3D863613
и проверяет, если есть текст "По вашему запросу ничего не нашлось" значит урл не в индексе.
Но как быть с капчей...я не знаю.
Точный список получить практически не реально. Если сайт маленький (до 1000 страниц), то проблем нет, а вот если больше... Если у вас сайт с хорошей структурой, вида domain.ru/category1/, domain.ru/category2/ и все страницы соответствую это иерархии, то можно попробовать пробить через выдачу по конкретным разделам:
site:domain.ru/category1/
site:domain.ru/category2/
P.S. яша хоть 1000 страниц отдает, с гуглом вообще беда :(
Да, спасибо, нашел /ru/forum/565541 прочитал, заинтересовало,
а оказалось уже не работает.
Всё работает, только что проверил. Могу скинуть архив.
Всё работает, только что проверил. Могу скинуть архив.
Да, спасибо. Скинуть в личку реально?
у меня вот что показывает
Точный список получить практически не реально. Если сайт маленький (до 1000 страниц), то проблем нет, а вот если больше... Если у вас сайт с хорошей структурой, вида domain.ru/category1/, domain.ru/category2/ и все страницы соответствую это иерархии, то можно попробовать пробить через выдачу по конкретным разделам:
site:domain.ru/category1/
site:domain.ru/category2/
P.S. яша хоть 1000 страниц отдает, с гуглом вообще беда :(
Разделы есть, но порядка 3000 урлов в корне сайта.
яндекс-xml можно заюзать спокойно.
Если не выйдет - обращайтесь, есть у меня решения.
http://otlichnik.info/viewtopic.php?f=15&t=28
или вот по аналогии (там XML пример)
Качаешь свой сайт пейдж вейтом.
Потом все странички проверяешь на индексацию в Яндексе через xml.