- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Проверить индексацию страницы Яндексом и Гуглем.
Есть к примеру 150 страниц, которые нужно проверить на индексацию данными поисковыми системами.
Так вот, написал программку, которая посылаем стандартный запрос в строке поиска
Google: Info: адрес странички
Yandex: url="адрес странички"
Но, т.к. запросы посылаются часто, Гугл и Яндекс принимают меня за вирус, и в итоге:
Яндекс каптчу просит ввести, потом нормальные результаты выдаёт,
а вот с Гуглем вообще проблемы – на несколько часов на мои запросы не отвечает, страницу с кодом ошибки выдаёт 403 (доступ к секретной информации , так по-моему).
Из опыта может кто-что может подсказать, как часто можно запросы посылать, чтобы поисковики меня за вирус не принимали? ( а то опытным путём из-за гугля трудно проверить)
Может раз в полсекунды, или как то пореже, например раз в 2 секунды и т.д.
Просто страниц и 1000 может быть, так если я раз в 10 сек посылать запросы буду – то на это 3 часа уйдёт, а хотелось бы как-то побыстрее.
А зачем вы каждый раз заново проверяете. Сделайте один запрос в яндекс о том какие страницы на сайте проиндексированы а потом регулярными выражениями выберите вас интересующие.
сайты разные, проверяю обратные ссылки
сайты разные, проверяю обратные ссылки
А ну тогда есть много уже готовых решений. Зачем изобретать велосипед?
Зачем изобретать велосипед?
А может мне таксистом поработать на этом велосипеде хочется?
Вопрос, не каким сервисом мне пользоваться, а в 1-м посте.
А может мне таксистом поработать на этом велосипеде хочется?
Вопрос, не каким сервисом мне пользоваться, а в 1-м посте.
Ищете адреса прокси и при неудачном проходе цикла. Начинайте сначала с новой прокси.
Для яндекса нужно однозначно прикрутить к скрипту xml, и зарегить свой ip в яндексе . Можно в день делать не более 1000 запросов при помощи этого сервиса, а вообще прокси рулят, особенно те, которые в паблик не выкладывают ;)
Я не в курсе, что такое прокси (жизнь не заставляла этим заниматься ранее), но попробую поразбираться.
кстати, я запросы с компа делаю, а не через сайт - это имеет какое-либо значение?
Я не в курсе, что такое прокси (жизнь не заставляла этим заниматься ранее), но попробую поразбираться.
кстати, я запросы с компа делаю, а не через сайт - это имеет какое-либо значение?
Нет разницы между ваш компьютером и удаленным нет никакой.
А про прокси в интернете так много написано что обязательно найдете все и подробно.