уже не раз замечаю, что Яндекс отдает через браузер одно количество страниц, а когда парсишь с помощью PHP (даже если ставить паузы в несколько секунд между запросами), то отдает меньшее количество страниц, причем бывает даже так, что вместо 25 страниц может отдавать по 5-6 страниц.
Никто не знает как с этим бороться?
P.S.: В заголовке отправки ставлю, что это Explorer или Opera, а также число q для запроса каждый раз генерю датчиком случайных чисел.
при незначительном падении трафика звонки перестали идти вообще (я про тематику туризм). Позиции на месте. На сайте ничего не менялось. До середины июля звонков из интернета было много.
WwWork: Вы в правилах сделали редирект (301) с старых страниц на новые - ЧПУ?
Так как во первых, это будет дубль контента на сайте, если будут и старые и новые, и времени пройдёт не мало, точно сказать не могу, надо немного подождать.
Сам тоже делал, времения это заняло от 2 недель (когдая страницы стали появлятся в индексе) до пару месяцев.
Но уверяю эффект будет ощутимый., просто надо немного подождать
Неужели Яндекс больше любит www.site.ru/auto/ford/, чем www.site.ru?a=auto&b=ford ? На сколько я знаю ему все равно какой адрес страницы, либо (что опять же не доказано) этот фактор минимально влиятелен.
На самом деле интересна информация по этому поводу, если у кого есть какие-либо исследования.
Zender: пишу с мини оперы и поэтому большой текст приходится разбивать на 2 поста... ну так вот: самый простой и надежный метод чтобы на сервак кроме вашего ip доступ не имел! еси это не возможно то просто не сохраняйте пароли в фтп менеджере, или как я делаю: к паролю дописываю 2 ложные цифры а при коннекте их просто удаляю... этот вирь очень назойливый и удаление ифрейма ниче не даст, нужно менять парол
а когда паролей хранится от 25-35 сайтов, то поменять на всех занимает около 2-3 часов не меньше. Пока ко всем администрациям пароли раздобудешь.
Охраняйте свои компьютеры от вредоносных кодов, пожалуйста! ☝
Alex17: Ilya_1982, а что значит не глядя?
Я покупаю, обращая внимание на количество внешних (до 10 обычно предусмотрено, а так стандартно 3-5), индексируемость, а потом уже и показатели. Т.е. тут "не глядя" относительно. ПРосто нереально все страницы просматривать, ведь проект этот далеко не один
Тоесть чтобы на странице нормально было текста и мало было рекламы а темболее блоков. Как известно Sape не всегда праивильно отображает количество внешних ссылок (замечали, что говорит только о своих ссылках, не учитывая различные другие).
Темболее в свете последних событий, что Я научился что-то там учитывать типа тематики и адекватности нахождения ссылки на установленной странице, просмотр самих страниц становится более интересным.
Насчет того, что когда много проектов проще купить больше пусть и среди них есть часть плохих. Но проще не значит лучше.
Вообщем, это все полемика. Высказал свою точку зрения, что при таком подходе тратиться, как правило, больше средств чем могло бы.
Alex17: в туризме в сезон?) КОгда 5-6 конкурентных запросов - врядли.
как показывает практика нескольких "покупщиков" ссылок в сапе, при покупке "не глядя" процент мусора (неучитывающихся ссылок) может достигать и 50%. Я к этому сказал, что можно было бы и половиной суммы обойтись.
Согалситесь, что вот так купив не глядя мусора там будет нормамльно. Получается потеря :2cents: в пустую.
Alex17: miba, говорили говорили, а человек так и не понял. Простите, Вы ветку читали?
ПО сапе. Ребят, у вас сколько сайтов? ВОт я сейчас проставил на один проект на 400 долларов ссылок и представил себе как все эти страницы пересматривал)) Ужжжас
А ведь если просматривать страницы, может и 200-ми долларами можно было обойтись? м? 🚬
istorik_idet_v_ataku: Дык на это внимание в первую очередь и обращается.
Любую страницу, купленную в САПЕ, сначала просматриваю лично.
ИМХО, если спокойно ждать индексации, итог от сапы ~70%
отсутствие блоков сылок, банеров навязчивых, наличие нормального текста да?
А это зачем? Не проще ли переходить по ссылке «Следующая»?
проще было создать запрос, чем парсить Следующая. За идею спасибо, попробую ☝
а нельзя формировать масив запросов и через курл их брать все разом ?
спасибо, тоже попробую. ☝
Только вопрос остается открытым: описанная проблема -- это защита Яндекса от парсинга?
уже не раз замечаю, что Яндекс отдает через браузер одно количество страниц, а когда парсишь с помощью PHP (даже если ставить паузы в несколько секунд между запросами), то отдает меньшее количество страниц, причем бывает даже так, что вместо 25 страниц может отдавать по 5-6 страниц.
Никто не знает как с этим бороться?
P.S.: В заголовке отправки ставлю, что это Explorer или Opera, а также число q для запроса каждый раз генерю датчиком случайных чисел.
Ну ещё "туризм" не стоит, наверно )
при незначительном падении трафика звонки перестали идти вообще (я про тематику туризм). Позиции на месте. На сайте ничего не менялось. До середины июля звонков из интернета было много.
Вы в правилах сделали редирект (301) с старых страниц на новые - ЧПУ?
Так как во первых, это будет дубль контента на сайте, если будут и старые и новые, и времени пройдёт не мало, точно сказать не могу, надо немного подождать.
Сам тоже делал, времения это заняло от 2 недель (когдая страницы стали появлятся в индексе) до пару месяцев.
Но уверяю эффект будет ощутимый., просто надо немного подождать
Неужели Яндекс больше любит www.site.ru/auto/ford/, чем www.site.ru?a=auto&b=ford ? На сколько я знаю ему все равно какой адрес страницы, либо (что опять же не доказано) этот фактор минимально влиятелен.
На самом деле интересна информация по этому поводу, если у кого есть какие-либо исследования.
пишу с мини оперы и поэтому большой текст приходится разбивать на 2 поста... ну так вот: самый простой и надежный метод чтобы на сервак кроме вашего ip доступ не имел! еси это не возможно то просто не сохраняйте пароли в фтп менеджере, или как я делаю: к паролю дописываю 2 ложные цифры а при коннекте их просто удаляю... этот вирь очень назойливый и удаление ифрейма ниче не даст, нужно менять парол
а когда паролей хранится от 25-35 сайтов, то поменять на всех занимает около 2-3 часов не меньше. Пока ко всем администрациям пароли раздобудешь.
Охраняйте свои компьютеры от вредоносных кодов, пожалуйста! ☝
Значит, у тех, у кого есть, они не работают. И всего делов-то. ;)
На проблему всегда можно посмотреть с разных сторон, если не знаешь причину её возникновения. Как тот бокал, который не допили, да? :)
Ilya_1982, а что значит не глядя?
Я покупаю, обращая внимание на количество внешних (до 10 обычно предусмотрено, а так стандартно 3-5), индексируемость, а потом уже и показатели. Т.е. тут "не глядя" относительно. ПРосто нереально все страницы просматривать, ведь проект этот далеко не один
я вообще про это говорил /ru/forum/comment/2259725
Тоесть чтобы на странице нормально было текста и мало было рекламы а темболее блоков. Как известно Sape не всегда праивильно отображает количество внешних ссылок (замечали, что говорит только о своих ссылках, не учитывая различные другие).
Темболее в свете последних событий, что Я научился что-то там учитывать типа тематики и адекватности нахождения ссылки на установленной странице, просмотр самих страниц становится более интересным.
Насчет того, что когда много проектов проще купить больше пусть и среди них есть часть плохих. Но проще не значит лучше.
Вообщем, это все полемика. Высказал свою точку зрения, что при таком подходе тратиться, как правило, больше средств чем могло бы.
🍾
закроем тему 🙄
в туризме в сезон?) КОгда 5-6 конкурентных запросов - врядли.
как показывает практика нескольких "покупщиков" ссылок в сапе, при покупке "не глядя" процент мусора (неучитывающихся ссылок) может достигать и 50%. Я к этому сказал, что можно было бы и половиной суммы обойтись.
Согалситесь, что вот так купив не глядя мусора там будет нормамльно. Получается потеря :2cents: в пустую.
М? 😎
miba, говорили говорили, а человек так и не понял. Простите, Вы ветку читали?
ПО сапе. Ребят, у вас сколько сайтов? ВОт я сейчас проставил на один проект на 400 долларов ссылок и представил себе как все эти страницы пересматривал)) Ужжжас
А ведь если просматривать страницы, может и 200-ми долларами можно было обойтись? м? 🚬
Дык на это внимание в первую очередь и обращается.
Любую страницу, купленную в САПЕ, сначала просматриваю лично.
ИМХО, если спокойно ждать индексации, итог от сапы ~70%
отсутствие блоков сылок, банеров навязчивых, наличие нормального текста да?