xVOVAx: сайт мап дает некие рекомендации по сканировке
А как можно на чухом сайте найти сайтмэпы?
xVOVAx: , быстробот еще есть
А вот это очень даже интересно. Почитать бы поподробнее...
xVOVAx: , ускорение индексации твиттером и еще миллион разных условий по которым индексация может пройти в течении 2-х минут( например добавление в вебмастер) - до "никогда"
knezevolk: Рамарио, в дополнительный индекс Гугла (Supplemental Index) попадают мало значимые с точки зрения поисковой системы страницы. Это или дубли, или технические страницы, или материалы с малым количеством контента.
А какое значение имеет то, в каком индексе страница? Страницы из дополнительного попадают в СЕРП? Или они просто оказываются значительно ниже тех, что в основном идексе?
Указывать полный URL мне казалось не обязательным, ибо меня интересовали недавно добавленные страницы, по-этому я просто ранжировал в результатах поиска по дате (кстати, там дата чего? дата добавления в индекс?) и смотрел что там сверху: появилась страница или нет.
Он выдаст пустую страницу. И так с любым запросом к гуглу.
Да и работать с JSON переменной намного приятнее чем парсить выдачу замешанную на javascript и бояться, что завтра вебмастера гугла или яши изменят выдачу и парсер перестанет работать.
Вот такие мысли.
PS. Но на самом деле если бы Гугл и Яша отдавали бы серверу свои страницы, я бы не заморачивался на API и делал бы парсер. Но пока не работает...
https://support.google.com/adsense/answer/1346295?hl=ru
С теорией, вроде, разобрались. Спасибо за ссылки, кстати :)
А вот как на практике: реально банят если больше 3х?
Может и с абсолютным копипастом, считать хорошим, а можит и с полным уником считать говном.
Хм... не упрощаете мне задачу :)
Поведенческие факторы рулят?
Бред. Добавочная ценность круче.
Что за добавочная ценность?
сайт мап дает некие рекомендации по сканировке
А как можно на чухом сайте найти сайтмэпы?
, быстробот еще есть
, ускорение индексации твиттером и еще миллион разных условий по которым индексация может пройти в течении 2-х минут( например добавление в вебмастер) - до "никогда"
Спасибо!
Рамарио, в дополнительный индекс Гугла (Supplemental Index) попадают мало значимые с точки зрения поисковой системы страницы. Это или дубли, или технические страницы, или материалы с малым количеством контента.
А какое значение имеет то, в каком индексе страница? Страницы из дополнительного попадают в СЕРП? Или они просто оказываются значительно ниже тех, что в основном идексе?
Указывать полный URL мне казалось не обязательным, ибо меня интересовали недавно добавленные страницы, по-этому я просто ранжировал в результатах поиска по дате (кстати, там дата чего? дата добавления в индекс?) и смотрел что там сверху: появилась страница или нет.
И еще: а что такое "основной индекс"?
Я серьёзно вам написал совет. Если вы разницу между этими функциями не видите, то мой ответ ещё более актуален.
Прошу не зацикливаться на этом. Меня интересует в первую очередь API.
Если ваши знания заканчиваются на file_get_contents, то обратитесь к программистам, они вам напишут нормальный парсер.
А какая разница какой функцией пользоваться? (это без иронии вопрос, неужели curl лучше бы справился?)
Вообще вопрос был, скорее не про PHP, а про гугловские и яндексовские API. Т.е. меня в первую очередь интересует как это сделать в "белую"
Неужели никто не знает?! :(
В чем трудность парсинга?
В том что и гугл и яндекс отдают результаты поиска только "человеку" (браузеру). Если вы попытаетесь на своем сервере выполнить скрипт
<?php echo file_get_contents('http://google.com'); ?>Он выдаст пустую страницу. И так с любым запросом к гуглу.
Да и работать с JSON переменной намного приятнее чем парсить выдачу замешанную на javascript и бояться, что завтра вебмастера гугла или яши изменят выдачу и парсер перестанет работать.
Вот такие мысли.
PS. Но на самом деле если бы Гугл и Яша отдавали бы серверу свои страницы, я бы не заморачивался на API и делал бы парсер. Но пока не работает...