с гуглом все понятно) а вот с яндексом - у меня такого не было ни разу! обычно люди ссылки добавляют или закладки, чтоб быстро попасть, но так чтоб через 30 минут 🍻
Гугл гораздо быстрее - может быть просто яндекс еще не успел увидеть то, что уже увидел гугл?
нет зачем ему делать подбор? последний id ссылки есть у него в базе - и он просто смотрит на ответ header - на следующий id
А времени это займет в миллион раз меньше - так как пауки никуда не могут деться от регулярных выражений при анализе страниц - составления алгоритмов посещений и т.д. - зачем это все надо если достаточно просто иметь маленьку табличку с МГС и 1 лишь полем last visited id )?
Смотри - а если прикинь что есть сайты которые выдают свои линки по ID? например site.ru/link.php?id=12584, ему даже не надо бегать по сайтам - он просто ищет конец нового индекса каждый день и все. Я когда писал робота для индексации новостей - я так и делал - мне кажется вполне разумное решение?
Почему все в своих теориях идут от трастовых сайтов вниз? может быть есть Мега ГС - которые так же распределяют траст) но совсем другой) - это вполне не плохо обеспечивает сходимость такой теории? только если на трастовые сайты нужны серьезные роботы, которые будут шуршать по всему сайту - то на МГС нужен только робот сканирующий индекс определенных страниц?
Если он вылетел совсем - может быть нужно его просто добавить через вебмастер? странно, но у меня 1 раз такое было)
Вопрос к ТС - а по каким запросам Яндекс приводил к Вам такой траф?
Почему все так отвергают вероятность понижения за прогон по каталогам - тоже объективно понять сложно.
На месте Яндекса я обязательно бы сделал быстроробота (еще одного или задействовал бы существующего - не важно), который обходил бы сайты наиболее грешащие появлением новых ссылок, уж кто-кто а Яндекс об этом знает лучше всех нас.
Для ТС, хотел бы попросить поставить эксперимент - новый сайт для прогона с таким трафиком лучше не губить, а вот порнуху и кликандера убрать как класс, исключить возможность того, что Яндекс обиделся на исключение его в php кодах и попробовать подождать новых позиций, если сайт вернется тогда все понятно ☝
Если контент по туризму не продан - скинь отрывок в личку?
думаю полно буржуйских сайтов где этого добра навалом - да и какие Вы скрипты хотите получить? для вапа не для вапа разница не велика)
а просто exec whois? а потом просмотр на домен available?
Вопрос не раскрыт) это что-то из серии можно ли покупать скрипты в интернете - что за скрипты - какого функционала? - на каком языке? и т.п.
Будьте добры - если есть конкретный вопрос - есть конкретный ответ)
