Да пытается долбится в 404
и в ошибках сканирования стоят 80к страниц как запрещенных через robots.txt
ну вообщем то написать его не вопрос :) вопрос сколько займет отработать хотя бы 10к. Тут в 50 потоков не запустишь.
Вобщем я прихожу к мнению что домены из под форумов есть мусор, который не надо юзать для белых проектов. Или ждать надо пока он переварит это гиганское кол-во мусора и выплюнет его. Но как видно процесс этот не быстрый.
не в папке :) в корне лежал
Да не являются они точками входа, тупо масса которая сидит в соплях. И из за этого нормальные страницы не индексятся, как я понимаю.
болтовня.
Я парсю с задержкой в 8 секунд с одного IP, не банит. Чаще дергать начинаешь тогда да.
Но справеливости ради стоит отметить, у гугла все зависит какой опрератор дергаете. Если site: или inurl то задержки надо больше ставить.
выше сказаный таймаут работает просто для серча.
ТО есть надо все разжевать и на кадычек надавить ? 😂
Кроме рефоводов, в этом топике не будет никого имхо. Кто будет палить хлебные места.
Вон сщас темка одна прет, народ юзает, но не на одном форуме не видел про это постов. ТОлько молчаливая толкотня в топах. Деньги любят тишину, вы вон сходите в соседник топик там какой то новый гуру дорвеерстроения блог свой спамит, может он расскажет чего.
гыы, школота. Читайте читайте, быстрее обломаетесь, чище поляна :)
Adsense не влияет ни на индексацию, ни на ранжирование.
Ссылки то есть хоть на сайт или вы уверены, что запрос такой не конкурентный что внутренней оптимизации хватит для гугля ?
Переменка закончилась, бегом в класс.
это типа я нагенерю страниц и траста получу? Ну хз.
Как по мне гуглю по барабану на сколько там страниц. Главное сколько и каких ссылок на домен и возраст оного.
