VF: То есть по логам видите, что гуглбот заходит на уже удаленные страницы, получает 404 (а не другой код) и все равно они остаются в его базе уже несколько месяцев?
Можно еще посмотреть в инструментах вебмастера "ошибки сканирования" - видит ли реально кучу не найденных и заблокированных через robots страниц или нет...
и в ошибках сканирования стоят 80к страниц как запрещенных через robots.txt
Kass, В вашем случае, ИМХО, нужно написать скрипт который бы автоматом удалил страницы
ну вообщем то написать его не вопрос :) вопрос сколько займет отработать хотя бы 10к. Тут в 50 потоков не запустишь.
Вобщем я прихожу к мнению что домены из под форумов есть мусор, который не надо юзать для белых проектов. Или ждать надо пока он переварит это гиганское кол-во мусора и выплюнет его. Но как видно процесс этот не быстрый.
ТО есть надо все разжевать и на кадычек надавить ? 😂
Кроме рефоводов, в этом топике не будет никого имхо. Кто будет палить хлебные места.
Вон сщас темка одна прет, народ юзает, но не на одном форуме не видел про это постов. ТОлько молчаливая толкотня в топах. Деньги любят тишину, вы вон сходите в соседник топик там какой то новый гуру дорвеерстроения блог свой спамит, может он расскажет чего.
То есть по логам видите, что гуглбот заходит на уже удаленные страницы, получает 404 (а не другой код) и все равно они остаются в его базе уже несколько месяцев?
Можно еще посмотреть в инструментах вебмастера "ошибки сканирования" - видит ли реально кучу не найденных и заблокированных через robots страниц или нет...
Да пытается долбится в 404
и в ошибках сканирования стоят 80к страниц как запрещенных через robots.txt
ну вообщем то написать его не вопрос :) вопрос сколько займет отработать хотя бы 10к. Тут в 50 потоков не запустишь.
Вобщем я прихожу к мнению что домены из под форумов есть мусор, который не надо юзать для белых проектов. Или ждать надо пока он переварит это гиганское кол-во мусора и выплюнет его. Но как видно процесс этот не быстрый.
не в папке :) в корне лежал
Да не являются они точками входа, тупо масса которая сидит в соплях. И из за этого нормальные страницы не индексятся, как я понимаю.
3-4 запроса в минуту и не больше.
болтовня.
Я парсю с задержкой в 8 секунд с одного IP, не банит. Чаще дергать начинаешь тогда да.
Но справеливости ради стоит отметить, у гугла все зависит какой опрератор дергаете. Если site: или inurl то задержки надо больше ставить.
выше сказаный таймаут работает просто для серча.
ТО есть надо все разжевать и на кадычек надавить ? 😂
Кроме рефоводов, в этом топике не будет никого имхо. Кто будет палить хлебные места.
Вон сщас темка одна прет, народ юзает, но не на одном форуме не видел про это постов. ТОлько молчаливая толкотня в топах. Деньги любят тишину, вы вон сходите в соседник топик там какой то новый гуру дорвеерстроения блог свой спамит, может он расскажет чего.
гыы, школота. Читайте читайте, быстрее обломаетесь, чище поляна :)
Adsense не влияет ни на индексацию, ни на ранжирование.
Ссылки то есть хоть на сайт или вы уверены, что запрос такой не конкурентный что внутренней оптимизации хватит для гугля ?
Переменка закончилась, бегом в класс.
влияет. В зависимости от размера сайта чем больше, тем чаще добавляйте
это типа я нагенерю страниц и траста получу? Ну хз.
Как по мне гуглю по барабану на сколько там страниц. Главное сколько и каких ссылок на домен и возраст оного.