Как писал funsad У меня картиночный робот к html-файлам не обращался, и, думаю, это не случайно -- зачем второй раз тянуть html, если он уже лежит в базе?
Да, осознал свою неправоту, задавшись именно этим вопросом.
Тогда действительно, у нас есть такой параметр по которому мы можем подтвердить "P"-шника, и злодею остаётся только один шанс - не трогать html притворяясь ПЭшкой.
Как писал funsad Робот Яндекса и картиночный робот действуют независимо во времени. Умелец, скачивающий сайт целиком, скорее всего будет делать все подряд -- вначале скачивать HTML (возможно, используя тот же User-Agent, что и картиночный робот), а затем скачивать картинки. На этом его можно поймать.
Тоесть картиночный робот занимается только выкачиванием картинок?
Я считал, что он же и с alt'ами к ним разбираеться, а если так, то должен и html забирать...
Как писал beshbarmak М.б. запретить качать картинки через robots.txt?
Teleport pro например игнорирует его...
Может остальные типа WebZIP, HTTPClient, Website Quester, XWareCrawler, Website Extractor, Website eXtractor, x-Tractor, WebCopier, Indy Library на него ориентируются?
Возможно тогда имеет смысл их User-Agent'ов прописать, но этож какой robot.txt получится ?
А как будет рассчитываться ТИЦ при ссылке на сайт находящийся в "строительство и ремонт" с сайта находящегося в "дизайн интерьеров" если учесть, что "дизайн интерьеров" это продолжение "строительство и ремонт"...
Как писал fire42 Меня удивило, что в заявке на регистрацию нет возможности выбрать категорию, регион и сектор экономики.
Был глюк!
Выбор категорий не отображался, по причине "заедании javы" на моей машине, сейчас всё работает, но вопрос о выборе категорий и влиянии этого выбора на выдачу остаётся актуальным.
Как писал Avatar Этот сайт и форум - золотая жила :) читай всё что здесь есть, быстро и жадно впитывая :) Если бы знал о нем раньше - 3 раза свой сайт не перекраивал бы (в плане контента и оптимизации). Сейчас вот начитался - 4 раз переделаю :) но и дизайн сменю тоже - решился наконец то :) а оптимизация моего дополнительная пойдет побочной работой - я сейчас уже (после третьей) не хило вылез по куче запросов ;)
Кайф - очень приятно, когда видишь результат накопленных знаний и своей работы. А через пару месяцев (еще почитав форум) может опять оптимизить свой сайт начну :)
Так что - читай ВСЁ что здесь есть. ВНИМАТЕЛЬНО,
Не сдержусь отметить сходство вышесказного со всеми знакомой рекламой ООО "МММ", где многоуважаемый Лёня Голубков показывал на график будущих покупок...;)
...никаких обид и притензий, пост в исключительно " 😂 " формате.
У меня картиночный робот к html-файлам не обращался, и, думаю, это не случайно -- зачем второй раз тянуть html, если он уже лежит в базе?
Да, осознал свою неправоту, задавшись именно этим вопросом.
Тогда действительно, у нас есть такой параметр по которому мы можем подтвердить "P"-шника, и злодею остаётся только один шанс - не трогать html притворяясь ПЭшкой.
Робот Яндекса и картиночный робот действуют независимо во времени. Умелец, скачивающий сайт целиком, скорее всего будет делать все подряд -- вначале скачивать HTML (возможно, используя тот же User-Agent, что и картиночный робот), а затем скачивать картинки. На этом его можно поймать.
Тоесть картиночный робот занимается только выкачиванием картинок?
Я считал, что он же и с alt'ами к ним разбираеться, а если так, то должен и html забирать...
М.б. запретить качать картинки через robots.txt?
Teleport pro например игнорирует его...
Может остальные типа WebZIP, HTTPClient, Website Quester, XWareCrawler, Website Extractor, Website eXtractor, x-Tractor, WebCopier, Indy Library на него ориентируются?
Возможно тогда имеет смысл их User-Agent'ов прописать, но этож какой robot.txt получится ?
Может быть через .htaccess как советуют Здесь?
Если нельзя - то робот который картинки качает - известен. Его не ограничивать - прочих ограничить.
Только если злодей не "притворится роботом". Ограничивать по кол-ву конекций или по весу забираемого?
Влияет.
А как будет рассчитываться ТИЦ при ссылке на сайт находящийся в "строительство и ремонт" с сайта находящегося в "дизайн интерьеров" если учесть, что "дизайн интерьеров" это продолжение "строительство и ремонт"...
Не актуально, потому как не влияет категория на позиции по запросам.
А на расчёт ТИЦ'а влияет?
Меня удивило, что в заявке на регистрацию нет возможности выбрать категорию, регион и сектор экономики.
Был глюк!
Выбор категорий не отображался, по причине "заедании javы" на моей машине, сейчас всё работает, но вопрос о выборе категорий и влиянии этого выбора на выдачу остаётся актуальным.
Вот данные по "Мете" -- 77% из Украины, 3,2% из России.
Именно так☝
Не наш контракт ;)
Плохо работаете, господа оптимизаторы :D
Неужели не нужна лишняя сотня человек с поисковика? :)
Я раньше думал, что с укаринских не нужна, если речь идёт о магазине с доставкой только по РФ, а сейчас задумался...
...а трафик с украинских поисковиков насколько украинский?
Есть ли место, где можно глянуть на географичискую статистику посетителей с этих поисковиков? 🚬
Этот сайт и форум - золотая жила :) читай всё что здесь есть, быстро и жадно впитывая :) Если бы знал о нем раньше - 3 раза свой сайт не перекраивал бы (в плане контента и оптимизации). Сейчас вот начитался - 4 раз переделаю :) но и дизайн сменю тоже - решился наконец то :) а оптимизация моего дополнительная пойдет побочной работой - я сейчас уже (после третьей) не хило вылез по куче запросов ;)
Кайф - очень приятно, когда видишь результат накопленных знаний и своей работы. А через пару месяцев (еще почитав форум) может опять оптимизить свой сайт начну :)
Так что - читай ВСЁ что здесь есть. ВНИМАТЕЛЬНО,
Не сдержусь отметить сходство вышесказного со всеми знакомой рекламой ООО "МММ", где многоуважаемый Лёня Голубков показывал на график будущих покупок...;)
...никаких обид и притензий, пост в исключительно " 😂 " формате.
А о том, как robots.txt писать и вообще думать не хочется.
:D
....Начать можно так:
Уважаемый mr.Робот (звания/регалии) осчасливийший своим визитом наш скромный сервер.....
:D
aot:
Я думаю, что лучший поисковый робот это человек, и роботы стараются сделать максимально близкие к человеческой логике...
Замечу, что те кто стараются его приближать, приближают его к своей человеческой логике, знать которую не помешает ;)