1. Посетитель находится на странице поиска. 2. Периодически переходит по ссылкам из выдачи, которые имеют не прямой вид, а через редирект. Это сделано для поведенческого анализа посетителей и сбора статданных. 3. Время от перехода со страницы выдачи на сайт и возврат обратно в выдачу (что говорит о неудовлетворенности юзера или неполноте данных на сайте) четко прослеживается без какого-либо доступа к сайту.
пример из жизни. я когда что-то ищу - открываю весь топ-10 в разных вкладках. будут /авто/санкции если эти сайты также откроют человек 50 таких как я?
-= Serafim =-: Если в роботсе, то тут уж нужно гадать на кофейной гуще, был там бот или нет.
логи, не? :)
-= Serafim =-: Объясню почему: когда структура сайта запрещается в роботсе, то в перелинковке нет прямых линков на эти системные папки, а они всего лишь в виде путей (как то css стили, пути к рисункам и тд), а в случае с ограничением доступа юзер имеет доступ на страницу по перелинковке, а робот нет. Обман чистой воды.
-= Serafim =-: Ничто не мешает разработчикам сделать условие: если есть редирект >> анализировать запрещенную страницу.
Сначала-то чтобы понять, что редирект - надо её открыть - получить заголовки.
-= Serafim =-: к примеру, время пребывания на сайте
Без административного доступа к дору - невозможно узнать.
-= Serafim =-: Но не будет ли это ущербным поступком в отношении возможного продвижения?
Сделал я сайт школы в визуальном редакторе и не задумываюсь о продвижении.
-= Serafim =-: Кстати Гугл флешки "ест" (.swf, равно как и pdf и другие форматы, известно всем), в Яше не замечал (вернее не задавался целью найти прецедент).
Яша индексирует флеш-сайты хорошо, но плохо распознаёт текст в кривых.
Погугли любое имя попсовой певички. почти у всех сайт на флеше - топ-1.
-= Serafim =-: Это не аппаратный или программный запрет, а строка-рекомендация. Если робот будет заблокирован в htaccess по ip - это будет запрет. Так яснее или все еще "непонятно"?
понятно, но все рекомендованные к запрету в роботсе роботы не станут проверят, ибо ресурсов не напасёшься и смысла немного.
-= Serafim =-: Приведенный в моей ссылке эсперимент чем не устраивает?
давность и отсутствие конкретных выводов по яндексу. когда ссылка (js), например, на внутреннюю страницу сайта, почему я не могу сделать навигацию на сайте с помощью js ?
Я роботсом даю советы ботам? :D но он настолько умный и непослушный, что зайдёт (даже с другим юзер-агентом) на запрещённую страницу и проанализирует её?
роботс это не рекомендация к индексации, а именно контроль доступа.
SeWork, не понимаю о чём ты. я обычный веб-мейстер.
просто я считаю, что если ваш сайт взломали злые хакеры, то вы сами виноваты.
на разных языках говорим.
Если можно ссылку, попсовых певичек не знаю. Благодарю.
http://yandex.ru/yandsearch?text=Полина+Гагарина
http://yandex.ru/yandsearch?text=юта
1. Посетитель находится на странице поиска.
2. Периодически переходит по ссылкам из выдачи, которые имеют не прямой вид, а через редирект. Это сделано для поведенческого анализа посетителей и сбора статданных.
3. Время от перехода со страницы выдачи на сайт и возврат обратно в выдачу (что говорит о неудовлетворенности юзера или неполноте данных на сайте) четко прослеживается без какого-либо доступа к сайту.
пример из жизни. я когда что-то ищу - открываю весь топ-10 в разных вкладках. будут /авто/санкции если эти сайты также откроют человек 50 таких как я?
Если в роботсе, то тут уж нужно гадать на кофейной гуще, был там бот или нет.
логи, не? :)
Объясню почему: когда структура сайта запрещается в роботсе, то в перелинковке нет прямых линков на эти системные папки, а они всего лишь в виде путей (как то css стили, пути к рисункам и тд), а в случае с ограничением доступа юзер имеет доступ на страницу по перелинковке, а робот нет. Обман чистой воды.
на многие страницы есть ссылки. и много-много.
по-моему скромному взгляду, это говно по всем критериям.
Неужели там обычный MySQL и один сервак?
там необычный MySQL и полтора сервака.
что теперь?
Ничто не мешает разработчикам сделать условие: если есть редирект >> анализировать запрещенную страницу.
Сначала-то чтобы понять, что редирект - надо её открыть - получить заголовки.
к примеру, время пребывания на сайте
Без административного доступа к дору - невозможно узнать.
Но не будет ли это ущербным поступком в отношении возможного продвижения?
Сделал я сайт школы в визуальном редакторе и не задумываюсь о продвижении.
Кстати Гугл флешки "ест" (.swf, равно как и pdf и другие форматы, известно всем), в Яше не замечал (вернее не задавался целью найти прецедент).
Яша индексирует флеш-сайты хорошо, но плохо распознаёт текст в кривых.
Погугли любое имя попсовой певички. почти у всех сайт на флеше - топ-1.
Это не аппаратный или программный запрет, а строка-рекомендация. Если робот будет заблокирован в htaccess по ip - это будет запрет. Так яснее или все еще "непонятно"?
понятно, но все рекомендованные к запрету в роботсе роботы не станут проверят, ибо ресурсов не напасёшься и смысла немного.
Приведенный в моей ссылке эсперимент чем не устраивает?
давность и отсутствие конкретных выводов по яндексу. когда ссылка (js), например, на внутреннюю страницу сайта, почему я не могу сделать навигацию на сайте с помощью js ?
wizzer, ну Ваше право, если у Вас роботс - это контроль доступа, то смысла спорить не вижу
контроль доступа поисковых роботов.
обоснуй, почему не так.
P.S. Кстати вот статья, которая будет полезна всем по теме. Стоит учесть также дату статьи и экспериментов, а прогресс роботов никто не оспорит.
эксперимент Деваки чем-то не устраивает?
-= Serafim =-, http://help.yandex.ru/webmaster/?id=996567
хотя бы первые слова:
Управлять доступом робота Яндекса к вашему сайту вы можете при помощи файла robots.txt.
из топика не сольюсь. даже не уговаривай :D
-= Serafim =-, херню чешешь, ей б-гу.
Я роботсом даю советы ботам? :D но он настолько умный и непослушный, что зайдёт (даже с другим юзер-агентом) на запрещённую страницу и проанализирует её?
роботс это не рекомендация к индексации, а именно контроль доступа.