- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
На сайте стоит аналитическая система, которая контролирует посещение страниц роботами. И по ней видно, что Яндекс посещал и страницы, запрещенные к индексации в robots.txt, и те страницы, в которых прописано
, и даже те файлы, которые вызываются черезВ поисковой выдаче ничего этого нет, а вот смотреть их робот всё же смотрит.
Это действительно так или аналитика ошибается?
В особенности интересно, смотрит ли робот файлы, подключаемые через script.
Эт с каких пор
запрещает боту скачивать страницу?😮
И скрипты, не закрытые в роботс.тхт, кто мешает скачивать?
Учи матчасть.
На сайте стоит аналитическая система, которая контролирует посещение страниц роботами. И по ней видно, что Яндекс посещал и страницы, запрещенные к индексации в robots.txt, и те страницы, в которых прописано
😮
А как Вы думаете, как робот узнает, что на странице meta robots noindex, не зайдя на эту страницу?
Файл robots.txt выполняет следующие функции:
- указание главного зеркала,
- исключение лишних страниц из индекса,
- отказ в индексации нежелательным роботам,
- указание адреса карты сайта.
Исключение страницы из индекса - это просто означает, что страницы не будет в индексе, а не то, что на неё запрещено переходить.
Насколько я понимаю эти правила.
Насколько я понимаю эти правила.
Правила нужно не только чтить, но и читать. До просветления.
ТС, по секретному секрету скажу, что robots.txt, например, для Яндекса вообще не указ. Захочет - проиндексирует, не захочет не проиндексирует.
Яндекс не просто лжив, он еще и туп.
Если не хотите попасть под удар - не размещайте инфу в инете до тех пор, пока не будете готовы ее предоставить общественности (или алгоритмам)
что Яндекс посещал и страницы, запрещенные к индексации в robots.txt
Я больше скажу - если на эту страницу стоят ссылки, они могут даже в выдаче быть, а не просто посещаться. Хотите гарантий - закрывайте программно.
---------- Добавлено 08.03.2012 в 13:51 ----------
Яндекс не просто лжив, он еще и туп.
Ну это уже перебор. Есть такая вещь, как "найден по ссылке". поэтому и может присутствовать в выдаче такая страница, равно как и в гугле. Но если ссылок нет - страница из выдачи все-таки вылетает.
и даже те файлы, которые вызываются через <script src="file.js"></script>
А те, которые вызываются в этом file.js тоже смотрит?
А те, которые вызываются в этом file.js тоже смотрит?
Да, вот это самое интересное - file.js Яндексом тоже открывается!
Я в своё время в Яндекс писал с вопросом о том, индексируются ли скрипты. Хотя общеизвестно, что скрипты не индексируются, но всё же решил лично задать вопрос. Ответ был, что не индексируются.
Ну, они и у меня не индексируются, но получается так, что Яндексу их содержимое известно (если только у меня аналитика работает верно).
Вот потому и решил спросить сообщество - как, по вашему мнению, скачивает ли Яндекс файлы, используемые в скриптах ?
как, по вашему мнению, скачивает ли Яндекс файлы, используемые в скриптах ?
да,
более того у пс есть роботы которые проходят по ВСЕМ файлам участвующими в формировании страницы :)
есть роботы которые проходят по ВСЕМ файлам участвующими в формировании страницы
А выполняют ли их содержимое?.. как браузеры.
Можно показать в индексе файл.XSL — в котором есть ссылка на скрипт, которую можно записать так, что для прохода по ней придётся выполнить XSLT полноценно.