- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Переходит ли поисковый робот по ссылкам, размещенных на страницах, запрещенных к индексации с помощью robots.txt
Например, есть страница www.site.com/str1/
Закрываем ее от идексации:
Disallow: /str1/
И на этой странице (www.site.com/str1/) есть ссылка:
www.site.com/lubayassilka.html
Так вот, ПРОИНДЕКСИРУЕТ ЛИ СТРАНИЦУ ПО ССЫЛКЕ ПОИСКОВЫЙ РОБОТ или нет ?
Если на эту страницу БОЛЬШЕ НИКАКИХ ССЫЛОК НЕТ, и также нет никаких SITEMAP и прочих вещей !
Публикация ссылке на странице, которая запрещена от скачивания роботом, не запрещает роботу скачивать документ по ссылке.
Если на эту страницу БОЛЬШЕ НИКАКИХ ССЫЛОК НЕТ
есть еще другие способы, как робот может узнать о странице, особенно если ее будут посещать. И не зачем ТАК орать, это некультурно.
P.S. Второй аккаунт не нужно было создавать, здесь это запрещено.
есть еще другие способы, как робот может узнать о странице. И не зачем ТАК орать, это некультурно.
Ладно извиняюсь за орание, просто сильно интересовал ответ на этот вопрос :)
А можно пруфлинк ?
Если ссылка находится на какой-то странице, которую роботу скачивать нельзя, робот об этом не узнает. Ведь он должен сначала скачать страницу со ссылкой :).
Если на страницу нет ссылок, она все равно может быть проиндексирована. Читайте.
http://webmaster.ya.ru/replies.xml?item_no=11122
"существует огромное количество других путей, которыми страница может оказаться в поиске."
Публикация ссылке на странице, которая запрещена от скачивания роботом, не запрещает роботу скачивать документ по ссылке.
Ни публикация, ни директивы в robots.txt ничего не запрещают. Лишь рекомендуют. Обычно роботы не ходят по закрытым страницам, но даже если они зашли, по практике, через ап страницы выпадут из индекса. И правда орать нечего...
Нашел свои данные ... :)
Извините конечно за такую дотошность ...
Чрезвычайно важный вопрос для меня ...
Если ссылка находится на какой-то странице, которую роботу скачивать нельзя, робот об этом не узнает. Ведь он должен сначала скачать страницу со ссылкой .
Мне вот как-раз и надо чтобы она была проиндексирована...
Как я и писал в примере, предположим что ссылка находится на странице www.site.com/str1/ и только на этой и она в роботс под запретом...
Значит , робот не проиндесирует документ www.site.com/lubayassilka.html , получается
Меня другие способы нахождения страницы не интересуют ...
Придется исключать, я так , понял из роботс заблокированные страницы :(
А гуглу вот вообще пофиг - стоит ссылочное на страницу - запрещай, не запрещай - в выдаче вполне может появиться.
Да мне просто нужно сделать правильно и все ... Я пока не хочу знать о других методах и всяких подводных камнях