- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
<<off>> обмен больше похожий на воровство ...
Устное предупреждение всем, кто вместо ответа на вопрос предпочел упрекать автора темы в некрасивых вешах. Вас об этом не спрашивали и всяких демонстраций ненависти здесь устраивать не надо.
По теме - yas, вот это сейчас, к сожалению, нам не проверить
Добавление вручную при наличии запрета в robots.txt ничего не даст. А вот удалить можно.
Даст на некоторое время:
1. http://www.google.ru/robots.txt - Вторая строка
Disallow: /search
2. http://www.yandex.ru/yandsearch?text=%23url%3D%22www.google.ru*%22&surl=google.ru&pag=u
результаты 6,7,9,10.
Gray, такого просто быть не может! Страница была добавлена после того как все было закачено на сервер, и эту страницу я никуда не добавлял в ручную!
yas, никому не запрещено добавлять страницы чужого сайта с помощью формы Яндекса. ;)
так что наверно я добавлю в скрипт обмена и автоматический сабмит страницы с моим кодом через форму яндекса ;)
Чего вы всполошились? Это же давно известный факт. Роботы "D", "Н" и "М" Яндекса игнорируют robots.txt. Его соблюдает только робот "I". Ну, и "P", наверное (специально не проверял)
возможно страница была проиндексирована раньше добавления файла Robots.txt... И еще вопрос, если страница запрещена к индексации файлом Robots.txt, но ее вносят вручную в Яндекс через yandex.ru/addurl.html, будет ли такая страница проиндексирована? Может тут именно такой случай?
В Addurl вроде бы есть ошибка, из-за которой выдается сообщение об успешном добавлении.
На самом деле такая страница проиндексирована не будет.
Если страница была проиндексирована раньше, чем была запрещена в robots.txt, то ее удаление из базы произойдет, строго говоря, через неопределенное время.
Я тоже так думал.
http://www.yandex.ru/yandsearch?serverurl=top100.rambler.ru/cgi
одну из страниц туда добавил я через addurl неделю назад, и видимо был не одинок. Уже два апдейта она там висит, допускаю, что робот I еще не успел зайти за robots.txt. Тем не менее, в http://top100.rambler.ru/robots.txt - эти адреса запрещены.
Что я не так делал? Хотелось бы разобраться. А если робот D не считается с robots.txt, то на это наверное есть причина? Ведь есть опасность, что все желающие в погоне за увеличением ссылок на свои сайты начнут раз в неделю совать их в addurl в надежде на эти ссылки. Если это не работает, то не нужно будет и лишний раз дергать addurl.
По моим наблюдениям робот D берет страницу только тогда, когда ее нет в базе Яндекса, если же она есть, то просто выдается сообщение, что страница уже известна и т.д.
Робот D, вернее сказать сервис Яндекса по добавлению страниц, который идентифицируется как Yandex/1.01.001 (compatible; Win16; D), по мнению разработчиков не является роботом, которому нужно следовать правилам в robots.txt, поскольку сервис запускается по требованию пользователя, а не автоматически.
Kost, опять же по наблюдениям, страница, которая есть в базе, но запрещена в robots.txt удажяется из базы не тогда, когда робот I читает robots.txt, а когда доходит очередь этой страницы на переиндексацию, что бывает иногда довольно долго, если сайт большой или переиндексируется редко.