- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Может, у меня глюк какой?
Неделю назад по форуму ходил робот Апорта и брал страницы report.php. Хотя они явно запрещены в robots.txt для всех роботов.
Теперь на выходных он начал выдавать такие запросы:
И так он перебрал почти половину старого форума - около тысячи запросов.
Штука в том, что таких страниц не существует и никогда не существовало. Старый скрипт формировал страницы с именами "000006.html" или "000006-N.html", где N=2 и более. Соответственно, ссылок на запрошенные страницы нигде быть не могло. Откуда же робот их взял? Опять усечение?
Как раз только на WMW прошла дискуссия под девизом "Respect robots.txt or get 403"...
Gray, где то все-таки ошибка ... может линк на них все-таки есть ?
Ты думаешь, я не заметил, как поставил более тысячи ссылок? :)
ну ты же не руками их ставил ?
Да все равно, старый скрипт ведь тоже не дурной, чтобы давать ссылки на такие страницы.
Не считая уже того, что последние полгода он физически не способен отдать какие-либо ссылки...
У Яндекса таже фигня. У меня кроме того, ссылки которые могут якобы быть битыми закрыты в robots.txt. И инктоми так же страдает. Что-то тут не чисто :)
У Яндекса таже фигня. У меня кроме того, ссылки которые могут якобы быть битыми закрыты в robots.txt. И инктоми так же страдает. Что-то тут не чисто :)
Думаю, все намного банальнее - некоторые фирмы почему-то в открытую держат отчеты проксей о том, куда ходили люди с этих фирм. В этих отчетах есть ссылки практически на все просмотренные страницы. Вот с них-то поисковики и узнают адреса...
LiM, ты не понял. Таких страниц просто нет. И никогда не было. Ходить было невозможно просто.
Это какой-то глюк, причем не связанный с парсингом robots.txt (если только он на этом сайте не менялся с тех пор). К сожалению, сейчас уже сложно понять, нужных логов не осталось
Да :)
Если посмотреть source у, например, то там можно найти ссылку на с текстом nbsp;nbsp; (она перед ссылкой на первую страницу топика)
Хех, действительно она там есть.
Хозяйке на заметку - Апорт читает ссылки, даже если они вообще не имеют текста.
Т.е. вида
ИМХО, это баг в роботе.