- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте, поможите, пожалуйста разобраться почему мы с Яндексом не сходимся :(((
Есть сайт www.sessia.net 30 ноября проходил робот
"GET / HTTP/1.1" 200 16882 "-" "Yandex/1.01.001 (compatible; Win16; I)"
"GET /guestbook/user-registration.php?PHPSESSID=d7b08c61fb085e3a7759f098882d8672 HTTP/1.1" 200 17920 "-" "Yandex/1.01.001 (compatible; Win16; I)"
"GET /guestbook/index.php?PHPSESSID=d7b08c61fb085e3a7759f098882d8672 HTTP/1.1" 200 16113 "-" "Yandex/1.01.001 (compatible; Win16; I)"
"GET /guestbook/ HTTP/1.1" 200 16112 "-" "Yandex/1.01.001 (compatible; Win16; I)"
"GET /guestbook/user-login.php?page=1&PHPSESSID=57c31b58aa2c4db9144ea9ae5b508dfa HTTP/1.1" 200 5569 "-" "Yandex/1.01.001 (compatible; Win16; I)"
"GET /guestbook/user-registration.php?PHPSESSID=57c31b58aa2c4db9144ea9ae5b508dfa HTTP/1.1" 200 17920 "-" "Yandex/1.01.001 (compatible; Win16; I)"
"GET /guestbook/admin/index.php?page=1&PHPSESSID=57c31b58aa2c4db9144ea9ae5b508dfa HTTP/1.1" 302 5 "-" "Yandex/1.01.001 (compatible; Win16; I)"
"GET /guestbook/index.php?PHPSESSID=57c31b58aa2c4db9144ea9ae5b508dfa HTTP/1.1" 200 16113 "-" "Yandex/1.01.001 (compatible; Win16; I)"
"GET /about.htm HTTP/1.1" 200 15877 "-" "Yandex/1.01.001 (compatible; Win16; I)"
И т.д., то есть пробежался по всем ссылкам на сайте, что уже хорошо :)))
Однако в роботсе прописано:
User-agent: *
Disallow: /cgi-bin
Disallow: /guestbook
Почему он лезет в guestbook?
И еще, при addurl Яндекс говорит Ваш URL http://www.sessia.net/ уже известен роботу Яndex. Данный ресурс будет доступен для поиска в ближайшее время.
Помогите, пожалуйста, а то у меня это продолжается не первый месяц :_(
Может я что-то не так делаю?:madd:
Советую тебе убрать PHPSESSID, они меня за это на три месяца выкинули из Яндекса
User-agent: *
Disallow: /cgi-bin
Disallow: /guestbook
Почему он лезет в guestbook?
Вообще, это элементарное свинство со стороны робота Яндекса. Оказывается, не только роботу "D" на robots.txt начхать, но уже и самому индексатору "I". Lioness, он перед тем, как забирать документы, вообще к robots.txt обращался?
Wolf!
При запросе к robots.txt яндекс получает http code 200
Однако, я до этого писала в службу поддержки Яндекса, мне ответили что я неправильно написала файл роботса, при этом не объяснив в чем именно ошибка. Гостевую он все равно находил.
Месяц назад удалила роботс, тоже не помогло.
При всех вариантах (с роботсом и без) он видит ТОЛЬКО гостевую книгу, то есть индекс ему вообще не нужен :_(
До этого сайт был с меню навигацией на java, где-то прочитала, что он из-за этого не индексирует. Удалила яву - не помогло.
На индексе сделала ссылку на map - сейчас хоть видит все файлы, которые есть в директории.
Вообще ощущение, что я с этим Яндексом не совместима на генетическом уровне хнык-хнык :(
2 Malay
Я не знаю как мне это убрать, так как использовала готовый скрипт. Думаю надо будет другую гостевую ставить :(
2 All,
сорри, конечно, что глупые вопросы задаю, но что умела уже перепробовала. Ведь все остальные поисковики нормально все отображают.
Эх, сил моих девичьих больше нетути ...
Ну, не знаю, что было написано тогда, а сейчас директория guestbook действительно запрещена для индексирования:
http://kako.yandex.ru/cgi-bin/test-robots?host=http%3A%2F%2Fwww.sessia.net%2F
Когда была выложена текущая версия файла robots.txt?
Эта версия роботса уже больше недели на сайте.
Однако все равно ведь в гест лезет :(
Однако все равно ведь в гест лезет
Т.е. робот "I" лезет в директорию guestbook уже при наличии текущего robots.txt? Не могли бы Вы продемонстрировать тут (для чистоты эксперимента) строчки из логов, после того, как он полезет опять?
В принципе, индексатор может пройтись по ссылкам отобраным заранее, тогда, когда robots не запрещал индексацию этих урлов.
Так же, есть еще вариант - для удаления запрещенных урлов робот их просматривает. В пользу этого говорит фраза из делурла "Ваш сайт/раздел ********** будет удален из нашей базы по мере обхода робота."
То есть для удаления робот должен обойти запрещенные области...
Вообще-то, по-моему мнению, вежливый робот обязан сверяться с файлом robots.txt во время каждого своего очередного визита.
Или, как робот Инктоми, который проверяет robots.txt после "забора" нескольких страниц.
http://www.yandex.ru/yandsearch?serverurl=www.sessia.net&text=%23url%3D%22www.sessia.net*%22
http://www.yandex.ru/yandsearch?text=%C0%E2%F2%EE%F0%F1%EA%E8%E5+%EA%F3%F0%F1%EE%E2%FB%E5+%E8+%E4%E8%EF%EB%EE%EC%ED%FB%E5+%F0%E0%E1%EE%F2%FB+&stype=www&nl=0