- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте, уважаемые участники форума!
Хочу задать вот какой вопрос.
Есть сайт на движке phpBB. Никаких seo-ссылок или поискового спама на форуме нет. Форум и сайт одного из районов Москвы. Яндекс нормально индексировал, добавлял страницы в поиск, и в-общем, все было в порядке.
Неделю назад, 7.01.2011 поковырял robots.txt на предмет его оптимизации. Но видимо что-то сделал не так, и в итоге к 13.01.2011 в яндекс-вебмастер в индексации страниц - 0 страниц.
Полазил в информации об исключенных страницах - загружено роботом 4100 страницы, 544 страницы исключено, причина - запрещено в robots.txt
Срочно вернул прежний вариант robots.txt. Яндекс-бот и сейчас посещает форум, но число индексированных страниц так и осталось - 0.
В то же время гугл, рамблер и yahoo ничего из поиска не удалили.
Вопроса два:
1) на что это похоже? бан в Яндексе, или из-за неправильно отредактированного robots.txt индексирование ушло в 0? Взглянул на график индексации в вебмастере - исключение страниц производилось каждый день с линейной зависимостью (кривая под 45 градусов)
2) через какое время можно ожидать возвращение в индексацию сайта в яндексе, если ошибка в robots.txt исправлена?
Сайт: http://ts.rxfly.net (не реклама, попросили указать конкретный сайт)
Заранее извиняюсь, если кому-то мой вопрос покажется смешным. Начинающий веб-мастер, поэтому многие вопросы индексации только-только осваиваю.
Спасибо. :)
Как-то пришлось запрещать в robots более полутора тысяч файлов PDF, забыл изначально прикрыть и они благополучно влезли в индекс. Так, вот на позиции это не коим образом не повлияло, а некоторые пдшки мелькают и сейчас в индексе, уж больно не охото растаётся с ними поисковик.
1. Что, именно Вы запретили в robots?
2. Сколько страниц было в поиске?
Думаю, что косяк в этих строчках robots.txt:
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Потому что в списках исключенных страниц как раз ВСЕ темы и все форумы оказались.
Притом, что позавчера в индексации оставалось 4 страницы, сейчас - ноль.
и еще вот из вебмастера:
zima23, гляньте правила раздела. Частный вопрос значит не гадание на кофейной гуще, а обсуждение вопроса по конкретному сайту.
Kost
Если правильно Вас понял - подправил заглавный пост, добавив адрес сайта.
Для начала проверьте сайт по аддурилке, если страницы принимаются, то надежда ещё есть. Отпишитесь после проверки!
ОК, правильно поняли.
Почитайте про идентификаторы сессий. Выдавать их роботам в адресах страниц - это по меньшей мере неуважение к ним, если не сказать более резко.
Начните с этого, поковыряйте свой phpbb или настройки PHP.
Незалогиненные юзеры (в т.ч. роботы) не должны видеть никаких дурацких сессий, они при каждом заходе робота новые, это миллион дублей на каждую страницу вашего форума.
Kost
Если правильно Вас понял - подправил заглавный пост, добавив адрес сайта.
Заголовок Теплый Стан. Сайт и форум жителей района Теплый Стан
Описание Сайт и форум жителей Теплого Стана, Теплый Стан, фотогалерея Теплого Стана, форум Теплого Стана, видео про Теплый Стан, жители Теплого Стана, новости Теплого Стана, история Теплого Стана, общение жителей Теплого Стана, спорт в Теплом Стане, торговые центры в Теплом Стане, Принц Плаза, Спектр, Мега Теплый Стан
Ключевые слова Теплый Стан, фотогалерея Теплого Стана, форум Теплого Стана, видео про Теплый Стан, жители Теплого Стана, новости Теплого Стана, история Теплого Стана, общение жителей Теплого Стана, спорт в Теплом Стане, торговые центры в Теплом Стане, Принц Плаза, Спектр, Мега Теплый Стан
Это спам, Поисковики такого не любят. Сайт добавляется в аддурилку, пока.
Kedr777 ок, сейчас подправлю ключевые слова и описание
Kost
я правильно понимаю, что для оптимизации идентификатора сессий нужно добавить в robots.txt эти строчки?
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Еще раз извиняюсь за подобные вопросы, новичек в деле веб-дизайна и раскрутки.
zima23 добавил 15.01.2011 в 11:38
Keywords и description исправил на более нейтральные
Вставил в robots.txt:
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
zima23 добавил 15.01.2011 в 14:55
В итоге, что скажет уважаемая общественность по теме сабжа?
что более вероятно, исходя из предоставленной мной информации? забанили сайт или из-за неправильного robots.txt произошел такой обвал?
zima23 добавил 15.01.2011 в 21:01
Только что заходил в яндекс-вебмастер. Произошел апдейт (минус 2 дня от реального) - в индексации появилась одна ссылка :)