vikatoria, не покажете своё сообщение, спасибо.
Сегодня окончательно разобрался и запутался одновременно.
По порядку.
Решил подробнее посмотреть на индексацию у Гугла. Робот приходил 3 (по панели вебмастера) и 5 (по данным моего форума). В индексе 782.
robots.txt
User-agent: * Disallow: /templates/ Disallow: /language/ Disallow: /admin.php Disallow: /static/abc.html Disallow: /static/cba.html
Что интересно, в панеле отмечена следующая информация
Но в индексе, есть эти страницы.
*/engine/download.php?id=88Похожие страницы */engine/download.php?id=37Похожие страницы */engine/download.php?id=103Похожие страницы */engine/download.php?id=273Похожие страницы */engine/download.php?id=123Похожие страницы
Т.е. Гугл прочёл новый robots.txt (где раздел /engine/ я открыл для индексации).
И теперь самое интересное, когда переходишь по ссылке */engine/download.php?id=103, вводя адрес вручную в броузер, то перенаправляешься на главную страницу. А когда на страничке, щёлкаешь по ссылке, то получаешь файл. Т.е. сама CMS (у меня DLE) как-то блокирует такие ссылки.
Мне кажется, в robots.txt надо заново запретить engine и посмотреть как Яндекс среагирует. Хотя, может, это не из-за этого. 🚬
ЗЫ Пожалуй, загляну ещё в настройки CMS.
upd. Теперь CMS файл отдаёт, настроил.
Теперь посмотрим как ПС отреагируют.
Зоны ru и com.
Смотрел по Я.В-р. 404 не наблюдается.
Что смутило, что панель в разделе анализ robots.txt пишет, что не удалось его загрузить.
Зона ru.
Что меня тревожит, так это то, что robots.txt есть, но в панель её загрузить невозможно, и показывает в запрете, то что разрешено. А у меня 2 страницы были, которые запрещены, ссылки на каталоги.Cлучайно он не туда залез :)
По com всё тоже самое, только запрещенных страниц-помоек нет.
Это шутка. Брин пользуется Google Talk)) Чего и всем желает.
Думал из-за ссылок или контента, неа, на другом сайте с доменом 2-го имени тоже самое (тематика другая). По каталогам не прогонял, впоследнее время писал редко, но сам. У Яндекса на меня, наверно, аллергия. Чем я его так обидел? ☝
Egorix, я кляньчить не собирался, образно написал.
Turro, удалять не хочется, если честно.
OPTIMER, контент страниц, просто описание, например, лекции по математике.
Те файлы, что открыл - документы doc, pdf (лекции, шпаргалки, методички),
завёрнутые в rar и zip. Раньше они были запрещены в роботс ткст.
так только они не индексируются? Или еще есть страницы?
Alex Klo, всё выпало из индекса (раньше 500-600 стр. было), осталась главная + поддомен.
Я вообще в печали, в кеше сидит сайт, примерно, от 10 июня. В индексе только морда главной + морда поддомена. В вебмастере (написано, что последний раз робот приходил 17). Позиции в выдаче упали.
Возможные причины этого. 1) недавно по каталогам прогонял (1000-2000 шт.)
2) Открыл документы (неуник), которые были запрещёны роботс тхт.
PS Хотя у меня месяц уже так.
Не будем, пусть сам себя спасает, обычно на поле боя кривых, косых и раненых добивают, чтоб не мучились.
Гугл, Рама, Яша - это уже олигополия, да и не выйдет этого, все они с замашками мирового тирана, то есть, по-крайней мере один из них.
По-поводу Гугл рекламы, ехал я в метро, и как бы не взначай спросил у товарища, ну, как те эта реклама? Он (пользуется Рамблером, не сильно продвинут в компьютерах, о гугле не слышал) мне ответил, что за гов*но, они что у метрополитена рекламу стырили. Даже некрасивая.
поверить сказаному можно при одном условии, если не Google взламывают, а в ОС попадает вирус, который и суёт в выдачу на 1 место сайт, т.е. подменяет выдачу и не только Googl'a. http://habrahabr.ru/blog/searchengines/43294.html#habracut
тоже сталкивался с такой проблемой.
сначало не использовал антивирус вообще, как то не особо вирусы волновали, но после прогона по каталогам 😡 ситуация кардинально изменилась. Поставил Dr.Web, но допустил маленькую оплошность, не настроил функцию регулярного сканирования (ну, это когда можно задать день в месяце и. т. д.), был включён только Spider Guard, который многие трояны блокировал (по настройкам так), вроде всё хорошо было, но после очередного прогона, такая бяка записалась, что даже в ОС зайти стало невозможно. После этого случая, после реиркарнации системы, поставил Norton 360, не понравился, вернулся к DrWeb, и поставил дополнительную защиту брандмауэр Comodo. Правда, в такой связке я не прогонял. Сейчас вместо DrWeb хочу поставить Avira бесплатную версию, обновиться до SP3 (ещё лучше переустановить винду), конечно поставить утилитку для слежения процессов, ещё надо будет настроить IE так, чтоб после закрытия он всё стирал.
P.S.Конечно, было бы идеально, если AllSab-er вместо IE использовал свой браузер, (или хотя бы Лису), который при закрытии удаляд все куки и.т.д., но это всего лишь мечты
