Devber

Рейтинг
8
Регистрация
07.01.2005

Был бы бан из-за "ссылок", я думаю, обнулили бы ТИЦ. Лучше, отправить письмо в суппорт Яндекса.

:bum:

Как писал Avaks
Народ, у меня тот же трабл. Сайт выкинут из индекса. Но при этом сегодня Win16; I был на сайте и посмотрел несколько страниц. В это время бан уже был... И что это?

Сайт http://reklama-media.ru/? Я думаю, что это глюк,а не бан.

По крайней мере,у меня бывает вылетает тысячи по четыре из поиска, и через какое-то время появляется.(это редко, но довольно долго).Было пару раз за 5 мес.

Но, вообще, я могу ошибаться. Это мое мнение(наблюдение).

Вообще, Яндекс показывает на странице http://webmaster.yandex.ru/check.xml на 11 тыс. страниц меньше, чем "еще с сайта" в поиске и на 8 тыс. стр. меньше на странице добавления url, когда станица уже в Яндексе и он пишет "Документ http://domain.zone уже проиндексирован и доступен для поиска.

Вы можете посмотреть, какие страницы сайта http://domain.zone доступны в Яндексе к настоящему времени (xxxxxx страниц)."

Подкинь софтину, что-то не получается. Я посылаю заголовок HTTP UserAgent: Yandex/1.01.001 (compatible; Win16; I). Он возвращает 200 OK

Как писал medaest


Как-бы уже порешали, что дело не в IP а в UserAgent

Я сейчас проверил через UserAgent yandex все OK сервер вернул 200 OK

Как писал medaest


Проверял PagePromoter 7.0 по 36 поисковикам, самым крупным, нигде не следа, вот в чём фантастика, наколоть Яндекс, Гугл и т.п. можно, но что-бы НИ ОДНОГО СЛЕДА, это поверьте круто, вы сможете назвать 36 международных поисковиков?
Про возможности отключения кук можешь не говорить.

Как он вычислил ip адреса это вопрос десятый.Если документ выдает код 404 - значит документа нет, и смысла добавлять его в базу тоже нет.

Достаточно поставить на страницы сайта php код кот. будет записывать логи [дата(время) - ip - host - ...].

Если поисковики будут обходить сайт, через некоторое время можно будет узнать адреса.

Как писал medaest

Не был бы столь критичным, нахождение идентификатора сессии в GET запросе, а не в куке первый признак, что идёт нечто, где мелочи типа кук не учитываются, что характерно для роботов и эмуляторов, но не для пользователей.

Про возможности отключения кук можешь не говорить.

Он передается через заголовки http:

HTTP/1.1 200 OK Server: nginx/0.1.24 Date: Wed, 15 Jun 2005 06:50:12 GMT Content-Type: text/html; charset=windows-1251 Transfer-Encoding: chunked Connection: keep-alive Keep-Alive: timeout=20 Set-Cookie: osCsid=d49edbdf8061ba3e6ce9369ad092fa76; path=/; domain=www.sotmarket.ru Expires: Thu, 19 Nov 1981 08:52:00 GMT Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0 Pragma: no-cache Last-Modified: Jun 15 2005 06:50:10 GMT

Если кукис очень важен на сайте, то конечно, при отключении поддержки кукисов сессия передается через запрос GET .

Как еще можно передать сессию?

Кукис не устанавливается на странице ликс.пхп так как он возможно там не нужн и т.п.

Как писал vitcom
такое очень легко найти -
1. ссылку у себя на сайт добавили
2. Внесли ее в нужные поисковики
3. ждем 1,5-2 недели - после чего проверяем
4. если нет - до свидания

А если ссылок 500-700? :)

Как писал medaest


Интересно, я пару раз такое проделывал, но что бы так чисто,
проверил PagePromoterом http://www.sotmarket.ru/links.php ни в одном из 25 поисковиков не засвечен... фантастика

robots.txt может зацеплен на IP поисковиков и на useragent, хотя попробывал поюзать страницы и robots.txt с useragent googlebot, всё чисто.

Скорее стоит самописный mod_rewrite который отдает хитрый header от которого у поисковиков крышу сносит. За это говорит странный идентификатор сессии (не по умолчанию), когда отключаешь куки - osCsid=82ab9cc56167a91de3f67bd8b39471e6, на всем сайте он присутствует, а в links.php нет, не понятно что-то.

Посмотрел headerы Ириской все нормально, ничего странного. Нужно полностью смоделировать запрос Яндекса с IP, useragent и прочими приблудами, засланные морячки - ПОМОГИТЕ плз.

Сайт писался умницей, это надо догататься так спрятать мыло
E-mail:&nbsp;<script>a="DMEBCAEIFCEFEGDNCCGNGBGJGMHEGPDKHDHFHAHAGPHCHEEAHDGPHEGNGBHCGLGFHECOHCHFCCDOHDHFHAHAGPHCHEEAHDGPHEGNGBHCGLGFHECOHCHFDMCPEBDO";for(i=0;i< a.length;i++){document.write((a.charCodeAt(i)<=127)?String.fromCharCode((a.charCodeAt(i)-65)*16+(a.charCodeAt(++i)-65)):a.charAt(i))}</script>
значит и ещё фокусы есть...😕

Ничего фантастического. Просто вебмастер этого сайта, будучи умным и находчивым, вычислил ip адреса поисковиков. Этим адресам он возвращает код ошибки 404 (Документ не найден).

В этом я убедился когда попытался добавить эту страницу http://webmaster.yandex.ru/ в Яндекс.

Добавление URLа

Адрес http://www.sotmarket.ru/links.php не был внесен в базу Яндекса, так как он не существует (сервер возвращает ошибку 404).

А сам получил код 200:

HTTP/1.1 200 OK Server: nginx/0.1.24 Date: Wed, 15 Jun 2005 06:50:12 GMT Content-Type: text/html; charset=windows-1251 Transfer-Encoding: chunked Connection: keep-alive Keep-Alive: timeout=20 Set-Cookie: osCsid=d49edbdf8061ba3e6ce9369ad092fa76; path=/; domain=www.sotmarket.ru Expires: Thu, 19 Nov 1981 08:52:00 GMT Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0 Pragma: no-cache Last-Modified: Jun 15 2005 06:50:10 GMT

Сессия здесь роли не играет.

Вот еще один негодяй diamond-nn.ru.

Страница со ссылками возвращает ошибку 404. http://www.diamond-nn.ru/rus/about/about/?ArticleId=262

Яндекс врят ли эту страницу будет индексировать и обходить.

Вот заголовки для этой страницы:

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

HTTP/1.1 404 Not Found Date: Wed, 15 Jun 2005 06:37:19 GMT Server: Apache/1.3.33 (Unix) mod_fastcgi/2.4.0 FrontPage/5.0.2.2623 PHP/4.3.10 mod_gzip/1.3.19.1a mod_ssl/2.8.22 OpenSSL/0.9.7b rus/PL30.20 X-Powered-By: PHP/4.3.10 Set-Cookie: PHPSESSID=8e415f1e9649bd81eab9beffa1a00d22; path=/ Expires: Thu, 19 Nov 1981 08:52:00 GMT Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0 Pragma: no-cache Set-Cookie: UserId=1; expires=Thu, 15-Jun-06 06:37:19 GMT Set-Cookie: SessionId=3e496da84bed419c; expires=Thu, 15-Jun-06 06:37:19 GMT Set-Cookie: SessionName=98ee81ff9657cd5809a7; expires=Wed, 15-Jun-05 07:37:19 GMT Connection: close Transfer-Encoding: chunked Content-Type: text/html; charset=windows-1251 Vary: accept-charset, user-agent

Как писал niklab
Зачем выводить динамическую дату?
лучше выводить дату меняющуюся 1 раз в сутки.

Действительно, чем же... я бы сам хотел узнать.

Как писал EvShi
Просто на одном серьезном сайте увидел, что стоит
<meta http-equiv="Last-Modified" content="Tue, 14 Jun 2005 19:43:04 GMT">...

Каким образом посылать HTTP заголовки значения не имеет...

Обычно дату документа выдает сервер, если это статическая страница... <meta http-equiv="Last-Modified" content="Tue, 14 Jun 2005 19:43:04 GMT"> - этот тег в тексте html, возможно, только подчеркивает искуственное происхождение даты документа... всетаки лучше header(...) Хотя Яндекс сообщает, что на дату особого внимания не обращает и индексирует страницы по своему графику...но это не повредит.

Всего: 82