- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Интересно, я пару раз такое проделывал, но что бы так чисто,
проверил PagePromoterом http://www.sotmarket.ru/links.php ни в одном из 25 поисковиков не засвечен... фантастика
robots.txt может зацеплен на IP поисковиков и на useragent, хотя попробывал поюзать страницы и robots.txt с useragent googlebot, всё чисто.
Скорее стоит самописный mod_rewrite который отдает хитрый header от которого у поисковиков крышу сносит. За это говорит странный идентификатор сессии (не по умолчанию), когда отключаешь куки - osCsid=82ab9cc56167a91de3f67bd8b39471e6, на всем сайте он присутствует, а в links.php нет, не понятно что-то.
Посмотрел headerы Ириской все нормально, ничего странного. Нужно полностью смоделировать запрос Яндекса с IP, useragent и прочими приблудами, засланные морячки - ПОМОГИТЕ плз.
Сайт писался умницей, это надо догататься так спрятать мыло
E-mail: <script>a="DMEBCAEIFCEFEGDNCCGNGBGJGMHEGPDKHDHFHAHAGPHCHEEAHDGPHEGNGBHCGLGFHECOHCHFCCDOHDHFHAHAGPHCHEEAHDGPHEGNGBHCGLGFHECOHCHFDMCPEBDO";for(i=0;i< a.length;i++){document.write((a.charCodeAt(i)<=127)?String.fromCharCode((a.charCodeAt(i)-65)*16+(a.charCodeAt(++i)-65)):a.charAt(i))}</script>
значит и ещё фокусы есть...😕
Ничего фантастического. Просто вебмастер этого сайта, будучи умным и находчивым, вычислил ip адреса поисковиков. Этим адресам он возвращает код ошибки 404 (Документ не найден).
В этом я убедился когда попытался добавить эту страницу http://webmaster.yandex.ru/ в Яндекс.
Добавление URLа
Адрес http://www.sotmarket.ru/links.php не был внесен в базу Яндекса, так как он не существует (сервер возвращает ошибку 404).
А сам получил код 200:
HTTP/1.1 200 OK Server: nginx/0.1.24 Date: Wed, 15 Jun 2005 06:50:12 GMT Content-Type: text/html; charset=windows-1251 Transfer-Encoding: chunked Connection: keep-alive Keep-Alive: timeout=20 Set-Cookie: osCsid=d49edbdf8061ba3e6ce9369ad092fa76; path=/; domain=www.sotmarket.ru Expires: Thu, 19 Nov 1981 08:52:00 GMT Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0 Pragma: no-cache Last-Modified: Jun 15 2005 06:50:10 GMT
Сессия здесь роли не играет.
такое очень легко найти -
1. ссылку у себя на сайт добавили
2. Внесли ее в нужные поисковики
3. ждем 1,5-2 недели - после чего проверяем
4. если нет - до свидания
такое очень легко найти -
1. ссылку у себя на сайт добавили
2. Внесли ее в нужные поисковики
3. ждем 1,5-2 недели - после чего проверяем
4. если нет - до свидания
А если ссылок 500-700? :)
А если ссылок 500-700? :)
Без специального софта тяжело былет следить за датами добавления
Exel Вам поможет
Ничего фантастического. Просто вебмастер этого сайта, будучи умным и находчивым, вычислил ip адреса поисковиков
Проверял PagePromoter 7.0 по 36 поисковикам, самым крупным, нигде не следа, вот в чём фантастика, наколоть Яндекс, Гугл и т.п. можно, но что-бы НИ ОДНОГО СЛЕДА, это поверьте круто, вы сможете назвать 36 международных поисковиков?
Не был бы столь критичным, нахождение идентификатора сессии в GET запросе, а не в куке первый признак, что идёт нечто, где мелочи типа кук не учитываются, что характерно для роботов и эмуляторов, но не для пользователей.
Про возможности отключения кук можешь не говорить.
Проверял PagePromoter 7.0 по 36 поисковикам, самым крупным, нигде не следа, вот в чём фантастика, наколоть Яндекс, Гугл и т.п. можно, но что-бы НИ ОДНОГО СЛЕДА, это поверьте круто, вы сможете назвать 36 международных поисковиков?
Про возможности отключения кук можешь не говорить.
Как он вычислил ip адреса это вопрос десятый.Если документ выдает код 404 - значит документа нет, и смысла добавлять его в базу тоже нет.
Достаточно поставить на страницы сайта php код кот. будет записывать логи [дата(время) - ip - host - ...].
Если поисковики будут обходить сайт, через некоторое время можно будет узнать адреса.
Не был бы столь критичным, нахождение идентификатора сессии в GET запросе, а не в куке первый признак, что идёт нечто, где мелочи типа кук не учитываются, что характерно для роботов и эмуляторов, но не для пользователей.
Про возможности отключения кук можешь не говорить.
Он передается через заголовки http:
HTTP/1.1 200 OK Server: nginx/0.1.24 Date: Wed, 15 Jun 2005 06:50:12 GMT Content-Type: text/html; charset=windows-1251 Transfer-Encoding: chunked Connection: keep-alive Keep-Alive: timeout=20 Set-Cookie: osCsid=d49edbdf8061ba3e6ce9369ad092fa76; path=/; domain=www.sotmarket.ru Expires: Thu, 19 Nov 1981 08:52:00 GMT Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0 Pragma: no-cache Last-Modified: Jun 15 2005 06:50:10 GMT
Если кукис очень важен на сайте, то конечно, при отключении поддержки кукисов сессия передается через запрос GET .
Как еще можно передать сессию?
Кукис не устанавливается на странице ликс.пхп так как он возможно там не нужн и т.п.
Как он вычислил ip адреса это вопрос десятый.
Как-бы уже порешали, что дело не в IP а в UserAgent
Если поисковики будут обходить сайт, через некоторое время можно будет узнать адреса.
Бред, мартышкин труд, Достаточно настроить mod_rewrite robots.txt на robots.php или заставить прогонять через php парсер все txt файлы или только robots.txt.
Это ликбез, я же предупреждал, чтоб тему не развивать
Через вычисления MD5 переменной $_SERVER с unset`ом 2-3 переменных, это АЗБУКА.
Может и не нужен, тоже вариант, а за чем он нужен на остальных страницах данного сайта?
Думаю, что всё уже определилось по http://www.sotmarket.ru/links.php
по http://www.diamond-nn.ru/rus/about/about/?ArticleId=262
то же самое...
Вот когда будут учитавать IP, тогда только вариант
такое очень легко найти -
1. ссылку у себя на сайт добавили
2. Внесли ее в нужные поисковики
3. ждем 1,5-2 недели - после чего проверяем
4. если нет - до свидания
остается
не пытайтесь разбираться в чужих дебрях - как они это сделали это их право
идите от обратного
Для чего это нужно - для поисковиков => начинать надо иммено с них.
Не тратьте зря свое драгоценное время
Как-бы уже порешали, что дело не в IP а в UserAgent
Я сейчас проверил через UserAgent yandex все OK сервер вернул 200 OK
Я сейчас проверил через UserAgent yandex все OK сервер вернул 200 OK
Request:
GET /links.php HTTP/1.0
User-Agent: StackRambler/2.0 (MSIE incompatible)
Host: www.sotmarket.ru
HTTP/1.1 404 Not Found
Server: nginx/0.1.24
Request:
GET /links.php HTTP/1.0
User-Agent: Yandex/1.01.001 (compatible; Win16; I)
Host: www.sotmarket.ru
HTTP/1.1 404 Not Found
Server: nginx/0.1.24
Request:
GET /links.php HTTP/1.0
User-Agent: Opera/8.0 (Windows NT 5.1; U; en)
Host: www.sotmarket.ru
HTTP/1.1 200 OK
Server: nginx/0.1.24
Request:
GET /links.php HTTP/1.0
User-Agent: Opera/8.0 (Windows NT 5.1; U; en) Yandex
Host: www.sotmarket.ru
HTTP/1.1 404 Not Found
Server: nginx/0.1.24
МОЖЕТ ХВАТИТ МУСОЛИТЬ?
Request:
GET /links.php HTTP/1.0
User-Agent: Opera/8.0 (Windows NT 5.1; U; en) yande Rambler
Host: www.sotmarket.ru
HTTP/1.1 200 OK
Server: nginx/0.1.24
т.е. используется проверка по StackRambler, Yandex и т.п.