DyaDya

DyaDya
Рейтинг
147
Регистрация
11.04.2007
kimberlit:
Найди ещё, что добавление * в конце является обязательным.

Подтверждаю, не обязательно.

http://help.yandex.ru/webmaster/?id=996567#996572

По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*'
kimberlit:
Найди хоть в одном месте мануалов где директива Disallow начинается не со слеша.

В мануале не замечено. Но логике не противоречит. Можно начинать и со *

Анализатор кушает на ура.

Другое дело, что лучше не экспериментировать.

------

Для информации... Недавно был сильно удивлён, когда на одном сайте не срабатывало Disallow при следующим содержанием роботса:


User-agent: Yandex
Allow: /
Disallow: /cart.php

Оказалось, проблемы в порядке следования правил - первое правило имеет приоритет и разрешает индексацию всего сайта.

http://help.yandex.ru/webmaster/?id=996567#996571

Если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке.

И правильно писать вот так:


User-agent: Yandex
Disallow: /cart.php
Allow: /

хотя и выглядит немножко непривычно.

Seo_Barin:
через строку команды

через строку писать уж точно не рекомендуется.

Вроде нормульно всё...

Jafar:
В Яндекс.вебмастере: Документ запрещен в файле robots.txt

Не путайте то, что в Вебмастере пишется и то, что запрещено непосредственно в robots.txt !

Проверяйте здесь. Всё ОК! Запрещено правильно.

---

site.ru/tag/ещё_что-нидь - такие фильтрует.

Если, речь идёт о ссылке, типа site.ru/ещё_папка/tag/, то такие в пролёте, под правило запрета не попадут.

megaBOT:
запросов много, согласен с вами. но я в этом не силен...

Так проблема джумлы в запросах и есть. Когда даже безобидные страницы при генерации используют порядка 50-60 запросов к базе!

Хотите оптимизировать, нужно стать сильнее.

Пора сразу закупить десяток доменов и написать на странице сайта уведомление:

Если наш сайт будет не доступен на данном домене, значит, нас прикрыли.

Берите следующий из списка ;)

p.s. пока следующий сайт прикроют, можно будет месяцок юзать торенты и т.д. Пока сажать за это не начнут ;)

Если прижмут, то торентам несложно будет проапгейдиться и давать скачку за небольшую денюжку, которая позволит отстёгивать причитающееся аффторам. И пользователям приятно, что все фильмы и в одном месте. И аффторам не обидно. Думаю, в этом направлении нужно двигаться.

Nadejda, спасибки за замечания. Видимо копировали из ворда что-то, вот напихало всяких Documents and Settings. А насчёт body, я как-то даже и не обратил внимания. Будем разбираться.

Но к счастью, сайт был под фильтром не из-за этого, с сегодняшним АПчиком вернулся в индекс. Надеюсь, не на 1 день ;)

3 месяца возни.

DyaDya добавил 18.02.2010 в 14:37

Из наблюдений... если это был именно АГС, то:

  • После устранения причин бана и отписки яшке, фильтр снимается через 1 месяц.
  • Если сайт повторно улетает под фильтр, то он накладывается уже на 2 месяца!

С данным сайтом было именно так. В прочем, может совпадение.

DyaDya добавил 18.02.2010 в 14:40

И абсолютно аналогичное наблюдалось ещё с одним сайтом (www.zaprabka.ru), который находится с ним на одном хостинге.

Вдруг, кто подтвердит полученные наблюдения.

Спасибо.

Ну-ну...

http://top.rbc.ru/society/17/02/2010/371700.shtml

Адвокат Дениса Евсюкова Татьяна Бушуева попросила суд переквалифицировать большую часть эпизодов покушения на убийство в злостное хулиганство, совершенное в состоянии "сумеречного сознания".

убийства - "не доказали", а то что на камеры снято, можно под злостное хулиганство подвести...

Вот вам и... 4 года условно. Настоящее торжество правосудия.

concerned:
Совершенно не согласен с предыдущими высказываниями. Данные сферы не только пересекаются, они в значительной степени родственные.

Если сео и программинг в одном флаконе может оказаться гремучей смесью,

то дизайн лучше отдавать профессионалам.

Чеширский:
ёба, что нет вообще способов сделать защиту?!)

есть ;)

bearman:
2 минуты и 15 секунд.

если от всех bearman-ов избавиться.

DyaDya добавил 13.02.2010 в 09:57

Чеширский:

а) реферер
б) сессии
в) json с обфускацией
г) проверка на обращение к файлу (например картинка).

Это достаточно усложнит задачу школоте?

Про картинку - речь не о капче шла. Но если есть всякие парсеры, которые счётчики подкачивают имитируя реальные заходы, то заодно и картинки тоже, небось "как положено" скачивают и всякие кукисы учитывают.

д) проверять частоту обращений с одной сессии, ip. Если зашкалят, то уже и каптчу не грех вывести. Чем вы хуже яшки?)

е) ну и добить...

JTRTA:
асимметричным алгоритмом шифрования

Этих пунктов вполне достаточно для решения. А bearman фиг с ним - пущай качает на здоровье ;)

Главное-то, защититься от обращении ко второму файлу напрямую. А всё остальное всё равно обойдут бирманы.

p.s. если уж гуглы и яшки не могут от "школоты" защититься...

The WishMaster:
И что, за это банят?

Конечно нет. ;)

Если я буду размещать на своём сайте ссылки без разбору, но абсолютно безвозмездно, то банить меня никто не имеет права. Только, если я начну брать за них деньги. Правильно мыслю? ;)

Я не говорю, что именно этот сайт забанен из-за 2-3 в ручную проставленных исходящих ссылок почти в каждом посте. Нужно заценить пациента для объективного анализа.

Да и...

KAmaR:
Есть проставленные вручную ссылки, но максимум 3 в записи (в среднем 0-2), в основном на тематические сайты

Косвенно говорит, что ссылки всё-таки не просто так проявляются и не совсем безвозмездно.

ТС, почему максимум 3? Если ссылки толковые и по теме, то и 5 и 10 бывает не стыдно поставить.

KAmaR:
наличие на сайте страниц предназначенных для робота-индексатора

ТС, внимательнее сайт проверьте. Я бы данную фразу мог понял как намёк на клоакинг.

Всего: 2917