Токда такой вопрос - 1 документ это ведь одна страница сайта под определенный запрос? Получается что если по запросу есть 1000000 документов то это миллион страниц с одинаковым ключом?
Друзья, приветствую! Хочу поменять шаблон сайта и в процессе возникла проблема - как создать файл Sample Data в Вордпресе чтобы закинуть его на денвер?
PapaCarlo: User-agent: Yandex
и
User-agent: *
Где же одинаков?
Символ " * " указывает правила индекисрования для всех поисковых роботов, для Яндекса указывают отдельно. Ну так пишут во всех мануалах по составлению файла robots.txt..
Ingvarr: Отдавать в rss не весь текст, а только начало
Я так и делаю. Но не действует - забирает 600 знаков с каждой поста
---------- Добавлено 27.04.2014 в 08:21 ----------
SocFishing: А много ли их. Тогда один вариант, вставлять между строк случайные фразы или выслеживать тех кто парсит RSS.
Отследить можно например:
логика, Вставляется в текст IP того, кто загружает RSS, но не открытым текстом, а например IP to HEX. Это может сделать программист, рубликов за 500. Зато у Вас будут IP серверов, с которых вы видите парсинг.
Дальше несложно модифицировать RSS на блокировку по файлу списка IP, это еще рублей 500 ;)
Друзья, а что не так со сбором фраз в Google Adwords? Ну никак не хочет искать слова
не знаю писали об этом или нет...
Уважаемые разработчики, сделайте пожалуйста в программе парсер ключевых слов из sape.ru. Очень неудобно и долго руками все делать...
Блин, по живому задел. Прямо сейчас это делаю, осталось 90 сайтов выпарсить. Задолбало уже :(😂
1 документ равен 1 документу
Это один миллион документов
Смысл вопроса?
Токда такой вопрос - 1 документ это ведь одна страница сайта под определенный запрос? Получается что если по запросу есть 1000000 документов то это миллион страниц с одинаковым ключом?
Друзья, приветствую! Хочу поменять шаблон сайта и в процессе возникла проблема - как создать файл Sample Data в Вордпресе чтобы закинуть его на денвер?
Здравствуйте! Подскажите плиз, где можно найти слайдер как на этом сайте: http://www.tradingforeverybody.com/?
Можно ли просто вынуть код слайдера с шаблона даного сайта и вставить на другой сайт?
Благодарю за помощь!
User-agent: Yandex
и
User-agent: *
Где же одинаков?
Символ " * " указывает правила индекисрования для всех поисковых роботов, для Яндекса указывают отдельно. Ну так пишут во всех мануалах по составлению файла robots.txt..
Надеюсь это правильно
Для разных роботов скорее всего разный disallow
сайт на чем. кто написал robots вы или плагин ?
скорее всего ошибка в файле.
Сайт на вордперсе
Роботс скопирован с рекомендаций
Вот сам файл, кажись одинаков как для Я. так и для Г
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /author/
Disallow: /*?*
Disallow: /?s=
Disallow: /tag
Disallow: /tag/*
Disallow: */tags/
Disallow: /category
Disallow: /archives/tag/
Disallow: /2013/*
Disallow: /page/*
Disallow: */page/*
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /author/
Disallow: /*?*
Disallow: /?s=
Disallow: /tag
Disallow: /tag/*
Disallow: */tags/
Disallow: /category
Disallow: /archives/tag/
Disallow: /2013/*
Disallow: /page/*
Disallow: */page/*
Host: www.сайт.com
Sitemap: http://сайт.com/sitemap.xml
Sitemap: http://сайт.com/sitemap.xml.gz
В заголовках сниппетов очень мало проходят http://www.google.com/search?q=site:vk.com/vizage_tula
В текстовых фрагментах больше, но старайтесь не писать их с краю того, что попадает в выдачу. И некоторые символы подлый гугл отбеливает http://www.google.com/search?q=site%3Ameta-description.narod.ru%2FGoogle.xml+%D0%BC%D0%B0%D1%81%D1%82%D0%B8
а яндекс нет http://yandex.ru/yandsearch?text=url:meta-description.narod.ru/Google.xml+%D0%BC%D0%B0%D1%81%D1%82%D0%B8
Да, отбеливание это проблема - эффекта от юникода считай теряется
Отдавать в rss не весь текст, а только начало
Я так и делаю. Но не действует - забирает 600 знаков с каждой поста
---------- Добавлено 27.04.2014 в 08:21 ----------
А много ли их. Тогда один вариант, вставлять между строк случайные фразы или выслеживать тех кто парсит RSS.
Отследить можно например:
логика, Вставляется в текст IP того, кто загружает RSS, но не открытым текстом, а например IP to HEX. Это может сделать программист, рубликов за 500. Зато у Вас будут IP серверов, с которых вы видите парсинг.
Дальше несложно модифицировать RSS на блокировку по файлу списка IP, это еще рублей 500 ;)
Это что то новое
Опыт чего? Подбора семантики на украинском или смены настроек кейколлектора?
С коллектором не работал. Но что вам мешает вручную подобрать через adwords?
Опыта подбора семантики на украинском через КейКолектор.
Вручную долговато