- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу

Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Привет всем!
На серверы есть много файлов разных программ. Скачивать их можно было по обычным ссылкам
Открытие всех страниц fileХ.php начинает загрузку файла. На эти страницы зафиксированы переходы с разных ПС Yahoo, Google, Яндекс, Мэйл.Ру и др.Чтобы уменьшить трафик попробовал скрыть ссылки от ПС так
Проверил три варианта:
В результате перестали скачивать файлы все ПС, кроме Google. Google нажимает на все кнопки и скачивает фалы! Правда раньше Google загружал по несколько файлов в час, а теперь загружает по несколько файлов в сутки.
Вопрос такой: как можно скрыть ссылки на файлы от Google? Если можно, желательно без использования javascript.
Закрыть доступ в robots.txt. - Слишком просто чтобы быть правдой?
Закрыть доступ через robots.txt конечно просто, только это ничего не дает.
Проверялись разные варианты.
User-agent: *
Disallow: /files.php
files.php - страница, на которой есть ссылки на файлы. Не помогает.
Добавил на странице <meta name="robots" content="noindex, nofollow">. Не помогает.
User-agent: *
Disallow: / Не помогает.
Как еще можно заблокировать доступ?
Возможно, таймер "Загрузка начнется автоматически через ..." поможет. Робот, скорее всего не будет ждать 10 секунд.
Закрыть доступ через robots.txt конечно просто, только это ничего не дает.
Проверялись разные варианты.
<...>
Как еще можно заблокировать доступ?
Может попробовать уже в robots.txt закрыть доступ к директории где эти самые "много файлов разных программ" лежат?
гугл найдет все ссылки, будь то формы, скрипты. и хоть раз - но зайдет.
самый простой вариант через js организовать скачивание.
Может попробовать уже в robots.txt закрыть доступ к директории где эти самые "много файлов разных программ" лежат?
Сейчас в robots.txt написано "запретить всем и все":
User-agent: *
Disallow: /
Не помогает, гугл файлы как загружал, так и загружает.
самый простой вариант через js организовать скачивание.
Попадалась информация о том, что Гугл индексирует страницу уже после выполнения js, и уже научился видеть ссылки, закрытые с помощь JavaScript. К тому же при организации скачивания через js придется добавлять и обычную ссылку "Если загрузка не началась автоматически, нажмите сюда".
---------- Добавлено 17.03.2016 в 14:49 ----------
Появилась мысль заблокировать загрузку файлов гуглем по IP.
Можно посетителю разрешить загружать программы, а Googlebot-у разрешить только индексировать страницу с описанием программы? Что если при попытке Googlebot-а загрузить файл ответить ему, например, 403 Forbidden или 434 Requested host unavailable?
Или за такое могут быть санкции для сайта?
Сейчас в robots.txt написано "запретить всем и все":
User-agent: *
Disallow: /
Не помогает, гугл файлы как загружал, так и загружает.
Ерунда какая та, покажите сайт.
Вы точно уверены, что это гугл, а не пользователи?
Как вы вообще поняли, что он их загружает до конца? Конечно он перейдет, но у меня большие сомнения, что он докачивает, то есть трафика не кушает. Закрывайте ссылку nofollow и в robots блокируйте, остальное извращение, которое еще и повредить сайту может.
Ерунда какая та, покажите сайт.
Вы точно уверены, что это гугл, а не пользователи?
Я думаю, что это были обращения гугла:
64.233.172.149 - - [14/Mar/2016:06:20:43 +0200] "GET /55.exe HTTP/1.1" 200 1544554 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.97 Safari/537.36"
66.249.88.157 - - [14/Mar/2016:08:44:57 +0200] "GET /ct1.rar HTTP/1.1" 200 351452 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36"
66.249.64.30 - - [14/Mar/2016:08:45:43 +0200] "GET /robots.txt HTTP/1.1" 200 77 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.92.155 - - [14/Mar/2016:08:45:48 +0200] "GET /126.zip HTTP/1.1" 200 4568178 "-" "Mediapartners-Google"
66.249.88.157 - - [14/Mar/2016:08:46:00 +0200] "GET /Solo9Rus.rar HTTP/1.1" 200 25880148 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.97 Safari/537.36"
66.249.88.147 - - [14/Mar/2016:08:50:13 +0200] "GET /dw98.rar HTTP/1.1" 200 73528599 "-" "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11"
64.233.172.141 - - [14/Mar/2016:09:32:12 +0200] "GET /5.rar HTTP/1.1" 200 2286521 "-" "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.97 Safari/537.36"
64.233.172.149 - - [14/Mar/2016:10:54:38 +0200] "GET /Rt9.rar HTTP/1.1" 200 109156618 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.111 Safari/537.36"
66.249.66.90 - - [14/Mar/2016:11:09:06 +0200] "GET /24.exe HTTP/1.1" 200 5614563 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
64.233.172.149 - - [14/Mar/2016:11:16:23 +0200] "GET /da9ec.exe HTTP/1.1" 200 5168562 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.97 Safari/537.36"
66.249.88.157 - - [14/Mar/2016:11:44:21 +0200] "GET /dw98.rar HTTP/1.1" 200 73528599 "-" "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11"
66.249.88.147 - - [14/Mar/2016:11:55:10 +0200] "GET /Solo9Rus.rar HTTP/1.1" 200 25880148 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.97 Safari/537.36"
64.233.172.133 - - [14/Mar/2016:12:15:02 +0200] "GET /yu478.rar HTTP/1.1" 200 8258926 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.97 Safari/537.36"
66.102.9.95 - - [14/Mar/2016:12:25:59 +0200] "GET /tu5.rar HTTP/1.1" 200 87463296 "-" "Mozilla/5.0 (Linux; Android 5.1.1; SM-E500F Build/LMY47X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.91 Mobile Safari/537.36"
66.102.9.105 - - [14/Mar/2016:12:26:46 +0200] "GET /tt45.rar HTTP/1.1" 200 4964569 "-" "Mozilla/5.0 (Linux; Android 5.1.1; SM-E500F Build/LMY47X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.91 Mobile Safari/537.36"
64.233.172.141 - - [14/Mar/2016:12:28:22 +0200] "GET /arm7.exe HTTP/1.1" 302 154 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; EIE10;ENUSWOL)"
64.233.172.133 - - [14/Mar/2016:12:28:25 +0200] "GET /arm7.exe HTTP/1.1" 302 154 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; EIE10;ENUSWOL)"
64.233.172.149 - - [14/Mar/2016:12:28:29 +0200] "GET /arm7.exe HTTP/1.1" 302 154 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; EIE10;ENUSWOL)"
64.233.172.149 - - [14/Mar/2016:12:28:30 +0200] "GET /arm7.exe HTTP/1.1" 302 154 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; EIE10;ENUSWOL)"
64.233.172.133 - - [14/Mar/2016:12:28:31 +0200] "GET /arm7.exe HTTP/1.1" 302 154 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; EIE10;ENUSWOL)"
64.233.172.133 - - [14/Mar/2016:12:28:32 +0200] "GET /arm7.exe HTTP/1.1" 302 154 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; EIE10;ENUSWOL)"
64.233.172.133 - - [14/Mar/2016:12:39:44 +0200] "GET /arm7.exe HTTP/1.1" 302 154 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; EIE10;ENUSWOL)"
Как вы вообще поняли, что он их загружает до конца? Конечно он перейдет, но у меня большие сомнения, что он докачивает, то есть трафика не кушает. Закрывайте ссылку nofollow и в robots блокируйте, остальное извращение, которое еще и повредить сайту может.
Если бы помогало закрытие ссылки через nofollow и блокировка в robots - не было бы никакого смысла заниматься извращением! :(
Hotlink protect files in the .htaccess and cPanel
http://www.inmotionhosting.com/support/website/protecting-files/hotlink-protect-htaccess