HorrorTM

HorrorTM
Рейтинг
73
Регистрация
06.05.2007
zac:
От каких запросов ещё нужно чистить?

Поверьте мне на слово, что от нетематических кейвордов гораздо меньше проблем, чем от кейвордов с нулевым количеством запросов.

Я например выяснил для себя, что 200-250 страниц в выдаче могут давать 1000 посетителей в сутки без какого либо шаманства - только перелинковкой и аддурилкой дора.

Сами посмотрите какие кейворды вы выложили на обозрение [ATTACH]40919[/ATTACH]

txt test.txt
labas:
Качал тдс с офф сайта, поэтому должна быть чистой

"в модом Джаксофта" - это кардер Джакс? или не тот самый?

Имелось ввиду "с модом Джаксофта". Он выпусти популярный мод СимплТДС который гораздо функциональнее оригинальной, но за это берет 1% трафика. А вот был ли он кардером, я даже не знаю :)

Какая именно ТДС стоит то, чистая Симпла или в модом Джаксофта?

Если с модом, то сходу два варианта:

1. 1% трафика уходит Евгению,

2. Включена ли в конфиге защита от ботов посредством кукисов? И если включена, то какой адрес на который отливаются боты. Раньше по дефолту сливались на Гугль, но в последних версиях Евгений мог поменять.

Хотя есть еще один вариант - у вас "левая" сборка ТДСки, опять таки - откуда качали?

s91:
HorrorTM, то что для вас является проблемой, лично для меня проблемой не является.
За 2 секунды нашел 2 выхода из вашей проблемы:
1. Размещать страницу в директориях нескольких уровней
Например: мойсайт.ру/страница.пхп
Размещаем файл кеша так: м/о/й/с/а/й/т/р/у/с/т/р/а/файлкеша.кеш
2. Размещать кеш всего в двух файлах для каждого сайта
Например: мойсайт1.index, мойсайт1.cache, мойсайт2.index, мойсайт2.cache
Сколько доменов, столько файлов.

1-й вариант - ну вы сами поняли, да? :) Уже обсудили тут выше.

2-й вариант хорош конечно в теории... Я не силен в программировании, но как вы будете выбирать нужный кусок для отдельно взятой страницы из файла кэша размером... ну например 200 мегабайт? Перебирать построчно пока не дойдете до нужного куска? Или же грузить его целиком в память и там разбирать? Если вы подскажете наиболее простое решение данной проблемы на ПХП, то я буду вам несказанно благодарен. Без шуток.

Господа, вы вот растеклись мыслью по древу, как теоретики честное слово.

Сделать кеширование в доргене плевая задача. Прикрутить к нему проверку по времени, чтобы время от времени определенная часть страниц обновлялась - так же.

Не хотелось бы портить вам туоретические рассуждения, но с "бесконечными" генерируемыми дорами с кешем есть одна практическая сложность - когда в папке кеша будет... нет, не миллион страниц, а всего навсего 150-200 тысяч, и таких доров на вашем серваке будет 20-25 штук, то на полноценно работающем сервере одна отдельно взятая страничка запрошенная ботом будет открываться столько, что бот может уйти не дождавшись, столь велика нагрузка на файловую подсистему, а она одно из самых узких мест.

Именно поэтому на аккаунтах американских хостеров (Дримхост например), которые дают по 100-200-500 гигов на аккаунт стоит маленькое ограничение - не более 512 тысяч файлов...

P.S. К чести Дримхоста хочу добавить, что они вообще очень терпимые хостеры. Время от времени мне не хватало 512 тысяч файлов и я начинал часть доров делать с кешем на мускуле, да еще и сортировал рандомом базы по 1,5 миллиона записей, что время от времени вешало их сервак, но ни разу они не дошли то того, чтобы в емких выражениях объяснить где они видели таких клиентов :)

Сеоштейн:
Решил добро сделать людям и проспамиться, дабы больше народу успело съэкономить

КрасавЕц! Давненько я не регал домены такими количествами как сегодня сам, да еще и с такой скоростью )))

Думаю что скорее всего глюк.

Чтобы Яндекс 12 "доапнул" базу по 12 же число... Такого еще не бывало.

Если только они на систему гуглоапов перманентных не соберутся перейти.

shum32:
11592+5073 не равно 21000+
А что с остальными?
dsq:
0 запросов наверно?

Так как появились вопросы, объясняю подробнее. Моя промашка, невнятно написал.

0 запросов - около 9500 кейвордов

1-29 запросов в месяц - около 6500 кейвордов

30 и более запросов в месяц - около 5000 кейвордов

vestal:
HorrorTM если не секрет чем прогоняли базу? паблик скрипт или свое решение?

Скрипт приватный, писался господином DIGIT (несколько доработан напильником мной) для узкого круга людей. Проверяет прокси на работоспособность в Яндексе, после чего с задержкой перебирает прокси и через них дергает выдачу Вордстата. Учитывая что у меня 30 IP адресов на которых подняты Socks5-прокси под рукой, я ставлю задержку 0.5 секунды и со страшной силой прокачиваю нужные мне базы.

В принципе через денек дочекаю очередную свою базу и могу безвозмездно помочь в этом вопросе страждущим. Сделаю тогда отдельный топик.

HorrorTM:
Долго читал восторженные и не очень отзывы. Решил что проще самому наступить на грабли и отоварился кейвордами по темам: «Индивидуалки», «Шлюхи», «Путаны», «Досуг», ради пополнения свой базы, тем более что цена более чем скромная.

Через пару дней прогоню все вордстатом и отпишусь сколько из 21к+ кеев вменяемые, а сколько шлак. Принцип определения вменяемости крайне прост - более 30 запросов в месяц - кей нормальный (хотя для себя я использую несколько более высокую планку).

Ожидайте продолжения сериала :)

Собственно как и обещал отписываюсь по результатам прогона вышеуказанных кейворвдов в Яндекс.Вордстат.

Всего проверялось: 21000+ кейвордов

Из них с 1 и более запросов в месяц: 11592

Из них с 30 и более запросов в месяц: 5073

Дальше думайте и решайте сами.

P.S. Пополнил свою базу на 2000+ кейвордов, так что о потраченых деньгах не жалею.

Долго читал восторженные и не очень отзывы. Решил что проще самому наступить на грабли и отоварился кейвордами по темам: «Индивидуалки», «Шлюхи», «Путаны», «Досуг», ради пополнения свой базы, тем более что цена более чем скромная.

Через пару дней прогоню все вордстатом и отпишусь сколько из 21к+ кеев вменяемые, а сколько шлак. Принцип определения вменяемости крайне прост - более 30 запросов в месяц - кей нормальный (хотя для себя я использую несколько более высокую планку).

Ожидайте продолжения сериала :)

Всего: 339