Отправлено: 16.09.09 17:22. Заголовок: Психология ботов

Для тех, кому это когда-либо пригодится. Для форумов на Борде подобная тема не всегда важна, поскольку поведение ботов регулируется здесь администрацией сервиса.

Копипейст на форуме и его последствия:
http://www.simplemachines.ru/index.php/topic<\/u><\/a>,8249.msg54404/topicseen.html#msg54404

С сайтами все понятно: за копипейст наказывают по всей строгости.

А как насчет форумов? Если, к примеру, я пишу статью в Ворде, а потом кидаю на форум? Или, скажем, если у меня сервер и БД на два домена, может ли бот посчитать, что я краду информацию с одного сайта на другой?
Ну и в конце концов, если я внутри одного форума из одной статьи копипейстю в новую?

Вопросы такие возникли в связи с переездом на новый домен. Осталась старая БД, форум по дурости переустанавливала (сейчас вот мучаюсь с глюками). Если с ситуацией не справлюсь, то прийдется создавать новую БД и наполнять новый форум копипейстом. Очень боюсь, как бы не кинули поисковики. Ведь краду я исключительно сама у себя.

Ответ:
Я так подозреваю у Вас и сейчас ТИЦ не 10000, так что страшного ничего с Вами не случится.

PS: и как Яша узнает, чего Вы там у себя 5 минут назад в ворде набирали
PPS: копипаст (по мнению поисковиков) - это не метод вставки информации в форму ответа, это тупое воровство текста один в один с другого сайта/сайтов в больших объёмах

 Отправлено: 16.09.09 19:47. Заголовок: Все фигня. Копируй с..

Все фигня. Копируй сколько хочешь.
Надо кучу вещей перекопировать, что бы занесли куда надо. И то не факт. Движок Борды не всякий бот сумеет прочесть. И по темам шарить так же. Только кульные боты сумеют индексировать. Некоторые держат еще данные индексации за 2007 год! Так что все это писано вилами по воде.

 Отправлено: 16.09.09 20:17. Заголовок: Главное не накосячит..

Главное не накосячить обычным поисковикам. За накрутку карают жестоко. И за дорвеи и за ифреймы и за ссылки с "добрых сайтов раскрутки".
Даже не стоит пробовать.

Копирайтеры в основном это просто рекламные площадки гугля или бегуна, пиар и легкие деньги. Доверять их мнению не стоит, если их ИЦ ниже 1000.
Даже если внесут то что с того?

Копирайтеры дешевые сервисы и их боты не успевают все и регулярно облазить. Если что то копировали и затем удалили меньше месяца, то бот не увидет.

 Отправлено: 16.09.09 20:23. Заголовок: Все тоже самое и на ..

Все тоже самое и на сайтах, только там индексация чаще. И значит быстрее проверят. А суть одна. Сервис копирайтеров хорош лишь тем кто ищет кто и что у него стырил. Толку от этого ни какого.

 Отправлено: 04.07.10 18:29. Заголовок: Продолжаем про войну..

Продолжаем про войну с роботами.

цитата:

Скормить индексатору страницы сайта легко. А вот добиться хороших показателей в выдаче не просто. И один из факторов это правильно отдать материал. Собственно чему и посвящены все наши попытки. Насчет хостов форумов и сайтов( сервисов), их индексация в большинстве своем ужасна. Выдача ноль. Развить проект не реально. Хозяевам этих сервисов глубоко плевать на всё что происходит с отдельными форумами. Целиком их не забанит ПС по ряду причин. Им самое главное это открутка рекламы, что и происходит.

цитата:

1)К сожалению, даже если ссылка не активна(для пользователей), она работает для ботов. 2) Ведёт на ресурс под санкциями, нарушающий правила ПС и тд. 3) Теряем вес своей страницы, по ссылкам он передается. Любой сайт может быть трижды в шоколаде сегодня и ссылка на него не повредит. А завтра этот сайт будет под санкциями и тогда это уже вред. Оно вам надо? Потратить 15 минут на установку редиректа и уже не думать о плохих/хороших ссылках. Так-же не плохо все счетчики в редирект загнать, получим минимум исходящих, что есть гут.

С http://www.simplemachines.ru/<\/u><\/a>

 Отправлено: 30.05.11 08:47. Заголовок: Знатоки роботов прод..

Знатоки роботов продолжают о плохом:

http://www.simplemachines.ru/index.php?topic=12742.msg94698;topicseen#new

цитата:

На самом деле все правильно вам описали и яндекс физически не может растрачивать свои ресурсы на все сайты и в "моментальный" индекс попадают в основном мего ресурсы и новости. Остальное то что через минуты и часы - это быстроробот и далеко не индекс основной. Кстати могу вам открыть секрет, тоже самое у гугла. Единственно, сразу все может попасть в индекс, конечно в самую его задницу. Выдача конечно не формируется из страниц залетевших в индекс минуту назад. Так что все сливки у больших проектов в этом плане.

 Отправлено: 30.05.11 08:58. Заголовок: На самом деле все пр..

цитата:

На самом деле все правильно вам описали и яндекс физически не может растрачивать свои ресурсы на все сайты и в "моментальный" индекс попадают в основном мего ресурсы и новости.

На самом деле боты круглосуточно обновляют свой кеш, в котором находятся все веб-ресурсы, им найденные. Бот может часами шариться по сайту, копируя себе в кеш данные. Но есть такое понятие, как "песочница" - в выдачу попадают те странички, которые существуют дольше n-ного времени, ресурсы, которые живут больше n-количества времени. Тоесть, поисковик смотрит, а не сгинет ли в пучинах безвременья эта страничка? "А я буду посылать пользователя на страницу, которая не существует? Зачем? Я подожду".
также есть регулярные АПы тиц\pr, которые также влияют на выдачу, как известно.
Есть также слухи, что поисковик (гугл) смотрит на дату создания домена и смену записей Dns в нём, чем старше - тем лучше. Моментального индекса в природе нет.. Гугловское "минуту назад" зачастую оборачивается "часа три назад"

Например, у гугла есть нечто вроде "доверия к ресурсу". С "доверительных" сайтов и в выдачу всё попадает быстрей. Но чтоб поисковик зауважал нужно иметь вес, множество входящих ссылок, правильную оптимизацию, сайт должен существовать не три дня (к примеру, если создать сайт и за пару дней натыкать на него сто тыщ входящих ссылок - гугл отреагирует однозначно. Пессимизация, ато и бан в выдаче. Яндекс же может вообще игнорировать те ссылки, которые ему не нравятся).

 Отправлено: 24.01.15 20:52. Заголовок: Становится всё сложн..

Становится всё сложнее договориться с ботами. Гугль и яндекс требуют себе чуть не отдельные «роботсы», ругаются на неадаптированные картинки, и требуют открыть цсс Я гуглю вообще не нравляюсь.

Ради интереса скормила им адрес ролевой В шаге о трона, обложка там красивая, бывают у нас часто, думала, что у них с гуглем всё пучком, ан нет

На форе орг ошибок меньше, но это потому, что я там тестировала новую тему, специально под мобильные устройства. Короче, нужен новый диз, и опять та же история: чтобы и ботам угодить, и чтобы про космос… А ботам угождать всё труднее

 Отправлено: 14.11.17 14:48. Заголовок: Гугл "требует..

Гугл "требует" наличие у сайта мобильной версии отдельной ли или эта будет дефолтная для обычных экранов, но адаптированная - ему плевать. Вап-версия борды сразу в топку - не катит.

Гугл и яндекс - да бывают не совместиемые требования у них в роботсе - делаются отдельные блоки в роботсе для яшки и для гошки (хотя они тогда будут ругать на повторы директив) или вы сливаете блоки - т. е. совмешаете директивы и ищете компромисс. Или делаете универсальный роботс вообще.


Яндекс-боты замечены еще и в таком: они находят или сами чтоли придумывают несуществующие страницы и запихтивают их в общую группу просканированных страниц, иногда даже и в выдачу. Потом начинают выплевывать и пихают аж давятся новые стр.

Пример о чем я http://forroll.forum24.ru/N127890 - такой страницы не существует, но робот может ее "найти" и сожрать, потом выкинуть. При переходе по такой ссылке на норм. доменах - 2 уровня (там где у админа оступ есть к хтаксесс и т . д.) вы попадете на главную страницу. Или на 404.

 Отправлено: 14.11.17 14:53. Заголовок: На динамических сайт..

На динамических сайтах - там где все време меняется-добавляется контент и пр. - битва с ботами - это вечное явление, некоторые от этого даже кайф ловят. ))

Караул какой с бликующим фоном формы ответа курсор убрал она потемнела.... :)