Бывает, ищешь в поисковых системах что-нибудь. Вот перед тобой нужная ссылка, под ней выдержка из текста странички - ты нашёл, что искал. Каково же твоё удивление, когда при переходе на сайт обнаруживается, что требуется регистрация для просмотра содержимого.

Но бывает хуже - надпись на сайте гласит, что доступ к данной страничке доступен только для друзей блогера, или для сообщества. А на форумах - что “регистация завершена”, т.к. “набрано достаточно пользователей”, или веб2.0-евское “регистрация доступна только по приглашениям”.

Меня бесит не столько то, что я так долго искал это, что оно есть только на этом сайте, но я не могу его увидеть. Меня бесит, что этот контент спокойно индексировался поисковыми роботами.

Здесь может быть несколько вариантов:

• Робот читает не html, а rss-представление, это может быть блог или комментарии к нему (в таком случае мы ошибаемся, кликая по рез.поиска, т.к. думаем, что это сообщение из блога, который решили прочесть)
• Поисковики уже давно научились читать cookie (я, в своих скриптах, научился тоже). Что стоит один раз зарегистрироваться на популярном форуме, чтобы потом бот мог авторизироваться и просматривать сообщения. Позже, регистация может быть закрыта. А также, для поисковых систем админы форумов могут создавать аккуанты по просьбе или прося.
  
• Бот смотрит версию для печати, а ссылку даёт на полную версию. Направление осуществляется, например с помощью robots.txt. Также администатор форума/сообщества может использовать клоакинг для показа вместо сообщения авторизации страничку для индексирования.

Какой бы способ не использовался, случайно ли, или намеренно страничка оказалась в результатах поиска, в то время, как не может быть доступна для всех. У меня всё это вызывает просто ярость. Если уж контент доступен только избранным, то добавьте в robots.txt User-agent: * Disallow: / и избавьте людей от потери времени, бесполезно посещающих ваш сайт.
Для поисковых систем же, я бы предложил добавить возможность регистрации, после чего, можно было бы выбрать, на каких закрытых сайтах этот пользователь зарегистрирован.

Эта запись опубликована в Пятница, 25 мая 2007 в 01:46 Рубрики: Без рубрики.
Подпишитесь на RSS 2.0 ленту комментариев.
Вы можете оставить комментарий. Пинг запрещен.