Весьма оригинально сделана защита от ботов Yahoo.
Кроме, как я думаю, обычных проверок на количество запросов,
есть и проверка по user_agent-у.

Если передать
User-agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
то получим такую страничку.

Однако, если передать
User-agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)
(отличается "; SV1") - то всё будет нормально.

Более того, можно использовать User-agent: Bot/1.0 или что-то вроде этого.

Эта запись опубликована в Воскресенье, 24 июня 2007 в 20:21 Рубрики: SEO.
Подпишитесь на RSS 2.0 ленту комментариев.
Вы можете оставить комментарий. Пинг запрещен.