Any User pisze:

> O ile pamiętam, to już samo odpytywanie portali przez automaty, jest
> niezgodne z regulaminami tych portali. Tzn. że możesz do woli czytać i
> otwierać artykuły z przeglądarki, ale nie możesz zapuścić jakiegoś
> robota, który by taki portal skanował.

Źle pamiętasz. Ogólnie przyjętą metodą zakazu skanowania przez roboty
jest umieszczenie pliku robots.txt w katalogu głównym. I tak dla onetu
link http://www.onet.pl/robots.txt podaje treść

User-agent: *
Disallow:

czyli dostęp jest otwarty dla każdego.

M.