Indeksowanie stron internetowych: czy można tego zakazać?

Przeczytaj także: Rosyjskie strony internetowe: gdzie są popularne?

Wspominane roboty mogą być również wykorzystywane do automatycznego pobierania danych ze stron internetowych (określanego jako data scraping, data mining, czy data harvesting), co najczęściej służy czysto komercyjnym celom. Taka praktyka może być sprzeczna z interesami podmiotu, którego dane są pobierane, zwłaszcza jeśli stroną pobierającą jest konkurent rynkowy (np. zasysanie danych z serwisu porównującego różnego rodzaju oferty przez podmiot prowadzący konkurencyjną „porównywarkę” internetową). Pobierane treści mogą oczywiście podlegać ochronie prawnej np. jako utwory lub bazy danych, co może rodzić szereg roszczeń po stronie uprawnionego. Pomijając jednak wątek ewentualnego naruszenia praw do indeksowanych treści, warto się zastanowić, czy poza roszczeniami z tytułu możliwych naruszeń praw wyłącznych podmiot prowadzący stronę internetową może skutecznie zakazać indeksowania danych zawartych na jego stronie internetowej?

Poszczególne części lub nawet wszystkie dostępne w serwisie internetowym treści mogą zostać wyłączone z indeksowania poprzez wpisanie odpowiednich instrukcji w pliku robots.txt zapisywanym na serwerze, na którym przechowywane są wszystkie pliki składające się na dany serwis internetowy. Instrukcje te stanowią komunikat dla analizujących zasoby sieci robotów informujący, że dysponent strony internetowej nie życzy sobie indeksowania swych zasobów. Nie jest to przy tym forma technicznego zabezpieczenia, lecz raczej wyraz powszechnie przyjętego standardu.

W tym miejscu należałoby zastanowić się nad konsekwencjami prawnymi ignorowania przez boty ustawień pliku robots.txt. Prowadzenie nawet najprostszej strony internetowej stanowi przykład świadczenia usług drogą elektroniczną, w związku z czym przeglądanie i zapoznawanie się z jej treścią dokonuje się w ramach umowy, w oparciu o którą dysponent strony internetowej (usługodawca) świadczy usługę polegającą na udostępnianiu użytkownikom internetu (usługobiorcy) zawartych na tej stronie informacji. Można zaryzykować tezę, że stroną takiej umowy stają się również tacy użytkownicy, którzy korzystają ze stron internetowych za pośrednictwem aplikacji służących do automatycznego pobierania danych.

Treść wiążącej strony umowy określa w pierwszym rzędzie obowiązkowy w takim przypadku regulamin. Instrukcje zawarte w pliku robots.txt nie stanowią, co prawda, części regulaminu, tym niemiej, jak już wspomniano powyżej, przestrzeganie ich jest ogólnie przyjętym standardem. Wydaje się, że z prawnego punku widzenia standard ten można postrzegać w kategorii ustalonego zwyczaju lub zasad współżycia społecznego, które mogą przekładać się na treść zawieranej umowy. W rezultacie, podmiot wykorzystujący aplikację do automatycznego pobierania danych z internetu, która nie respektuje ustawień pliku robots.txt, naruszałby warunki umowy wiążącej go z dysponentem strony internetowej i tym samym narażałby się na umowną odpowiedzialność odszkodowawczą.

W praktyce najrozsądniej byłoby, oprócz odpowiednich ustawień pliku robots.txt, umieszczać w regulaminie serwisu internetowego jednoznacznie postanowienie, które wyraźnie zakazywałoby jakiegokolwiek automatycznego pobierania danych. Z drugiej strony poprzestawanie wyłącznie na regulaminowym zakazie tej praktyki bez konsekwentnego powtórzenia tego zakazu w pliku robots.txt mogłoby rodzić uzasadnione wątpliwości co do skuteczności takiego zakazu, tym niemniej zagadnienie to wymagałoby odrębnej, pogłębionej analizy.