06. April 2010
Posted in Internet News

Einem schwierigen rechtlichen Problem ist der Entwickler Pete Warden begegnet - und ausgewichen: Darf eine Suchmaschine Informationen im WWW sammeln, wenn der robots.txt dies gestattet, die Nutzungsbedingungen der Site aber eine Genehmigung voraussetzen?

Auf das Problem war Warden gestoßen, als er einen Crawler unter anderem auf Facebook losließ, um von dort Informationen über die persönlichen Auftritte der User zu sammeln. Weil der Robots.txt von Facebook den Datensammlern explizit den Zugang zu bestimmten Bereiche verbietet und damit implizit den Zugang zu anderen gestattet, sah sich der Programmierer auf der sicheren Seite.

Doch in einem Telefongespräch wurde ihm dann klar gemacht, dass man ihn in Grund und Boden klagen würde, sollte er weiterhin Facebook-Daten sammeln. Das sei nicht möglich, weil die Nutzungsbedingungen des Dienstes es ausdrücklich verbieten. Man sehe nur deshalb von einer Klage ab, weil er bei Facebook bereits bekannt sei und in der Vergangenheit einige Sicherheitslücken aufgedeckt habe.

Der Entwickler stellte nach dieser deutlichen Drohung seine Datensammlung ein. Doch ob die Drohung des Dienstes nach US-Recht Hand und Fuss hat, wird damit nicht geklärt. Suchmaschinen wie Bing oder Google interessieren sich in der Praxis kaum für Verbote in Nutzungsbedingungen oder anderen Vorschriften der Site-Betreiber. Wenn die Seiten laut robots.txt gespidert werden können und das auch technisch möglich ist, wird gesammelt, was geht.

Rechtliche Probleme haben sich bisher allenfalls dann gezeigt, wenn es etwa um die Nutzung von Medienberichten bei Google News geht. Oder im europäischen Raum, wenn es um Urheberrechte an Datenbanken geht. Doch ein Robots-Verbot für Web Sites ohne entsprechende Anweisung im robots.txt wäre zumindest nach US-Recht ein Novum. Wobei es zusätzlich überrascht, dass Warden trotz des Verbots etwa ein halbes Jahr lang Daten bei Facebook sammeln konnte, ohne dabei bemerkt zu werden.

 

Links:

• Wardens Posting
  

< Neuere		Ältere >