Ist Web Scraping legal? Rechtslage in Deutschland, EU und USA (2026)

Web Scraping ist nicht per se illegal: In Deutschland, der EU und den USA dürfen Sie öffentlich zugängliche, nicht personenbezogene Daten grundsätzlich erfassen. Riskant wird es bei personenbezogenen Daten, urheber- oder datenbankrechtlich geschützten Inhalten, Logins und Verstößen gegen wirksame Nutzungsbedingungen. Nach meiner Einschätzung entscheiden drei Fragen über die Rechtmäßigkeit: was Sie erheben, wie Sie zugreifen und wo die Betroffenen sitzen.

Vorab das Wichtigste: Dies ist keine Rechtsberatung

Dieser Artikel ist ein redaktioneller Überblick — ich schreibe hier als Web-Entwickler, nicht als Anwalt — und begründet kein Mandatsverhältnis. Das Recht des Web Scrapings ist ungefestigt, stark einzelfall- und rechtsordnungsabhängig. Wenn Ihr Geschäftsmodell von gescrapten Daten abhängt, beauftragen Sie qualifizierte Rechtsberatung in jeder Rechtsordnung, in der Sie tätig sind und in der Ihre Zielseiten und die betroffenen Personen sitzen. Der folgende Text fasst Primärquellen und wichtige Gerichtsentscheidungen mit Stand Juli 2026 zusammen.

Auch unsere Compliance-Position sei vorab klargestellt: ProxyFacts behandelt Scraping ausschließlich für legitime Zwecke wie Preisüberwachung, SEO-Tracking, Ad-Verification, Marktforschung und die Erhebung von KI-Trainingsdaten. Wir veröffentlichen keine Anleitungen zum Umgehen von Logins oder Paywalls, zu Scalping, Kontoerstellung oder zum massenhaften Abgreifen personenbezogener Daten. DSGVO-konformes Scraping ist für uns kein Zusatz, sondern Ausgangspunkt jeder Empfehlung.

Die kurze Antwort: Scraping ist eine Methode, kein Straftatbestand

Es gibt weder in Deutschland noch in der Europäischen Union, den USA oder dem Vereinigten Königreich ein Gesetz mit dem Inhalt „Web Scraping ist verboten“. Scraping ist schlicht der automatisierte Abruf von Webseiten, dieselben HTTP-Requests, die auch ein Browser sendet, nur von einem Programm statt von einem Menschen ausgelöst. Suchmaschinen, Preisvergleichsdienste wie Idealo, wissenschaftliche Forschung und Archivprojekte beruhen darauf.

Das Recht reguliert nicht die Methode, sondern die Begleitumstände:

1. Zugang — haben Sie Daten abgerufen, die die Website öffentlich gemacht hat, oder haben Sie eine technische oder Authentifizierungs-Barriere überwunden?
2. Inhalt — handelt es sich um faktische, nicht personenbezogene Daten oder um urheberrechtlich geschützte Werke, eine geschützte Datenbank oder personenbezogene Daten?
3. Vertrag — haben Sie Nutzungsbedingungen, die Scraping verbieten, aktiv akzeptiert, etwa bei der Kontoerstellung?
4. Verhalten — hat sich Ihr Crawler maßvoll verhalten, oder hat er den Zieldienst beeinträchtigt?

Jeder große Scraping-Rechtsstreit des letzten Jahrzehnts dreht sich um eine oder mehrere dieser vier Fragen.

Web Scraping im US-Recht

Der CFAA: die Frage nach „without authorization“

Das wichtigste US-Bundesgesetz gegen Scraper ist der Computer Fraud and Abuse Act von 1986, kodifiziert in 18 U.S.C. Section 1030. Er stellt den Zugriff auf einen Computer „without authorization“ oder „exceeding authorized access“ unter Strafe. Jahrelang argumentierten Kläger, das Scrapen einer Website gegen deren Willen, etwa nach einer Unterlassungsaufforderung, sei ein solcher unbefugter Zugriff.

Zwei Entscheidungen haben diese Theorie eingegrenzt. In Van Buren v. United States (2021) übernahm der Supreme Court eine „gates-up-or-down“-Lesart: Der CFAA zielt auf diejenigen, die Schranken überwinden, die sie nicht passieren dürfen, nicht auf diejenigen, die zulässig erreichbare Informationen zweckwidrig nutzen. Der Fall betraf einen Polizisten, der seinen Datenbankzugang missbrauchte, kein Scraping — aber seine Logik hat die Scraping-Analyse neu geordnet.

Der Fall hiQ v. LinkedIn

Der prägende Scraping-Fall ist hiQ Labs v. LinkedIn. Die Chronologie ist wichtig, weil oft nur eine einzelne Etappe zitiert wird:

Die Lehre ist zweischneidig. Das Scrapen von Daten, die jeder Browser ohne Login sieht, liegt im Ninth Circuit sehr wahrscheinlich außerhalb des CFAA. Aber hiQ verlor am Ende trotzdem: Die Vertragsansprüche blieben bestehen, und hiQ verpflichtete sich, LinkedIn nicht mehr zu scrapen. „Kein Hacking-Delikt nach Bundesrecht“ und „rechtlich sicher“ sind zwei verschiedene Dinge.

Dasselbe Muster setzte sich in Meta Platforms v. Bright Data fort (No. 3:23-cv-00077, N.D. Cal.). Im Januar 2024 gab der District Court dem Proxy-Anbieter Bright Data im Wege des Summary Judgment gegen Metas Vertragsansprüche recht, mit der Begründung, dass das Scrapen öffentlicher Facebook- und Instagram-Seiten im ausgeloggten Zustand nicht an Bedingungen gebunden ist, die nur für eingeloggte Kontoinhaber gelten. Meta ließ die Klage später fallen. Wieder war die Trennlinie die Authentifizierung: Der ausgeloggte Zugriff auf öffentliche Seiten liegt auf der sichereren Seite.

Vertrag, Copyright und weitere US-Anspruchsgrundlagen

Auch dort, wo der CFAA nicht greift, drohen US-Scrapern:

• Vertragsverletzung. Browsewrap-Bedingungen (ein Link im Footer) sind nur schwach durchsetzbar; Clickwrap-Bedingungen (Sie haben „I agree“ geklickt, typischerweise bei der Kontoerstellung) sind stark durchsetzbar. Scraping im eingeloggten Zustand über ein selbst erstelltes Konto ist die vertragsrechtlich riskanteste Konfiguration.
• Copyright. Fakten und Rohdaten sind in den USA nach Feist Publications v. Rural Telephone (1991) nicht schutzfähig, kreative Ausdrucksformen dagegen schon: Rezensionen, Artikel, Fotos und kuratierte Zusammenstellungen. Preise zu kopieren ist etwas anderes, als Produktbeschreibungen weiterzuveröffentlichen.
• Trespass to Chattels und Unjust Enrichment. Ansprüche nach dem Recht der Bundesstaaten haben gelegentlich Erfolg, wenn Scraping die Server des Ziels messbar belastet — ein Grund mehr, konsequent zu drosseln.

Web Scraping im EU-Recht

DSGVO: personenbezogene Daten sind der größte Stolperdraht

Die Datenschutz-Grundverordnung (EU) 2016/679 greift immer dann, wenn gescrapte Daten sich auf eine identifizierbare Person beziehen: Namen, Nutzernamen, Fotos, Arbeitgeber, Standort und häufig auch Kombinationen an sich harmloser Felder. Drei Punkte überraschen Einsteiger regelmäßig:

1. Öffentlich heißt nicht frei verarbeitbar. Die DSGVO kennt keine Ausnahme für öffentlich verfügbare Daten. Das Scrapen eines öffentlichen Profils ist eine „Verarbeitung“, die eine Rechtsgrundlage nach Art. 6 braucht — in der Praxis meist eine dokumentierte Interessenabwägung auf Basis des berechtigten Interesses.
2. Transparenzpflichten treffen auch Scraper. Art. 14 verpflichtet dazu, Betroffene binnen eines Monats zu informieren, wenn deren Daten indirekt erhoben wurden, sofern keine Ausnahme greift. Die polnische Datenschutzaufsicht verhängte eine der frühesten DSGVO-Geldbußen gegen ein Unternehmen, das öffentliche Handelsregisterdaten gescrapt und die betroffenen Personen nicht informiert hatte.
3. Der räumliche Anwendungsbereich ist weit. Nach Art. 3 kann die DSGVO auch für einen US- oder asiatischen Scraper ohne EU-Niederlassung gelten, wenn er Personen in der EU beobachtet oder anspricht. Geldbußen können nach Art. 83 bis zu 20 Millionen Euro oder 4 Prozent des weltweiten Jahresumsatzes erreichen.

Die Aufsichtsbehörden handeln inzwischen auch gemeinsam: Seit 2023 warnen gemeinsame Erklärungen von Regulierern, darunter die britische ICO und die kanadische OPC, dass das massenhafte Scrapen personenbezogener Daten von Social-Media-Plattformen für die Plattform eine meldepflichtige Datenpanne und für den Scraper eine rechtswidrige Verarbeitung darstellen kann. Sobald Ihr Projekt personenbezogene Daten auch nur berührt, behandeln Sie DSGVO-Compliance als Designanforderung, nicht als nachgelagerten Gedanken. Die Art.-14-Informationspflicht ist dabei aus meiner Sicht der am leichtesten übersehene Posten: Sie verlangt Konzeptarbeit, lange bevor der erste Request läuft.

Die DSM-Richtlinie: Europas Text-und-Data-Mining-Schranken

Die Richtlinie über das Urheberrecht im digitalen Binnenmarkt (EU) 2019/790 schuf zwei urheberrechtliche Ausnahmen mit direktem Scraping-Bezug:

• Artikel 3 erlaubt Text und Data Mining (TDM) zu wissenschaftlichen Zwecken durch Forschungsorganisationen und Kulturerbe-Einrichtungen; Rechteinhaber können sich davon nicht vertraglich freizeichnen.
• Artikel 4 erlaubt TDM für jedermann, auch für kommerzielle Akteure — es sei denn, der Rechteinhaber hat sich diese Rechte „in angemessener Weise“ ausdrücklich vorbehalten, was bei Online-Inhalten maschinenlesbare Form bedeutet. Robots.txt-Direktiven und neu entstehende Opt-out-Standards sind die gängigen Umsetzungen.

Artikel 4 ist zum rechtlichen Rückgrat der kommerziellen Erhebung von KI-Trainingsdaten in Europa geworden, und der Opt-out-Mechanismus ist der Grund, warum das Respektieren maschinenlesbarer Signale dort mehr als Höflichkeit ist: Wer per Opt-out gesperrte urheberrechtlich geschützte Inhalte für TDM scrapt, verliert die Schranke.

Datenbankrechte und Nutzungsbedingungen in der EU

Die EU schützt Datenbanken zusätzlich auf zwei Wegen. Die Datenbank-Richtlinie 96/9/EG gewährt ein Sui-generis-Recht gegen das Entnehmen oder Weiterverwenden eines wesentlichen Teils einer Datenbank, deren Aufbau eine wesentliche Investition erforderte — ohne US-Pendant. Und in Ryanair v. PR Aviation (C-30/14) entschied der Gerichtshof der EU, dass der Seitenbetreiber Scraping vertraglich über seine Nutzungsbedingungen beschränken darf, wenn eine Datenbank nicht unter die Richtlinie fällt. Mit anderen Worten: In der EU kann entweder das Datenbankrecht oder der Vertrag zuschnappen — weder „es sind doch nur Fakten“ noch „die Datenbank ist ungeschützt“ ist eine vollständige Verteidigung.

Web Scraping nach deutschem Recht

Für Leser in Deutschland kommt zum EU-Rahmen eine eigene Schicht aus deutschem Gesetzesrecht und Rechtsprechung hinzu. Sie ist insgesamt scraping-freundlicher, als viele erwarten — verlangt aber saubere Compliance-Arbeit.

BGH-Rechtsprechung: Screen Scraping ist nicht per se unlauter

Die Leitentscheidung ist das BGH-Urteil „Flugvermittlung im Internet“ vom 30.04.2014 (I ZR 224/12). Eine Billigfluglinie, die Flüge ausschließlich über die eigene Website verkaufte, klagte gegen ein Vermittlungsportal, das ihre Flugdaten automatisiert auslas. Der BGH entschied, dass dieses Screen Scraping keine gezielte wettbewerbswidrige Behinderung nach § 4 Nr. 10 UWG a.F. (heute § 4 Nr. 4 UWG) darstellt, und betonte ausdrücklich, dass das Geschäftsmodell des Portals die Preistransparenz im Markt fördert — eine bemerkenswert scraping-freundliche Wertung, wie auch die Analyse von LTO hervorhebt. Zwei Klarstellungen des Urteils sind für die Praxis zentral:

• Ein bloßes Scraping-Verbot in den AGB ist keine technische Schutzmaßnahme; wer es ignoriert, handelt dadurch allein noch nicht unlauter.
• Die Bewertung kippt, sobald technische Schutzvorkehrungen überwunden werden. Wer Blockaden, CAPTCHAs oder Zugangssicherungen gezielt aushebelt, verlässt die vom BGH abgesteckte sichere Zone — dieselbe Trennlinie wie im US-Recht.

Ergänzend gilt strafrechtlich: Nach § 202a StGB (Ausspähen von Daten) wird der Datenzugriff erst strafbar, wenn eine besondere Zugangssicherung überwunden wird. Öffentliche, ungeschützte Seiten abzurufen erfüllt den Tatbestand nicht — das Umgehen von Logins oder Zugangssperren kann ihn dagegen erfüllen.

§ 44b UrhG: die deutsche Text-und-Data-Mining-Schranke

Deutschland hat Artikel 4 der DSM-Richtlinie in § 44b UrhG umgesetzt: Vervielfältigungen rechtmäßig zugänglicher Werke sind für Text und Data Mining zulässig, müssen aber gelöscht werden, wenn sie für das TDM nicht mehr erforderlich sind. Entscheidend ist § 44b Abs. 3: Ein Nutzungsvorbehalt bei online zugänglichen Werken ist nur wirksam, wenn er in maschinenlesbarer Form erfolgt. Wie diese Maschinenlesbarkeit technisch umzusetzen ist — robots.txt, standardisierte Opt-out-Protokolle oder auch Klartext-Klauseln — ist Gegenstand einer lebhaften Fachdiskussion, die etwa LAUSEN Rechtsanwälte aufbereitet haben.

Das erste deutsche Urteil dazu kam vom LG Hamburg am 27.09.2024 (310 O 227/23, Kneschke ./. LAION): Ein Fotograf klagte gegen den Verein LAION, der einen Datensatz mit 5,85 Milliarden Bild-Text-Paaren für KI-Training bereitstellt. Das Gericht wies die Klage ab — die Vervielfältigung zur Erstellung eines Trainingsdatensatzes ist TDM und war hier über die Wissenschaftsschranke des § 60d UrhG gedeckt. Bemerkenswert für alle Scraper: Das Gericht deutete an, dass angesichts des Stands der Technik einschließlich KI auch ein in natürlicher Sprache formulierter Vorbehalt in den Nutzungsbedingungen „maschinenlesbar“ sein kann, wie die Urteilsbesprechung bei LTO analysiert. Wer sich auf § 44b UrhG stützt, sollte Opt-out-Signale also weit auslegen und im Zweifel respektieren — nicht nur robots.txt. Technisch heißt das für mich: Der Crawler sollte neben robots.txt auch AGB-Seiten und neue Opt-out-Header auswerten — der Parser dafür ist trivial im Vergleich zum Prozessrisiko.

Der Sui-generis-Datenbankschutz der EU ist in Deutschland in den §§ 87a ff. UrhG verankert: Das Entnehmen wesentlicher Teile einer Datenbank, deren Aufbau eine wesentliche Investition erforderte, bleibt dem Datenbankhersteller vorbehalten — unabhängig davon, ob die Einzeldaten selbst schutzfähig sind.

DSGVO-Aufsichtspraxis: die Linie der deutschen Behörden

Die deutschen Datenschutzaufsichtsbehörden haben ihre Erwartungen an das Scrapen personenbezogener Daten konkretisiert. Die Orientierungshilfe „KI und Datenschutz“ der Datenschutzkonferenz (DSK) vom 06.05.2024 stellt klar: Auch das Erheben öffentlich zugänglicher personenbezogener Daten per Scraping ist eine Verarbeitung im Sinne der DSGVO, für die praktisch nur das berechtigte Interesse nach Art. 6 Abs. 1 lit. f in Betracht kommt — und die Abwägung hängt maßgeblich davon ab, ob die Betroffenen mit dieser Verarbeitung vernünftigerweise rechnen mussten. Wer Datensätze weiterverwendet, muss zudem prüfen, dass ihre Erstellung nicht offensichtlich rechtswidrig war. Für DSGVO-konformes Scraping in Deutschland heißt das konkret:

1. Vor dem ersten Request eine dokumentierte Interessenabwägung (Legitimate Interest Assessment) erstellen und bei hohem Risiko eine Datenschutz-Folgenabschätzung nach Art. 35 prüfen.
2. Personenbezug minimieren: Felder mit Personenbezug ausfiltern, wo der Zweck es erlaubt; Pseudonymisierung und kurze Speicherfristen einplanen.
3. Transparenz herstellen: ein Informationskonzept nach Art. 14 vorhalten oder die Ausnahmen sauber dokumentieren.
4. Betroffenenrechte operationalisieren: Löschung und Widerspruch müssen technisch durchsetzbar sein, auch in nachgelagerten Datensätzen.

Diese Compliance-Architektur ist der eigentliche Unterschied zwischen professionellem Scraping und einem Bußgeldrisiko — und sie ist der Maßstab, den wir bei ProxyFacts an alle Empfehlungen anlegen.

Universelle Prinzipien, die fast überall gelten

Die Rechtsordnungen unterscheiden sich, aber vier Fragen sagen das Scraping-Risiko fast überall voraus.

Aus Entwicklersicht (Hinata): Ich lese diese vier Faktoren nicht als juristische Checkliste, sondern als Architekturentscheidungen. Zugang und Datenart lassen sich im Code erzwingen: Ein Filter am Ingest-Punkt, der personenbezogene Felder verwirft, bevor irgendetwas persistiert wird, kostet einen Nachmittag — die nachträgliche Bereinigung eines gewachsenen Datenbestands kostet Wochen. Die unterschätzte Falle ist das Verhalten: Request-Raten wachsen mit jedem Feature, und ein Crawler, der beim Start höflich war, ist zwei Skalierungsrunden später eine Last, die niemand mehr misst. Deshalb würde ich hartes Rate-Limiting und einen Kill-Switch pro Zieldomain von Tag eins an einbauen, nicht erst nach der ersten Beschwerde.

Drei praktische Folgerungen:

• Öffentlich vs. zugangsgeschützt ist die hellste Trennlinie. Sowohl die hiQ- und Bright-Data-Ausgänge in den USA als auch die BGH-Linie in Deutschland hängen daran. Alles hinter einem Login ist ein anderes rechtliches Universum; diese Website veröffentlicht keine Techniken dafür.
• Personenbezogene Daten ändern alles. Sobald gescrapte Datensätze Personen identifizieren, greifen die DSGVO (und CCPA-artige Gesetze in den USA) mit Pflichten — egal, wie öffentlich die Quelle war.
• Das Urheberrecht folgt der Schöpfung, nicht dem Aufwand. Faktische Datenpunkte zu extrahieren ist in der Regel sicherer, als die Texte, Bilder oder kuratierte Struktur drumherum zu reproduzieren; in der EU und in Deutschland kommt das Datenbankherstellerrecht als eigene Schutzschicht hinzu.

Wie DSGVO-konformes Scraping in der Praxis aussieht

Teams, die in großem Umfang für legitime Zwecke scrapen — etwa zur Preisüberwachung auf Marktplätzen wie Amazon.de oder Otto oder zum SEO-Rank-Tracking — konvergieren zu denselben Betriebsregeln:

1. Nur öffentlich zugängliche Seiten scrapen; niemals authentifizieren und niemals Paywalls oder technische Zugangskontrollen umgehen.
2. Offizielle APIs oder lizenzierte Datenfeeds bevorzugen, wo sie existieren und den Bedarf decken.
3. Robots.txt und maschinenlesbare TDM-Nutzungsvorbehalte respektieren, insbesondere bei Inhalten mit EU- oder Deutschland-Bezug (§ 44b Abs. 3 UrhG).
4. Minimieren: nur die benötigten Felder erheben, nicht ganze Seiten, und personenbezogene Daten ausschließen, sofern keine dokumentierte DSGVO-Prüfung samt Interessenabwägung vorliegt.
5. Drosseln und Crawls so planen, dass Ihr Traffic gegenüber der normalen Last des Ziels vernachlässigbar bleibt.
6. Dokumentieren: was erhoben wird, woher, unter welcher rechtlichen Bewertung und wer sie freigegeben hat.
7. Abmahnungen und Unterlassungsaufforderungen ernst nehmen; wer nach ausdrücklichem Widerruf weitermacht, verwandelt eine Grauzone in einen dokumentierten Rechtsstreit.

Müsste ich diese Liste priorisieren, würde ich mit Punkt 6 anfangen: Ohne dokumentierte rechtliche Bewertung ist jede spätere Abmahnung ein Blindflug — mit ihr ein Verwaltungsvorgang.

Zur technischen Seite höflicher, zuverlässiger Crawler siehe unseren Leitfaden Scrapen ohne blockiert zu werden; das Gesamtbild einer Datenerhebungs-Pipeline liefert der komplette Web-Scraping-Guide.

Warum Proxy-Anbieter ihre Kunden inzwischen prüfen

Die Infrastrukturebene hat diese Rechtslage verinnerlicht. Die großen Residential-Proxy-Anbieter verkaufen längst nicht mehr anonym an jeden mit Kreditkarte, und ihre veröffentlichten Compliance-Programme sind ein nützliches Signal bei der Anbieterwahl:

• Bright Data beschränkt den Zugang zum Residential-Netzwerk auf verifizierte Unternehmen, die einen von Menschen geprüften KYC-Prozess durchlaufen, einschließlich Verifizierung der Unternehmens-E-Mail, einer Use-Case-Beschreibung und gegebenenfalls eines Einführungsgesprächs samt amtlichem Ausweis, laut seiner veröffentlichten KYC-Policy.
• Oxylabs verlangt von jedem Kunden ein KYC-Formular bei der Registrierung, eskaliert risikobasiert etwa mit Ausweisprüfung und Compliance-Gesprächen und ist Mitglied der Ethical Web Data Collection Initiative, laut seiner KYC- und Safety-Policy.
• Decodo (früher Smartproxy) führt automatisierte Betrugsprüfungen und KYC bei jeder Registrierung durch und blockiert aktiv Hochrisiko-Ziele wie Banken, Behördenportale und Ticketing-Seiten, laut seiner Security- und Compliance-Dokumentation.
• IPRoyal wickelt KYC über den Drittanbieter iDenfy ab; für statische Residential Proxies ist es verpflichtend, und nicht verifizierte Konten bleiben teilweise eingeschränkt, laut seiner KYC-Policy.

Die praktische Konsequenz: Wenn Ihr Use Case den KYC-Fragebogen eines Anbieters nicht übersteht, ist das ein starkes Indiz, dass er auch die Prüfung durch ein Gericht nicht überstehen würde. Zu dieser Sorgfalt gehört auch zu verstehen, was ein Residential Proxy ist und wie diese Netzwerke ihre IPs beschaffen.

Fazit

Web Scraping ist im Grundsatz legal und wird durch die Umstände rechtswidrig. In den USA haben hiQ v. LinkedIn und Van Buren den CFAA vom Scraping öffentlicher Daten weggerückt, während Vertrags- und Copyright-Ansprüche voll lebendig bleiben. In der EU regiert die DSGVO jede Berührung mit personenbezogenen Daten, und die TDM-Schranke des Artikels 4 der DSM-Richtlinie mit ihrem maschinenlesbaren Opt-out rahmt das kommerzielle Mining urheberrechtlich geschützter Inhalte. In Deutschland hat der BGH Screen Scraping ohne Überwindung technischer Schutzmaßnahmen ausdrücklich für zulässig erklärt, § 44b UrhG liefert die TDM-Grundlage, und die DSK-Aufsichtspraxis definiert die DSGVO-Messlatte. Wo immer Sie tätig sind, bleibt die risikoarme Formel stabil: öffentliche Seiten, keine Logins, keine personenbezogenen Daten, Respekt vor Opt-outs, moderate Request-Raten und eine Dokumentation, warum Ihr Zweck legitim ist. Im Zweifel fragen Sie erst einen Anwalt und dann Ihren Crawler.