Es gibt zwar nichts, was eine entschlossene Person davon abhält, öffentlich zugängliche Inhalte zu scrapen, aber Sie können einige grundlegende Dinge tun, um die Bedenken des Kunden zu zerstreuen:
-
Ratenbegrenzung durch Benutzerkonto, IP-Adresse, Benutzeragent usw. - das bedeutet, Sie beschränken die Datenmenge, die eine bestimmte Benutzergruppe in einem bestimmten Zeitraum herunterladen kann. Wenn Sie feststellen, dass eine große Datenmenge übertragen wird, schließen Sie das Konto oder die IP-Adresse.
-
Erfordert JavaScript - um sicherzustellen, dass der Client eher einem interaktiven Browser als einer Barebone-Spinne ähnelt ...
-
RIA - Stellen Sie Ihre Daten über eine Rich-Internet-Application-Schnittstelle zur Verfügung. Zu den JavaScript-basierten Grids gehören ExtJs, YUI, Dojo usw. Umfangreichere Umgebungen umfassen Flash und Silverlight als 1kevgriff-erwähnungen .
-
Daten als Bilder codieren. Dies ist für normale Benutzer ziemlich aufdringlich, aber Sie könnten einige Ihrer Datentabellen oder Werte als Bilder anstelle von Text codieren, was die meisten Textparser zunichte machen würde, aber natürlich nicht narrensicher ist.
-
robots.txt - um offensichtliche Webspider, bekannte Roboter-Benutzeragenten, abzulehnen.
Benutzeragent:*
Nicht zulassen:/
-
Verwenden Sie Robot-Metatags. Dies würde konforme Spinnen stoppen. Dadurch wird beispielsweise verhindert, dass Google Sie indexiert:
Es gibt verschiedene Abschreckungsstufen und die erste Option ist wahrscheinlich die am wenigsten aufdringliche.
