Web Scraping in einer Google Chrome-Erweiterung (JavaScript + Chrome-APIs)

Was sind die besten Optionen für die Durchführung Web Scraping eines derzeit nicht geöffneten Tabs in einer Google Chrome-Erweiterung mit JavaScript und anderen verfügbaren Technologien. Andere JavaScript-Bibliotheken werden ebenfalls akzeptiert.

Wichtig ist, das Scraping so zu maskieren, dass es sich wie eine normale Webanfrage verhält. Keine Hinweise auf AJAX oder XMLHttpRequest, wie X-Requested-With: XMLHttpRequest oder Origin.

Der abgekratzte Inhalt muss für die weitere Bearbeitung und Darstellung innerhalb der Erweiterung über JavaScript zugänglich sein, höchstwahrscheinlich als Zeichenfolge.

Gibt es irgendwelche Hooks in WebKit/Chrome-spezifischen APIs, die verwendet werden können, um eine normale Webanfrage zu stellen und die Ergebnisse für die Manipulation zu erhalten?

var pageContent = getPageContent(url); // TODO: Implement
var items = $(pageContent).find('.item');
// Display items with further selections

Bonuspunkte, damit dies von einer lokalen Datei auf der Festplatte aus funktioniert, zum ersten Debuggen. Aber wenn das der einzige Punkt ist, eine Lösung zu stoppen, dann lassen Sie die Bonuspunkte außer Acht.

Versuch zu verwenden XHR2 responseType = "document" und zurückfallen (new DOMParser).parseFromString(responseText, getResponseHeader("Content-Type")) mit mein text/html Patch. Sehen https://gist.github.com/1138724 für ein Beispiel, wie ich erkenne responseType = "document Unterstützung (synchron prüfen response === null auf einer Objekt-URL, die aus einem erstellt wurde text/html Klecks).

Verwenden Sie die Chrome WebRequest-API verstecken X-Requested-Withusw. Kopfzeilen.

Wenn Sie sich etwas über ein Google Chrome-Plug-in hinaus ansehen möchten, schauen Sie sich an phantomjs das Qt-Webkit im Hintergrund verwendet und wie ein Browser läuft, einschließlich Ajax-Anfragen. Sie können es einen Headless-Browser nennen, da es die Ausgabe nicht auf einem Bildschirm anzeigt und ganz im Hintergrund arbeiten kann, während Sie andere Dinge erledigen. Wenn Sie möchten, können Sie Bilder und PDF-Dateien aus den abgerufenen Seiten exportieren. Es bietet eine JS-Schnittstelle zum Laden von Seiten, Klicken auf Schaltflächen usw., ähnlich wie in einem Browser. Sie können auch benutzerdefiniertes JS, z. B. jQuery, in jede der Seiten einfügen, die Sie kratzen möchten, und es verwenden, um auf den Dom zuzugreifen und die gewünschten Daten zu exportieren. Als seine Verwendung Webkit sein Wiedergabeverhalten ist genau wie bei Google Chrome.

Eine andere Möglichkeit wäre die Verwendung von Aptana Jaxer das auf der Mozilla Engine basiert und an sich schon ein sehr gutes Konzept ist. Es kann auch als einfaches Schabewerkzeug verwendet werden.

Seit diese Frage gestellt wurde, wurden viele Tools veröffentlicht.

artoo.js Ist einer von ihnen. Es ist ein Stück JavaScript-Code, der in der Konsole Ihres Browsers ausgeführt werden soll, um Ihnen einige Scraping-Dienstprogramme bereitzustellen. Es kann auch als Chrome-Erweiterung verwendet werden.

Web Scraping ist in einer Chrome-Erweiterung irgendwie verworren. Ein paar Punkte:

• Sie führen Inhaltsskripts für den Zugriff auf das DOM aus.
• Hintergrundseiten (eine pro Browser) können senden und empfangen Mitteilungen zu Inhaltsskripten. Das heißt, Sie können ein Inhaltsskript ausführen, das einen RPC-Endpunkt einrichtet und als Antwort einen bestimmten Rückruf im Kontext der Hintergrundseite auslöst.
• Sie können Inhaltsskripte in allen Frames einer Webseite ausführen und dann den Dokumentbaum (bestehend aus den 1..N Frames, die die Seite enthält) zusammenfügen.
• Wie SK vorgeschlagen hat, kann Ihre Hintergrundseite die Daten als XMLHttpRequest an eine Art leichtgewichtigen HTTP-Server senden, der lokal lauscht.

Ich bin mir nicht sicher, ob es nur mit JavaScript möglich ist, aber wenn Sie ein dediziertes PHP-Skript für Ihre Erweiterung einrichten können, das cURL verwendet, um den HTML-Code für eine Seite abzurufen, könnte das PHP-Skript die Seite für Sie kratzen und Ihre Erweiterung lesen es durch eine AJAX-Anfrage.

Die tatsächliche Seite, die geschabt wird, würde jedoch nicht wissen, dass es sich um eine AJAX-Anfrage handelt, da auf sie über cURL zugegriffen wird.

Ich denke, davon kann man ausgehen Beispiel.

Grundsätzlich können Sie also versuchen, die Kombination aus Erweiterung und Plugin zu verwenden. Die Erweiterung hätte Zugriff auf DOM (einschließlich Plugin) und treibe den Prozess. Und das Plugin würde tatsächliche HTTP-Anforderungen senden.

Ich kann die Verwendung von Firebreath als plattformübergreifende Chrome/Firefox-Plugin-Plattform empfehlen, insbesondere werfen Sie einen Blick auf dieses Beispiel: Firebreath – Erstellen+HTTP+Anfragen+mit+SimpleStreamsHelper

könntest du nicht einfach ein paar iframe tricksen? Wenn Sie die URL in einen dedizierten Frame laden, haben Sie den Dom in einem Dokumentobjekt und können Ihre JQuery-Auswahl treffen, oder?