Wie kann ich eine Seite mit dynamischem Inhalt (erstellt durch JavaScript) in Python kratzen?

Question 1

Ich versuche, einen einfachen Web-Scraper zu entwickeln. Ich möchte einfachen Text ohne HTML-Markup extrahieren. Mein Code funktioniert mit einfachem (statischem) HTML, aber nicht, wenn Inhalte durch in die Seite eingebettetes JavaScript generiert werden.

Insbesondere wenn ich benutze urllib2.urlopen(request) um den Seiteninhalt zu lesen, wird nichts angezeigt, was durch den JavaScript-Code hinzugefügt würde, da dieser Code wird nicht ausgeführt überall. Normalerweise würde es vom Webbrowser ausgeführt, aber das ist nicht Teil meines Programms.

Wie kann ich in meinem Python-Code auf diesen dynamischen Inhalt zugreifen?

_{Siehe auch Kann scrapy verwendet werden, um dynamische Inhalte von Websites zu entfernen, die AJAX verwenden? für Antworten speziell zu Scrapy.}

Question 2

EDIT September 2021: phantomjs wird auch nicht mehr gepflegt

BEARBEITEN 30. Dezember 2017: Diese Antwort erscheint in den Top-Ergebnissen der Google-Suche, daher habe ich beschlossen, sie zu aktualisieren. Die alte Antwort ist immer noch am Ende.

dryscape wird nicht mehr gepflegt und die von dryscape-Entwicklern empfohlene Bibliothek ist nur Python 2. Ich habe festgestellt, dass die Verwendung der Python-Bibliothek von Selenium mit Phantom JS als Webtreiber schnell genug und einfach ist, um die Arbeit zu erledigen.

Sobald Sie installiert haben Phantom JSStellen Sie sicher, dass phantomjs binär ist im aktuellen Pfad verfügbar:

phantomjs --version
# result:
2.1.1

#Example Um ein Beispiel zu geben, habe ich eine Beispielseite mit folgendem HTML-Code erstellt. (Verknüpfung):

<!DOCTYPE html>
<html>
<head>
  <meta charset="utf-8">
  <title>Javascript scraping test</title>
</head>
<body>
  <p id='intro-text'>No javascript support</p>
  <script>
     document.getElementById('intro-text').innerHTML = 'Yay! Supports javascript';
  </script> 
</body>
</html>

Ohne Javascript heißt es: No javascript support und mit Javascript: Yay! Supports javascript

#Scraping ohne JS-Unterstützung:

import requests
from bs4 import BeautifulSoup
response = requests.get(my_url)
soup = BeautifulSoup(response.text)
soup.find(id="intro-text")
# Result:
<p id="intro-text">No javascript support</p>

#Scraping mit JS-Unterstützung:

from selenium import webdriver
driver = webdriver.PhantomJS()
driver.get(my_url)
p_element = driver.find_element_by_id(id_='intro-text')
print(p_element.text)
# result:
'Yay! Supports javascript'

Sie können auch die Python-Bibliothek verwenden trockenkratzen Javascript-gesteuerte Websites zu schaben.

#Scraping mit JS-Unterstützung:

import dryscrape
from bs4 import BeautifulSoup
session = dryscrape.Session()
session.visit(my_url)
response = session.body()
soup = BeautifulSoup(response)
soup.find(id="intro-text")
# Result:
<p id="intro-text">Yay! Supports javascript</p>

Question 3

Wir erhalten nicht die richtigen Ergebnisse, da alle mit Javascript generierten Inhalte auf dem DOM gerendert werden müssen. Wenn wir eine HTML-Seite abrufen, rufen wir das anfängliche, nicht durch Javascript modifizierte DOM ab.

Daher müssen wir den Javascript-Inhalt rendern, bevor wir die Seite crawlen.

Da Selen in diesem Thread schon oft erwähnt wurde (und wie langsam es manchmal wird, wurde auch erwähnt), werde ich zwei andere mögliche Lösungen auflisten.

Lösung 1: Dies ist ein sehr schönes Tutorial auf wie man Scrapy verwendet, um mit Javascript generierte Inhalte zu crawlen und wir werden genau dem folgen.

Was wir brauchen:

Docker in unserer Maschine installiert. Dies ist bis zu diesem Punkt ein Plus gegenüber anderen Lösungen, da es eine vom Betriebssystem unabhängige Plattform verwendet.
Splash installieren Befolgen Sie die Anweisungen für unser entsprechendes Betriebssystem.
Zitat aus Splash-Dokumentation:

Splash ist ein Javascript-Rendering-Dienst. Es ist ein leichter Webbrowser mit einer HTTP-API, implementiert in Python 3 mit Twisted und QT5.

Im Wesentlichen werden wir Splash verwenden, um mit Javascript generierte Inhalte zu rendern.
Führen Sie den Splash-Server aus: sudo docker run -p 8050:8050 scrapinghub/splash.

Installiere das kratziges Spritzen Plugin: pip install scrapy-splash
Angenommen, wir haben bereits ein Scrapy-Projekt erstellt (falls nicht, lass uns einen machen), werden wir der Anleitung folgen und die aktualisieren settings.py:
Dann gehen Sie zu Ihrem Scrapy-Projekt settings.py und legen Sie diese Middlewares fest:
```
DOWNLOADER_MIDDLEWARES = {
      'scrapy_splash.SplashCookiesMiddleware': 723,
      'scrapy_splash.SplashMiddleware': 725,
      'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
}
```
Die URL des Splash-Servers (wenn Sie Win oder OSX verwenden, sollte dies die URL des Docker-Computers sein: How to get a Docker container’s IP address from the host?):
```
SPLASH_URL = 'http://localhost:8050'
```
Und schließlich müssen Sie auch diese Werte festlegen:
```
DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'
```

Schließlich können wir a verwenden SplashRequest:

In einem normalen Spider haben Sie Request-Objekte, mit denen Sie URLs öffnen können. Wenn die Seite, die Sie öffnen möchten, JS-generierte Daten enthält, müssen Sie SplashRequest (oder SplashFormRequest) verwenden, um die Seite zu rendern. Hier ist ein einfaches Beispiel:
class MySpider(scrapy.Spider):
    name = "jsscraper"
    start_urls = ["http://quotes.toscrape.com/js/"]

    def start_requests(self):
        for url in self.start_urls:
        yield SplashRequest(
            url=url, callback=self.parse, endpoint="render.html"
        )

    def parse(self, response):
        for q in response.css("div.quote"):
        quote = QuoteItem()
        quote["author"] = q.css(".author::text").extract_first()
        quote["quote"] = q.css(".text::text").extract_first()
        yield quote
SplashRequest rendert die URL als HTML und gibt die Antwort zurück, die Sie in der callback(parse)-Methode verwenden können.

Lösung 2: Nennen wir das im Moment (Mai 2018) experimentell…
Diese Lösung ist für Pythons Version 3.6 nur (im Moment).

Kennst du Anfragen Modul (gut, wer nicht)?
Jetzt hat es ein kleines Geschwisterchen, das das Web durchsucht: Anfragen-HTML:

Diese Bibliothek soll das Parsen von HTML (zB das Scrapen des Webs) so einfach und intuitiv wie möglich machen.

Requests-html installieren: pipenv install requests-html

Stellen Sie eine Anfrage an die URL der Seite:

from requests_html import HTMLSession

session = HTMLSession()
r = session.get(a_page_url)

Rendern Sie die Antwort, um die von Javascript generierten Bits zu erhalten:
```
r.html.render()
```

Endlich scheint sich das Modul zu bieten Schabefähigkeiten.
Alternativ können wir den gut dokumentierten Weg versuchen der Verwendung von BeautifulSoup mit dem r.html Objekt, das wir gerade gerendert haben.

Question 4

Vielleicht Selen kann es tun.

from selenium import webdriver
import time

driver = webdriver.Firefox()
driver.get(url)
time.sleep(5)
htmlSource = driver.page_source

Question 5

Wenn Sie die jemals verwendet haben Requests module for python zuvor habe ich kürzlich herausgefunden, dass der Entwickler ein neues Modul namens erstellt hat Requests-HTML die jetzt auch die Fähigkeit hat, JavaScript zu rendern.

Sie können auch besuchen https://html.python-requests.org/ Um mehr über dieses Modul zu erfahren, oder wenn Sie nur am Rendern von JavaScript interessiert sind, können Sie besuchen https://html.python-requests.org/?#javascript-support um direkt zu lernen, wie man das Modul zum Rendern von JavaScript mit Python verwendet.

Im Wesentlichen, sobald Sie die Requests-HTML Modul, das folgende Beispiel, das ist auf dem obigen Link angezeigtzeigt, wie Sie dieses Modul verwenden können, um eine Website zu scrapen und in der Website enthaltenes JavaScript zu rendern:

from requests_html import HTMLSession
session = HTMLSession()

r = session.get('http://python-requests.org/')

r.html.render()

r.html.search('Python 2 will retire in only {months} months!')['months']

'<time>25</time>' #This is the result.

Das habe ich kürzlich durch ein YouTube-Video erfahren. Klicken Sie hier! um das YouTube-Video anzusehen, das die Funktionsweise des Moduls demonstriert.

Question 6

Es hört sich so an, als ob auf die Daten, nach denen Sie wirklich suchen, über eine sekundäre URL zugegriffen werden kann, die von einem JavaScript auf der Primärseite aufgerufen wird.

Während Sie versuchen könnten, Javascript auf dem Server auszuführen, um dies zu handhaben, könnte ein einfacherer Ansatz darin bestehen, die Seite mit Firefox zu laden und ein Tool wie zu verwenden Karl oder Feuerwanze um genau zu identifizieren, was diese sekundäre URL ist. Dann können Sie diese URL einfach direkt nach den Daten abfragen, an denen Sie interessiert sind.

Question 7

Dies scheint auch eine gute Lösung zu sein, entnommen aus a toller Blogbeitrag

import sys  
from PyQt4.QtGui import *  
from PyQt4.QtCore import *  
from PyQt4.QtWebKit import *  
from lxml import html 

#Take this class for granted.Just use result of rendering.
class Render(QWebPage):  
  def __init__(self, url):  
    self.app = QApplication(sys.argv)  
    QWebPage.__init__(self)  
    self.loadFinished.connect(self._loadFinished)  
    self.mainFrame().load(QUrl(url))  
    self.app.exec_()  

  def _loadFinished(self, result):  
    self.frame = self.mainFrame()  
    self.app.quit()  

url="http://pycoders.com/archive/"  
r = Render(url)  
result = r.frame.toHtml()
# This step is important.Converting QString to Ascii for lxml to process

# The following returns an lxml element tree
archive_links = html.fromstring(str(result.toAscii()))
print archive_links

# The following returns an array containing the URLs
raw_links = archive_links.xpath('//div[@class="campaign"]/a/@href')
print raw_links

Question 8

Selen eignet sich am besten zum Scrapen von JS- und Ajax-Inhalten.

Überprüfen Sie diesen Artikel auf Extrahieren von Daten aus dem Web mit Python

$ pip install selenium

Laden Sie dann den Chrome-Webtreiber herunter.

from selenium import webdriver

browser = webdriver.Chrome()

browser.get("https://www.python.org/")

nav = browser.find_element_by_id("mainnav")

print(nav.text)

Einfach richtig?