Holen Sie sich HTML-Inhalte von einer anderen Site

Question 1

Ich möchte die HTML-Inhalte von einer anderen Website dynamisch abrufen, ich habe die Erlaubnis des Unternehmens.

Bitte verweisen Sie mich nicht auf JSONP, da ich Site A nicht bearbeiten kann, nur Site B

Question 2

Aufgrund von domänenübergreifenden Sicherheitsproblemen können Sie dies nicht clientseitig tun, es sei denn, Sie sind mit einem zufrieden iframe.

Mit PHP können Sie verschiedene Methoden zum “Scraping” des Inhalts verwenden. Welche Vorgehensweise Sie verwenden, hängt davon ab, ob Sie in Ihren Anfragen Cookies verwenden müssen (dh die Daten befinden sich hinter einem Login).

So oder so, um die Dinge auf der Client-Seite zu beginnen, senden Sie eine Standard-AJAX-Anfrage an Ihr eigener Server:

$.ajax({
  type: "POST",
  url: "localProxy.php",
  data: {url: "maybe_send_your_url_here.php?product_id=1"}
}).done(function( html ) {
   // do something with your HTML!
});

Wenn Sie Cookies setzen müssen (wenn die Remote-Site eine Anmeldung erfordert, benötigen Sie diese), verwenden Sie cURL. Der vollständige Mechanismus des Anmeldens mit Post-Daten und des Akzeptierens von Cookies würde den Rahmen dieser Antwort etwas sprengen, aber Ihre Anfragen würden in etwa so aussehen:

$ch = curl_init(); 
curl_setopt ($ch, CURLOPT_URL, 'http://thirdpartydomain.internet/login_url.php'); 
curl_setopt ($ch, CURLOPT_SSL_VERIFYPEER, FALSE); 
curl_setopt ($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6"); 
curl_setopt ($ch, CURLOPT_TIMEOUT, 60); 
curl_setopt ($ch, CURLOPT_FOLLOWLOCATION, 0); 
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt ($ch, CURLOPT_COOKIEJAR, 'cookie.jar'); 
curl_setopt ($ch, CURLOPT_POSTFIELDS, 'email=".$username."&password='.$password); 
curl_setopt ($ch, CURLOPT_POST, 1); 
$result = curl_exec ($ch); 
curl_close($ch);

An diesem Punkt können Sie die $result variabel und stellen Sie sicher, dass die Anmeldung funktioniert hat. Wenn ja, würden Sie cURL verwenden, um auszugeben Ein weiterer Aufforderung zum Abrufen des Seiteninhalts. Die zweite Anfrage enthält nicht den gesamten Post-Junk und Sie verwenden die URL, die Sie abrufen möchten. Sie würden mit einem großen String voller HTML enden.

Wenn Sie nur einen Teil des Inhalts dieser Seite benötigen, können Sie die folgende Methode verwenden, um die Zeichenfolge in ein DomDocument zu laden loadHTML Methode statt loadHTMLFile (siehe unten)

Apropos DomDocument, wenn Sie nicht Cookies benötigen, können Sie DomDocument direkt verwenden, um die Seite abzurufen, und cURL überspringen:

$doc = new DOMDocument('1.0', 'UTF-8');
// load the string into the DOM (this is your page's HTML), see below for more info
$doc->loadHTMLFile ('http://third_party_url_here.php?query=string');

// since we are working with HTML fragments here, remove <!DOCTYPE 
$doc->removeChild($doc->firstChild);            

// remove <html></html> and any junk
$body = $doc->getElementsByTagName('body'); 
$doc->replaceChild($body->item(0), $doc->firstChild);

// now, you can get any portion of the html (target a div, for example) using familiar DOM methods

// echo the HTML (or desired portion thereof)
die($doc->saveHTML());

Dokumentation

HTML iframe auf MDN – https://developer.mozilla.org/en/HTML/Element/iframe
jQuery.ajax() – http://api.jquery.com/jQuery.ajax/
PHPs cURL – http://php.net/manual/en/book.curl.php

Curl::set_opt (Informationen über die Verwendung von Cookies) – http://www.php.net/manual/en/function.curl-setopt.php
PHPs DomDocument – http://php.net/manual/en/class.domdocument.php
DomDocument::loadHTMLFile – http://www.php.net/manual/en/domdocument.loadhtmlfile.php

DomDocument::loadHTML – http://www.php.net/manual/en/domdocument.loadhtml.php