urllib und „SSL: CERTIFICATE_VERIFY_FAILED“-Fehler

Ich erhalte den folgenden Fehler:

Exception in thread Thread-3:
Traceback (most recent call last):
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py", line 810, in        __bootstrap_inner
self.run()
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py", line 763, in  run
self.__target(*self.__args, **self.__kwargs)
File "/Users/Matthew/Desktop/Skypebot 2.0/bot.py", line 271, in process
info = urllib2.urlopen(req).read()
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 154, in urlopen
return opener.open(url, data, timeout)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 431, in open
response = self._open(req, data)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 449, in _open
'_open', req)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 409, in _call_chain
result = func(*args)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 1240, in https_open
context=self._context)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 1197, in do_open
raise URLError(err)
URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:581)>

Dies ist der Code, der diesen Fehler verursacht:

if input.startswith("!web"):
    input = input.replace("!web ", "")      
    url = "https://domainsearch.p.mashape.com/index.php?name=" + input
    req = urllib2.Request(url, headers={ 'X-Mashape-Key': 'XXXXXXXXXXXXXXXXXXXX' })
    info = urllib2.urlopen(req).read()
    Message.Chat.SendMessage ("" + info)

Die von mir verwendete API erfordert die Verwendung von HTTPS. Wie kann ich die Überprüfung umgehen?

Wenn du nur Überprüfung umgehen möchten, können Sie eine neue erstellen SSLContext. Standardmäßig werden neu erstellte Kontexte verwendet CERT_NONE.

Seien Sie dabei vorsichtig, wie in Abschnitt angegeben 17.3.7.2.1

Beim direkten Aufruf des SSLContext-Konstruktors ist CERT_NONE der Standardwert. Da es den anderen Peer nicht authentifiziert, kann es unsicher sein, insbesondere im Client-Modus, wo Sie meistens die Authentizität des Servers sicherstellen möchten, mit dem Sie sprechen. Daher wird im Clientmodus dringend empfohlen, CERT_REQUIRED zu verwenden.

Aber wenn Sie nur wollen, dass es jetzt aus einem anderen Grund funktioniert, können Sie Folgendes tun, müssen Sie import ssl auch:

input = input.replace("!web ", "")      
url = "https://domainsearch.p.mashape.com/index.php?name=" + input
req = urllib2.Request(url, headers={ 'X-Mashape-Key': 'XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX' })
gcontext = ssl.SSLContext()  # Only for gangstars
info = urllib2.urlopen(req, context=gcontext).read()
Message.Chat.SendMessage ("" + info)

Dies sollte Ihr Problem umgehen, aber Sie lösen keines der Probleme wirklich, aber Sie werden das nicht sehen [SSL: CERTIFICATE_VERIFY_FAILED] weil Sie das Zertifikat jetzt nicht verifizieren!

Um das oben Genannte zu ergänzen, wenn Sie mehr darüber erfahren möchten, warum Sie diese Probleme sehen, sollten Sie einen Blick darauf werfen PEP 476.

Dieser PEP schlägt vor, die Überprüfung von X509-Zertifikatssignaturen sowie die Hostnamen-Überprüfung für HTTP-Clients von Python standardmäßig zu aktivieren, vorbehaltlich einer Opt-out-Basis pro Anruf. Diese Änderung würde auf Python 2.7, Python 3.4 und Python 3.5 angewendet.

Es gibt ein empfohlenes Opt-out, das meinem obigen Ratschlag nicht unähnlich ist:

import ssl

# This restores the same behavior as before.
context = ssl._create_unverified_context()
urllib.urlopen("https://no-valid-cert", context=context)

Es verfügt auch über eine sehr entmutigt Möglichkeit über Affenpatchen was Sie in Python nicht oft sehen:

import ssl

ssl._create_default_https_context = ssl._create_unverified_context

Dadurch wird die Standardfunktion für die Kontexterstellung mit der Funktion zum Erstellen eines unverifizierten Kontexts überschrieben.

Bitte beachten Sie dabei wie im PEP angegeben:

Diese Anleitung richtet sich in erster Linie an Systemadministratoren, die neuere Versionen von Python übernehmen möchten, die diesen PEP in Legacy-Umgebungen implementieren, die die Zertifikatsüberprüfung bei HTTPS-Verbindungen noch nicht unterstützen. Ein Administrator kann sich beispielsweise abmelden, indem er den obigen Affenpatch zu sitecustomize.py in seiner Standardbetriebsumgebung für Python hinzufügt. Anwendungen und Bibliotheken SOLLTEN diesen Änderungsprozess NICHT weitreichend machen (außer vielleicht als Reaktion auf eine vom Systemadministrator kontrollierte Konfigurationseinstellung).

Wenn Sie ein Papier darüber lesen möchten, warum die Nichtvalidierung von Zertifikaten in Software schlecht ist Sie können es hier finden!

Unter Windows schaut sich Python das Systemzertifikat nicht an, es verwendet sein eigenes unter ?\lib\site-packages\certifi\cacert.pem.

Die Lösung deines Problems:

1. Laden Sie das Domain-Validierungszertifikat als *.crt- oder *pem-Datei herunter
2. Öffnen Sie die Datei im Editor und kopieren Sie den Inhalt in die Zwischenablage
3. finde deinen cacert.pem Lage: from requests.utils import DEFAULT_CA_BUNDLE_PATH; print(DEFAULT_CA_BUNDLE_PATH)
4. bearbeiten die cacert.pem Datei und fügen Sie Ihr Domain-Validierungszertifikat am Ende der Datei ein.
5. Speichern Sie die Datei und freuen Sie sich über Anfragen!

Ich hatte ein ähnliches Problem, obwohl ich benutzte urllib.request.urlopen in Python 3.4, 3.5 und 3.6. (Dies ist ein Teil des Python 3-Äquivalents von urllib2gemäß der Anmerkung am Kopf von Python 2 urllib2 Dokumentationsseite.)

Meine Lösung war pip install certifi installieren certifidas hat:

… eine sorgfältig kuratierte Sammlung von Root-Zertifikaten zur Validierung der Vertrauenswürdigkeit von SSL-Zertifikaten bei gleichzeitiger Überprüfung der Identität von TLS-Hosts.

Dann, in meinem Code, wo ich vorher gerade hatte:

import urllib.request as urlrq

resp = urlrq.urlopen('https://example.com/bar/baz.html')

Ich habe es überarbeitet zu:

import urllib.request as urlrq
import certifi

resp = urlrq.urlopen('https://example.com/bar/baz.html', cafile=certifi.where())

Wenn ich die lese urllib2.urlopen Dokumentation richtig, es hat auch eine cafile Streit. So, urllib2.urlopen([...], certifi.where()) könnte auch für Python 2.7 funktionieren.

UPDATE (01.01.2020): Ab Python 3.6, das cafile Argument zu urlopen ist veraltetmit dem context Argument soll stattdessen angegeben werden. Ich fand Folgendes auf 3.5 bis 3.8 gleich gut:

import urllib.request as urlrq
import certifi
import ssl

resp = urlrq.urlopen('https://example.com/bar/baz.html', context=ssl.create_default_context(cafile=certifi.where()))

Meine Lösung für Mac OS X:

1) Führen Sie ein Upgrade auf Python 3.6.5 durch, indem Sie das native Python-Installationsprogramm der App verwenden, das Sie von der offiziellen Website der Python-Sprache heruntergeladen haben https://www.python.org/downloads/

Ich habe festgestellt, dass dieses Installationsprogramm die Links und Symlinks für das neue Python viel besser aktualisiert als Homebrew.

2) Installieren Sie ein neues Zertifikat mit „./Install Certificates.command“, das sich im aktualisierten Python 3.6-Verzeichnis befindet

> cd "/Applications/Python 3.6/"
> sudo "./Install Certificates.command"