So rufen Sie eine Python-Funktion aus Node.js auf

Ich habe eine Express-Node.js-Anwendung, aber ich habe auch einen maschinellen Lernalgorithmus, den ich in Python verwenden kann. Gibt es eine Möglichkeit, Python-Funktionen aus meiner Node.js-Anwendung aufzurufen, um die Leistungsfähigkeit von Bibliotheken für maschinelles Lernen zu nutzen?

Der einfachste Weg, den ich kenne, ist die Verwendung des Pakets “child_process”, das mit node.

Dann kannst du so etwas machen:

const spawn = require("child_process").spawn;
const pythonProcess = spawn('python',["path/to/script.py", arg1, arg2, ...]);

Dann müssen Sie sich nur noch vergewissern import sys in Ihrem Python-Skript, und dann können Sie darauf zugreifen arg1 verwenden sys.argv[1], arg2 verwenden sys.argv[2]usw.

Um Daten an den Knoten zurückzusenden, tun Sie einfach Folgendes im Python-Skript:

print(dataToSendBack)
sys.stdout.flush()

Und dann kann der Knoten auf Daten lauschen mit:

pythonProcess.stdout.on('data', (data) => {
 // Do something with the data returned from python script
});

Da dies die Übergabe mehrerer Argumente an ein Skript mit spawn ermöglicht, können Sie ein Python-Skript so umstrukturieren, dass eines der Argumente entscheidet, welche Funktion aufgerufen wird, und das andere Argument an diese Funktion übergeben wird usw.

Hoffe das war klar. Lassen Sie mich wissen, wenn etwas Klärungsbedarf hat.

Beispiel für Personen mit Python-Hintergrund, die ihr maschinelles Lernmodell in die Node.js-Anwendung integrieren möchten:

Es verwendet die child_process Kern Modul:

const express = require('express')
const app = express()

app.get("https://stackoverflow.com/", (req, res) => {

    const { spawn } = require('child_process');
    const pyProg = spawn('python', ['./../pypy.py']);

    pyProg.stdout.on('data', function(data) {

        console.log(data.toString());
        res.write(data);
        res.end('end');
    });
})

app.listen(4000, () => console.log('Application listening on port 4000!'))

Es erfordert nicht sys -Modul in Ihrem Python-Skript.

Nachfolgend finden Sie eine modularere Methode zur Ausführung der Aufgabe mit Promise:

const express = require('express')
const app = express()

let runPy = new Promise(function(success, nosuccess) {

    const { spawn } = require('child_process');
    const pyprog = spawn('python', ['./../pypy.py']);

    pyprog.stdout.on('data', function(data) {

        success(data);
    });

    pyprog.stderr.on('data', (data) => {

        nosuccess(data);
    });
});

app.get("https://stackoverflow.com/", (req, res) => {

    res.write('welcome\n');

    runPy.then(function(fromRunpy) {
        console.log(fromRunpy.toString());
        res.end(fromRunpy);
    });
})

app.listen(4000, () => console.log('Application listening on port 4000!'))

Das python-shell Modul von extrabacon ist eine einfache Möglichkeit, Python-Skripte von Node.js aus mit einfacher, aber effizienter Kommunikation zwischen Prozessen und besserer Fehlerbehandlung auszuführen.

Installation:

Mit npm:
npm install python-shell.

Oder mit Garn:
yarn add python-shell

Ausführen eines einfachen Python-Skripts:

const PythonShell = require('python-shell').PythonShell;

PythonShell.run('my_script.py', null, function (err) {
  if (err) throw err;
  console.log('finished');
});

Ausführen eines Python-Skripts mit Argumenten und Optionen:

const PythonShell = require('python-shell').PythonShell;

var options = {
  mode: 'text',
  pythonPath: 'path/to/python',
  pythonOptions: ['-u'],
  scriptPath: 'path/to/my/scripts',
  args: ['value1', 'value2', 'value3']
};

PythonShell.run('my_script.py', options, function (err, results) {
  if (err) 
    throw err;
  // Results is an array consisting of messages collected during execution
  console.log('results: %j', results);
});

Die vollständige Dokumentation und den Quellcode finden Sie unter https://github.com/extrabacon/python-shell

Sie können jetzt RPC-Bibliotheken verwenden, die Python und Javascript unterstützen, wie z nullerpc

Von ihrer Titelseite:

Node.js-Client

var zerorpc = require("zerorpc");

var client = new zerorpc.Client();
client.connect("tcp://127.0.0.1:4242");

client.invoke("hello", "RPC", function(error, res, more) {
    console.log(res);
});

Python-Server

import zerorpc

class HelloRPC(object):
    def hello(self, name):
        return "Hello, %s" % name

s = zerorpc.Server(HelloRPC())
s.bind("tcp://0.0.0.0:4242")
s.run()

Die meisten vorherigen Antworten nennen den Erfolg des Versprechens in on (“data”), es ist nicht der richtige Weg, denn wenn Sie viele Daten erhalten, erhalten Sie nur den ersten Teil. Stattdessen müssen Sie es beim Endereignis tun.

const { spawn } = require('child_process');
const pythonDir = (__dirname + "/../pythonCode/"); // Path of python script folder
const python = pythonDir + "pythonEnv/bin/python"; // Path of the Python interpreter

/** remove warning that you don't care about */
function cleanWarning(error) {
    return error.replace(/Detector is not able to detect the language reliably.\n/g,"");
}

function callPython(scriptName, args) {
    return new Promise(function(success, reject) {
        const script = pythonDir + scriptName;
        const pyArgs = [script, JSON.stringify(args) ]
        const pyprog = spawn(python, pyArgs );
        let result = "";
        let resultError = "";
        pyprog.stdout.on('data', function(data) {
            result += data.toString();
        });

        pyprog.stderr.on('data', (data) => {
            resultError += cleanWarning(data.toString());
        });

        pyprog.stdout.on("end", function(){
            if(resultError == "") {
                success(JSON.parse(result));
            }else{
                console.error(`Python error, you can reproduce the error with: \n${python} ${script} ${pyArgs.join(" ")}`);
                const error = new Error(resultError);
                console.error(error);
                reject(resultError);
            }
        })
   });
}
module.exports.callPython = callPython;

Anruf:

const pythonCaller = require("../core/pythonCaller");
const result = await pythonCaller.callPython("preprocessorSentiment.py", {"thekeyYouwant": value});

Python:

try:
    argu = json.loads(sys.argv[1])
except:
    raise Exception("error while loading argument")

Viele der Beispiele sind Jahre veraltet und erfordern eine komplexe Einrichtung. Du kannst Geben JSPyBridge/pythonia einen Versuch (vollständige Offenlegung: Ich bin der Autor). Es ist Vanilla JS, mit dem Sie mit fremden Python-Objekten arbeiten können, als ob sie in JS vorhanden wären. Tatsächlich sorgt es für Interoperabilität, sodass Python-Code im Gegenzug JS über Callbacks und übergebene Funktionen aufrufen kann.

numpy + matplotlib-Beispiel mit dem ES6-Importsystem:

import { py, python } from 'pythonia'
const np = await python('numpy')
const plot = await python('matplotlib.pyplot')

// Fixing random state for reproducibility
await np.random.seed(19680801)
const [mu, sigma] = [100, 15]
// Inline expression evaluation for operator overloading
const x = await py`${mu} + ${sigma} * ${np.random.randn(10000)}`

// the histogram of the data
const [n, bins, patches] = await plot.hist$(x, 50, { density: true, facecolor: 'g', alpha: 0.75 })
console.log('Distribution', await n) // Always await for all Python access
await plot.show()
python.exit()

Durch CommonJS (ohne Wartezeit auf oberster Ebene):

const { py, python } = require('pythonia')
async function main() {
  const np = await python('numpy')
  const plot = await python('matplotlib.pyplot')
  ...
  // the rest of the code
}
main().then(() => python.exit()) // If you don't call this, the process won't quit by itself.

Ich bin auf Knoten 10 und Kindprozess 1.0.2. Die Daten von Python sind ein Byte-Array und müssen konvertiert werden. Nur ein weiteres kurzes Beispiel für eine HTTP-Anfrage in Python.

Knoten

const process = spawn("python", ["services/request.py", "https://www.google.com"])

return new Promise((resolve, reject) =>{
    process.stdout.on("data", data =>{
        resolve(data.toString()); // <------------ by default converts to utf-8
    })
    process.stderr.on("data", reject)
})

request.py

import urllib.request
import sys

def karl_morrison_is_a_pedant():   
    response = urllib.request.urlopen(sys.argv[1])
    html = response.read()
    print(html)
    sys.stdout.flush()

karl_morrison_is_a_pedant()

ps kein erfundenes Beispiel, da das http-Modul des Knotens einige Anforderungen, die ich stellen muss, nicht lädt