php中文网

python爬虫java怎么调用

php中文网
java 中调用 python 爬虫有两种方法:使用 subprocess 或 os 模块直接运行 python 脚本。将 python 爬虫部署为 web 服务,通过 http 请求调用。

python爬虫java怎么调用

Python 爬虫如何由 Java 调用

直接调用

  • 使用 Python 外部库,如 subprocess 或 os 模块,在 Java 中运行 Python 脚本。
  • 例如:
import java.io.IOException;

public class CallPythonCrawler {

    public static void main(String[] args) throws IOException {
        // 替换为 Python 爬虫脚本的路径
        String pythonScriptPath = "/path/to/python_crawler.py";

        // 根据需要传递参数
        String[] arguments = {"arg1", "arg2"};

        // 运行 Python 爬虫
        ProcessBuilder processBuilder = new ProcessBuilder("python", pythonScriptPath, arguments);
        Process process = processBuilder.start();

        // 获取爬虫输出
        String output = process.getInputStream().toString();

        // 处理输出
        // ...
    }
}

通过 HTTP 请求调用

  • 将 Python 爬虫部署为 Web 服务(例如 Flask 或 Django),并从 Java 发送 HTTP 请求。
  • 使用 Java 的 HttpURLConnection 或 HttpClient 等库发送请求。
  • 例如:
import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;

public class CallPythonCrawlerViaHTTP {

    public static void main(String[] args) throws Exception {
        // 替换为 Python 爬虫服务的 URL
        String url = "http://localhost:8080/crawl";

        // 创建 HTTP 请求连接
        URL obj = new URL(url);
        HttpURLConnection con = (HttpURLConnection) obj.openConnection();

        // 发送请求
        con.setRequestMethod("POST");
        con.setRequestProperty("Content-Type", "application/json");

        // 根据需要添加查询参数或 JSON 负载

        // 获取响应
        BufferedReader in = new BufferedReader(new InputStreamReader(con.getInputStream()));
        String output = in.readLine();

        // 处理输出
        // ...
    }
}

注意事项

立即学习“Java免费学习笔记(深入)”;

  • 确保 Java 环境已安装 Python 解释器。
  • Python 爬虫的编码应与 Java 环境兼容。
  • 考虑部署和安全问题,例如跨平台兼容性和访问控制。

以上就是python爬虫java怎么调用的详细内容,更多请关注php中文网其它相关文章!