如何运行 Django 和 Spark 应用程序答案

【问题标题】：How to run Django and Spark application如何运行 Django 和 Spark 应用程序
【发布时间】：2020-07-07 23:41:36
【问题描述】：

我正在开发一个 Spark 应用程序，我想在 Django 中创建一个 rest API，下面是我的代码

from django.shortcuts import render
from django.http import Http404
from rest_framework.views import APIView
from rest_framework.decorators import api_view
from rest_framework.response import Response
from rest_framework import status
from django.http import JsonResponse
from django.core import serializers
from django.conf import settings
import json
from pyspark import SparkContext, SparkConf, SQLContext


sc = SparkContext()
sql = SQLContext(sc)

df = Sql.read.format("jdbc").options(
        url = "jdbc:mysql://127.0.0.1:3306/demo",
        driver = "com.mysql.cj.jdbc.Driver",
        dbtable = "tablename",
        user = "xyz",
        password = "abc" 
).load()

totalrecords = df.count()


# Create your views here.
@api_view(["GET"])
def Demo(self):
    try:
        a = str(totalrecords)
        return JsonResponse(a,safe=False)
    except ValueError as e:
        return Response(e.args[0],status.HTTP_400_BAD_REQUEST)

我想知道我将如何运行这段代码，因为我直接尝试了“python manage.py runserver”，但它不起作用，那么如何使用 django api 运行这个 spark 和 django 并使用所有必需的 spark 提交 spark-submit jar 文件？

【问题讨论】：

标签： mysql django apache-spark pyspark django-rest-framework

【解决方案1】：

要运行此代码，您必须仅使用 spark 提交，

spark-submit --jars mysql.jar manage.py runserver 0.0.0.0:8000

或

spark-submit manage.py runserver

【讨论】：

在终端中，转到存在 manage.py 的文件目录，然后运行上述代码。