Python - 在 Flask 中将查询结果从服务器返回到客户端

Question

• 我有什么

  我在 Flask 中有一个客户端/服务器。客户端向服务器发送 JSON 格式的查询，服务器创建一个 JSON 文件。还有另一个工具接受这个查询，在数据库上执行它并将结果写入 results.txt 文件。服务器定期检查 'results' 目录中的 .txt 文件，如果找到新文件，则提取结果。对于定期检查部分，我使用了 APS。

• 我想做的事 现在我想将服务器从 .txt 文件中提取的数据（queryResult）发送回客户端。

这是我到目前为止所做的。

• 服务器代码：

app = Flask(__name__)
api = Api(app)

# Variable to store the result file count in the Tool directory
fileCount = 0

# Variable to store the query result generated by the Tool
queryResult = 0    
    
# Method to read .txt files generated by the Tool
def readFile():
    global fileCount
    global queryResult
    # Path where .txt files are created by the Tool
    path = "<path>"
    tempFileCount = len(fnmatch.filter(os.listdir(path), '*.txt'))
    if (fileCount != tempFileCount):
        fileCount = tempFileCount
        list_of_files = glob.iglob(path + '*.txt')
        latest_file = max(list_of_files, key=os.path.getctime)
        print("\nLast modified file: " + latest_file)
        with open(latest_file, "r") as myfile:
            queryResult = myfile.readlines()
            print(queryResult) # I would like to return this queryResult to the client
            
scheduler = BackgroundScheduler()
scheduler.add_job(func=readFile, trigger="interval", seconds=10)
scheduler.start()   

# Shut down the scheduler when exiting the app
atexit.register(lambda: scheduler.shutdown())   
   
# Method to write url parameters in JSON to a file
def write_file(response):
    time_stamp = str(time.strftime("%Y-%m-%d_%H-%M-%S"))  
    with open('data' + time_stamp + '.json', 'w') as outfile:
        json.dump(response, outfile)
    print("JSON File created!")
   

class GetParams(Resource):
    def get(self):
        response = json.loads(list(dict(request.args).keys())[0])  
        write_file(response)  
           
api.add_resource(GetParams, '/data')  # Route for GetJSON()

if __name__ == '__main__':
    app.run(port='5890', threaded=True)

• 客户代码

data = {
    'query': 'SELECT * FROM table_name'
}

url = 'http://127.0.0.1:5890/data'

session = requests.Session()
retry = Retry(connect=3, backoff_factor=0.5)  
adapter = HTTPAdapter(max_retries=retry)
session.mount('http://', adapter)
session.mount('https://', adapter)

resp = session.get(url, params=json.dumps(data))
print(resp)

任何人都可以帮助我如何将此查询结果发送回客户端吗？

编辑：我希望服务器每次在 Tool 目录中遇到新文件时都将 queryResult 发送回客户端，即每次找到新文件时，它都会提取结果（它目前正在执行此操作）并将其发送回客户端。

Answer 1

您想要做的事情称为Web Worker Architecture。

要将实时抽象queryResult 从后台作业传递到客户端应用程序，您可以使用消息队列（推荐使用 Kafka，RabbitMQ 也可以）和 Web-Socket 的组合。当客户端向/data 端点发送请求时，您应该返回一些唯一令牌（例如，如果您的用户是匿名的，则为 UUID，如果已通过身份验证，则为用户 ID）。您应该将相同的标记添加到结果文件的名称中。当您的后台工作人员处理完文件后，它会使用令牌（来自文件名）创建 Kafka 或 RabbitMQ 主题，例如 topic_for_user_id_1337 或 topic_for_uuid_jqwfoj-123qwr，并将 queryResult 作为消息发布。

同时，你的客户端应该建立一个 web-socket 连接（Flask 对于​​ web-sockets 来说是相当糟糕的，但是无论如何也很少有好的库可以做到这一点，比如 socketio）并将令牌通过它传递到你的后端因此它将创建一个消息队列订阅者，订阅一个带有令牌名称的主题，因此当后台作业完成时，Web 后端将接收一条消息并通过 Web 套接字将其传递给用户。

附：如果听起来过于复杂，您可以避免使用 MQ 和 WS，并将queryResult 放入数据库并创建端点以检查它是否存在于数据库中。如果不是，则返回 not ready yet 之类的内容，并且客户端会在几秒钟内重试，如果准备就绪，则从数据库返回 queryResult。