如何通过 Scrapy 将 Metrics 发送到 Prometheus？答案

【问题标题】：How to send Metrics via Scrapy to Prometheus?如何通过 Scrapy 将 Metrics 发送到 Prometheus？
【发布时间】：2019-06-06 14:02:40
【问题描述】：

我是普罗米修斯的新手。

我还需要将抓取项目的数量发送到 Prometheus 并在 Grafana 中的图表上显示它们。

我安装了Prometheus、Scrapy-Prometheus和Grafana。

在我添加的 Scrapy 设置中

STATS_CLASS = 'scrapy_prometheus.PrometheusStatsCollector'
# Prometheus pushgateway host
PROMETHEUS_PUSHGATEWAY = 'http://0.0.0.0:9090'   
# Metric name prefix
PROMETHEUS_METRIC_PREFIX = 'scrapy_prometheus'   
# Timeout for pushing metrics to pushgateway
PROMETHEUS_PUSH_TIMEOUT = 5  
# Method to use when pushing metrics
PROMETHEUS_PUSH_METHOD = 'POST'  # default
PROMETHEUS_SUPPRESS_TYPE_CHECK = False
# job label value, applied to all metrics.
PROMETHEUS_JOB = 'scrapy' 
PROMETHEUS_GROUPING_KEY = {'instance': 'localhost'}

我这样配置 Grafana 的设置

在Documentation 我们有

stat foo: 67 会产生度量

scrapy_prometheus_foo{instance="...",job="scrapy",spider="..."} 67

我的问题是如何将抓取项目的数量作为指标发送给 Prometheus？

【问题讨论】：

标签： python scrapy grafana metrics prometheus

【解决方案1】：

从阅读文档看来，scrapy-prometheus 只是发送了所有统计信息：

<prefix><stats name with / replaced by _>

默认前缀是scrapy_prometheus，而您要查找的已抓取项目的统计信息是item_scraped_count，因此您应该寻找scrapy_prometheus_item_scraped_count统计信息，它应该默认发送。 p>

【讨论】：