Prometheus —— 拉模型指标采集、时序存储与告警评估的开源标准

分类：01 指标采集与时序存储 适用：Linux / 容器 / Kubernetes；单机到数千节点、百万级序列 一句话：pull 采集指标、本地 TSDB 存储、PromQL 查询并评估告警，云原生监控事实标准。 官方：https://prometheus.io/ 授权：Apache License 2.0（开源，无商业阉割）

1. 它解决什么问题

2. 核心概念与架构

exporter / 业务 /metrics ──pull(15s)──► ┌─ scrape manager（服务发现+relabel）
Pushgateway(短任务,push) ────────────► │        │
                                        │        ▼
                                        │   TSDB: head→WAL→block :9090
                                        │        ├─► PromQL / HTTP API ──► Grafana 大盘
                                        │        └─► rule_manager ──► Alertmanager :9093 ──► 通知
                                        └──────────────► remote_write(可选) ──► 长期存储

要点：Prometheus 只评估告警、不发送通知（交给 Alertmanager），不渲染大盘（交给 Grafana）。

3. 安装与部署

3.1 环境准备

3.2 多种安装方式

<VERSION> 为占位符，下载前到官方下载页确认，本文不绑定固定 tag。

# A. 发行版包（版本滞后，仅实验用）；RHEL 系用 EPEL，包名以仓库为准
sudo apt install -y prometheus promtool
# B. 官方二进制 + systemd（生产推荐）
VER=<VERSION>; cd /tmp
curl -LO "https://github.com/prometheus/prometheus/releases/download/v${VER}/prometheus-${VER}.linux-amd64.tar.gz"
tar xzf "prometheus-${VER}.linux-amd64.tar.gz" && cd "prometheus-${VER}.linux-amd64"
sudo useradd --system --no-create-home --shell /usr/sbin/nologin prometheus
sudo install -m 0755 prometheus promtool /usr/local/bin/
sudo mkdir -p /etc/prometheus/rules /var/lib/prometheus
sudo cp -r consoles console_libraries /etc/prometheus/
sudo chown -R prometheus:prometheus /etc/prometheus /var/lib/prometheus

# /etc/systemd/system/prometheus.service
[Unit]
After=network-online.target
[Service]
User=prometheus
Group=prometheus
ExecStart=/usr/local/bin/prometheus --config.file=/etc/prometheus/prometheus.yml --storage.tsdb.path=/var/lib/prometheus --storage.tsdb.retention.time=15d --web.listen-address=127.0.0.1:9090 --web.enable-lifecycle
Restart=always
NoNewPrivileges=true
ProtectSystem=strict
ReadWritePaths=/var/lib/prometheus
[Install]
WantedBy=multi-user.target

sudo systemctl daemon-reload && sudo systemctl enable --now prometheus
# C. Docker（官方镜像 prom/prometheus 或 quay.io/prometheus/prometheus；tag 以官方最新稳定版为准）
docker volume create prometheus-data
docker run -d --name prometheus -p 9090:9090 \
  -v /path/to/prometheus.yml:/etc/prometheus/prometheus.yml:ro \
  -v prometheus-data:/prometheus \
  prom/prometheus:<VERSION> --config.file=/etc/prometheus/prometheus.yml \
  --storage.tsdb.path=/prometheus --web.enable-lifecycle
# docker compose 等价：image + volumes 挂配置与 prometheus-data 卷 + command 传同上 flag

⚠️ 容器内数据默认在 /prometheus，不挂卷重启即丢；自定义 command 会覆盖镜像默认参数，所需 flag 必须写全。

# D. K8s：prometheus-community/kube-prometheus-stack（含 Operator/Grafana/AM）
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update
helm install <release> prometheus-community/kube-prometheus-stack -n <namespace> --create-namespace -f values.yaml
kubectl -n <namespace> get pods -l app.kubernetes.io/name=prometheus
# Operator 模式用 Prometheus / ServiceMonitor / PodMonitor / PrometheusRule CRD 自动生成抓取与规则

3.3 首次启动与验证

promtool check config /etc/prometheus/prometheus.yml                              # SUCCESS
curl -s http://localhost:9090/-/healthy ; curl -s http://localhost:9090/-/ready  # Healthy. / Ready.
curl -sG http://localhost:9090/api/v1/query --data-urlencode 'query=up' | jq '.data.result'   # value=["1"]
curl -s http://localhost:9090/api/v1/targets?state=active | jq -r '.data.activeTargets[].health'  # up

4. 配置文件详解

主配置 /etc/prometheus/prometheus.yml（容器同路径，--config.file 可覆盖），规则单独放 rule_files（示例见第 6 章）。

global:
  scrape_interval: 15s
  scrape_timeout: 10s
  evaluation_interval: 15s
  external_labels: { cluster: "<cluster_name>", replica: "<replica_a>" }
rule_files: ["rules/*.yml"]
alerting:
  alertmanagers:
    - static_configs:
        - targets: ["<alertmanager_host>:9093"]
scrape_configs:
  - job_name: "prometheus"
    static_configs: [{ targets: ["localhost:9090"] }]
  - job_name: "node"
    relabel_configs:
      - { source_labels: [__address__], regex: "(.*):9100", target_label: instance, replacement: "$1" }
  - job_name: "blackbox-http"
    metrics_path: /probe
    params: { module: [http_2xx] }
    static_configs: [{ targets: ["https://<example_host>/health"] }]
    relabel_configs:
      - { source_labels: [__address__], target_label: __param_target }
      - { source_labels: [__param_target], target_label: instance }
      - { target_label: __address__, replacement: "<blackbox_host>:9115" }

promtool check config /etc/prometheus/prometheus.yml && promtool check rules /etc/prometheus/rules/*.yml
curl -X POST http://localhost:9090/-/reload      # 需 --web.enable-lifecycle

5. 核心使用方法

5.1 CLI（promtool 与启动参数）

promtool check config /etc/prometheus/prometheus.yml           # 1 校验配置
promtool check rules /etc/prometheus/rules/*.yml               # 2 校验规则
promtool test rules /etc/prometheus/tests/*.yml                # 3 规则单元测试
curl -s http://<host>:9100/metrics | promtool check metrics    # 4 校验 exporter 格式
promtool query instant http://localhost:9090 'up{job="node"}'  # 5 即时查询
promtool query range --start "$(date -d '-1h' +%s)" --end "$(date +%s)" --step 60 http://localhost:9090 'rate(node_cpu_seconds_total{mode="idle"}[5m])'   # 6 范围查询
promtool tsdb analyze /var/lib/prometheus                      # 7 分析 block
promtool tsdb list /var/lib/prometheus                         # 8 列出 block
prometheus --version ; prometheus --help                       # 9 版本 / 10 全参数
# 常用启动参数（完整列表见 --help）：--config.file --storage.tsdb.path --storage.tsdb.retention.time=15d

⚠️ --web.enable-admin-api 开放删序列/快照、--web.enable-lifecycle 开放 /-/reload 与 /-/quit，勿对公网暴露。

5.2 HTTP API

P=http://localhost:9090
curl -sG "$P/api/v1/query" --data-urlencode 'query=up' | jq '.data.result'                     # 1 即时查询
curl -sG "$P/api/v1/query_range" --data-urlencode 'query=rate(http_requests_total[5m])' --data-urlencode "start=$(date -d '-1h' +%s)" --data-urlencode "end=$(date +%s)" --data-urlencode 'step=60'   # 2 范围查询
curl -s -X POST "$P/api/v1/query" --data-urlencode 'query=sum by (job) (rate(http_requests_total[5m]))'  # 3 POST 长表达式
curl -s "$P/api/v1/targets?state=active" | jq '.data.activeTargets | length'                   # 4 活跃目标
curl -s "$P/api/v1/rules?type=alert" | jq -r '.data.groups[].rules[] | "\(.name)\t\(.health)"'  # 5 规则状态
curl -s "$P/api/v1/alerts" | jq -r '.data.alerts[] | "\(.labels.alertname)\t\(.state)"'         # 6 活跃告警
curl -s "$P/api/v1/status/config" | jq -r '.data.yaml' | head -20                              # 7 已加载配置
curl -sG "$P/api/v1/series" --data-urlencode 'match[]=up' | jq '.data | length'               # 9 序列
curl -s -X POST "$P/api/v1/admin/tsdb/snapshot" | jq '.data.name'                             # 10 快照(需 admin API)
curl -s "$P/-/healthy" ; curl -s "$P/-/ready" ; curl -X POST "$P/-/reload" ; curl -X POST "$P/-/quit"   # 11 健康/重载/退出

query/query_range 支持 GET+POST（POST 用 application/x-www-form-urlencoded）；targets/rules/alerts/status/config/labels/series 为 GET；admin/tsdb/snapshot 为 POST/PUT 且必须 --web.enable-admin-api。

5.3 PromQL 系统讲解

http_requests_total{job="api",method="GET"}           # = 精确
http_requests_total{status!="200"}                    # != 取反
http_requests_total{status=~"5.."}                    # =~ 正则
http_requests_total{path!~"/health|/metrics"}         # !~ 正则取反
{__name__=~"node_.*_bytes"}                          # 按指标名过滤
http_requests_total[5m]                               # 区间向量（仅供 rate 等函数）
http_requests_total[5m] offset 1d                    # 时间偏移：昨天同窗口

rate(node_cpu_seconds_total{mode="idle"}[5m])                      # 正确：先 rate
sum by (instance) (rate(http_requests_total[5m]))                  # 正确：再聚合
sum(rate(http_requests_total[5m]))                                 # 全集群 QPS
sum by (job) (rate(http_requests_total[5m]))                       # 保留 job
topk(5, sum by (instance) (rate(node_network_receive_bytes_total[5m])))
sum by (instance) (rate(app_errors_total[5m])) / on(instance) group_left(role) node_role_info  # 多对一匹配

⚠️ [range] 必须 ≥ 2×scrape_interval，否则窗口内不足 2 样本返回空；15s 采集时 [10s] 无数据、[5m] 是安全下限。 常用函数：histogram_quantile、absent/absent_over_time、predict_linear、avg_over_time/max_over_time/quantile_over_time、clamp_max/clamp_min、label_replace/label_join、resets/changes/deriv、time()/vector()/scalar()。 生产表达式模板：

100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)         # CPU 使用率%
(1 - node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes) * 100                 # 内存使用率%
100 - (node_filesystem_avail_bytes{fstype!~"tmpfs|overlay",mountpoint="/"} / node_filesystem_size_bytes{fstype!~"tmpfs|overlay",mountpoint="/"} * 100)  # 根分区使用率%
predict_linear(node_filesystem_avail_bytes{mountpoint="/"}[6h], 4*3600) < 0           # 4h 内磁盘将满
rate(node_disk_io_time_seconds_total[5m])                                               # 磁盘 IO 饱和度
sum by (instance) (rate(node_network_receive_errs_total[5m]))                          # 网卡收包错误率
sum(rate(http_requests_total{status=~"5.."}[5m])) / sum(rate(http_requests_total[5m])) * 100  # 5xx 占比%
histogram_quantile(0.99, sum by (le,job) (rate(http_request_duration_seconds_bucket[5m])))  # P99 延迟

5.4 Web UI

6. 告警与通知

Prometheus 侧只定义规则并推送告警；通知渠道、分组、抑制、静默、路由树全部在 Alertmanager（见同目录 alertmanager.md）。

# /etc/prometheus/rules/host.yml —— 阈值规则
groups:
  - name: host.rules
    rules:
      - alert: HighCpuUsage
        expr: 100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 85
        for: 5m
        labels: { severity: warning, team: infra }
      - alert: DiskWillFill
        expr: predict_linear(node_filesystem_avail_bytes{mountpoint="/"}[6h], 4*3600) < 0
        for: 10m
        labels: { severity: critical }
        annotations: { summary: "{{ $labels.instance }} 根分区预计 4h 内写满" }

# 以下为 Alertmanager 侧片段，完整示例见 alertmanager.md 第 6 章（路由树/分组/抑制/静默）
route:                                # 路由树根节点 + 分组
  receiver: default
  group_by: [alertname, cluster]
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  routes:
    - { matchers: ['severity="critical"'], receiver: wecom }
receivers:
  - name: default
    email_configs: [{ to: "<oncall@company>" }]
  - name: wecom
    wechat_configs: [{ corp_id: "<corp>", api_secret: "<secret>", agent_id: "<id>", to_user: "@all" }]
inhibit_rules:                        # 抑制：整机宕机时压制其上的子告警
  - { source_matchers: ['alertname="InstanceDown"'], target_matchers: ['severity="warning"'], equal: [instance] }
# 静默：amtool silence add / Web UI 临时操作；time_intervals 可配静默时段

完整链路：exporter → Prometheus 抓取 → TSDB → evaluation_interval 评估 alerting rule → for 满足变 firing → POST :9093/api/v2/alerts → AM 分组/抑制/静默 → receiver 发通知；Grafana 用 Prometheus 数据源画大盘。

curl -s http://localhost:9090/api/v1/alertmanagers | jq '.data'
curl -s http://localhost:9090/api/v1/alerts | jq -r '.data.alerts[] | "\(.labels.alertname)\t\(.state)"'

7. 实战场景

7.1 批量接入 50 台主机（文件服务发现）

目标：新增主机不改主配置、不重启。步骤：部署 node_exporter → 写 target 文件 → SD 自动发现 → 验证。

sudo mkdir -p /etc/prometheus/targets/node
sudo tee /etc/prometheus/targets/node/web.yml >/dev/null <<'YAML'
- labels: { region: "<region>", role: "web" }
  targets: ["<web01>:9100", "<web02>:9100"]
YAML
curl -sG http://localhost:9090/api/v1/query --data-urlencode 'query=count(up{job="node"})' | jq '.data.result'

验证：/service-discovery 出现新 target、/targets 为 UP，序列数增加。回滚：删除该 .yml，refresh_interval 后自动移除。

7.2 上线"磁盘将满"告警并热加载

目标：根分区预计 4h 写满时提前告警。

sudo tee /etc/prometheus/rules/disk.yml >/dev/null <<'YAML'
groups:
  - name: disk.rules
    rules:
      - alert: DiskWillFillIn4h
        expr: predict_linear(node_filesystem_avail_bytes{fstype!~"tmpfs|overlay",mountpoint="/"}[6h], 4*3600) < 0
        for: 10m
        labels: { severity: critical }
        annotations: { summary: "{{ $labels.instance }} 根分区预计 4h 内写满" }
YAML
promtool check rules /etc/prometheus/rules/disk.yml && curl -X POST http://localhost:9090/-/reload
curl -s http://localhost:9090/api/v1/rules?type=alert | jq -r '.data.groups[].rules[].name'

验证：/rules 出现规则且 health=ok，AM 收到路由。回滚：rm /etc/prometheus/rules/disk.yml && curl -X POST http://localhost:9090/-/reload。

7.3 TSDB 快照备份与恢复

目标：升级/迁移前一致性备份，可原地恢复（前提 --web.enable-admin-api）。

SNAP=$(curl -s -X POST http://localhost:9090/api/v1/admin/tsdb/snapshot | jq -r '.data.name')
sudo cp -a "/var/lib/prometheus/snapshots/$SNAP" /backup/prometheus-snap-<date>/
sudo systemctl stop prometheus
sudo mv /var/lib/prometheus /var/lib/prometheus.bak && sudo mkdir -p /var/lib/prometheus
sudo cp -a "/backup/prometheus-snap-<date>/$SNAP/." /var/lib/prometheus/
sudo chown -R prometheus:prometheus /var/lib/prometheus && sudo systemctl start prometheus
curl -s http://localhost:9090/-/ready

验证：可查到历史时间点数据，promtool tsdb analyze /var/lib/prometheus 无报错。回滚：停服 → 删新目录 → mv /var/lib/prometheus.bak /var/lib/prometheus → 启动。⚠️ 清空数据目录属高危，先确认备份完整。

8. 日常运维与故障排查

sudo systemctl status prometheus --no-pager ; sudo systemctl restart prometheus
sudo journalctl -u prometheus -f --no-pager        # systemd 日志走 journald；容器用 docker logs prometheus
sudo journalctl -u prometheus --since "1 hour ago" | grep -iE 'error|warn'
curl -s http://localhost:9090/-/healthy ; curl -s http://localhost:9090/-/ready
curl -s http://localhost:9090/api/v1/targets?state=active | jq '.data.activeTargets[] | select(.health!="up")'

9. 性能、容量与高可用

磁盘(GB) ≈ 活跃序列数 × 每样本约 1.7B × (保留秒数 / 采集间隔秒) × 1.1 / 1024³
内存(GB) ≈ 活跃序列数 × 3~8KB(head chunk + 索引) / 1024³ + WAL/查询临时开销
示例：50 万序列、15s、15d ≈ 500000×1.7×(1296000/15)×1.1/1024³ ≈ 75 GiB（按 2× 预留）
入库速率 ≈ 活跃序列数 / scrape_interval；用 count({__name__=~".+"}) 估序列数

up{job="prometheus"} == 0                                 # 自身挂（另一实例探活更可靠）
prometheus_tsdb_head_series                              # 活跃序列，突增即基数问题
rate(prometheus_tsdb_head_samples_appended_total[5m])    # 入库速率
scrape_duration_seconds / process_resident_memory_bytes  # 抓取变慢 / 内存趋势

10. 安全加固、备份与升级

basic_auth_users: { <username>: <bcrypt_hash> }
tls_server_config: { cert_file: /etc/prometheus/tls/server.crt, key_file: /etc/prometheus/tls/server.key }

# 带认证的抓取配置（凭据勿写主配置，/api/v1/status/config 会泄露明文）
scrape_configs:
  - job_name: secure-target
    scheme: https
    basic_auth: { username: <username>, password_file: /etc/prometheus/secrets/password }
    tls_config: { ca_file: /etc/prometheus/tls/ca.crt }
    static_configs: [{ targets: ["<host>:9100"] }]

sudo ufw allow from <grafana_cidr> to any port 9090 proto tcp && sudo ufw deny 9090/tcp
SNAP=$(curl -s -X POST http://localhost:9090/api/v1/admin/tsdb/snapshot | jq -r '.data.name')
sudo tar czf /backup/prometheus-<date>.tar.gz -C /var/lib/prometheus/snapshots "$SNAP"   # 在线快照
sudo tar czf /backup/prometheus-conf-<date>.tar.gz /etc/prometheus/                      # 配置备份
sudo systemctl stop prometheus && sudo tar czf /backup/prometheus-cold-<date>.tar.gz -C /var/lib/prometheus . && sudo systemctl start prometheus   # 冷备

最小权限：专用 prometheus 系统用户 + nologin；unit 加 NoNewPrivileges/ProtectSystem=strict/ReadWritePaths；凭据 chmod 0600；只监听回环由反代对外。⚠️ 勿以 root 运行、勿公网开放 9090 / /-/quit / admin API。 升级顺序：① prometheus --version 记录 → ② 备份数据与 /etc/prometheus/ → ③ 预发 promtool check config + 核心 PromQL 回归 → ④ cp /usr/local/bin/prometheus /usr/local/bin/prometheus.old → ⑤ 停服、替换二进制、启动、/-/ready + /targets 验证 → ⑥ 观察 24h → ⑦ 回滚：停服换回 prometheus.old；若新版已压实 block 致旧版不兼容，用冷备整体恢复（7.3）。跨大版本先读官方 Release notes 的 breaking changes。

11. 常见坑

1. Counter 直接画原值：曲线只增、重启断崖 → 一律先 rate()/increase()。
2. [range] < 2×采集间隔：15s 下 rate(x[10s]) 永远为空 → 用 [5m] 起步。
3. rate(sum(...)) 写反：丢失 counter 重置语义 → 永远先 rate 后 sum。
4. 标签塞 user_id/trace_id/完整 URL：序列数指数膨胀 OOM → metric_relabel_configs drop，明细走日志。
5. 容器不挂卷：重启历史全丢 → 生产必须 -v <volume>:/prometheus。
6. scrape_timeout > scrape_interval：抓取重叠、时间戳错乱 → 保证 timeout ≤ interval。
7. 时钟不同步：样本被判未来时间丢弃 → 全链路 chrony；⚠️ 禁止生产 date -s。
8. reload 没生效：漏 --web.enable-lifecycle 或 YAML 有错 → 先 promtool check config。
9. up == 0 检不到目标被删除：关键 job 补 absent(up{job="..."})；HA 两实例 external_labels 需不同 replica。
10. Histogram 对各实例 quantile 求平均：先 sum by (le) 再 histogram_quantile；⚠️ admin API 勿暴露公网。

12. 速查表

13. 选型建议与同类对比

14. 参考链接

• 官网 / 下载：https://prometheus.io/ ｜ https://prometheus.io/download/
• 概览 / 入门：https://prometheus.io/docs/introduction/overview/ ｜ https://prometheus.io/docs/prometheus/latest/getting_started/
• 安装 / 配置：https://prometheus.io/docs/prometheus/latest/installation/ ｜ https://prometheus.io/docs/prometheus/latest/configuration/configuration/
• 查询 API / AM 配置：https://prometheus.io/docs/prometheus/latest/querying/api/ ｜ https://prometheus.io/docs/alerting/latest/configuration/
• 源码 / 官方镜像：https://github.com/prometheus/prometheus ｜ https://hub.docker.com/r/prom/prometheus/ ｜ https://quay.io/repository/prometheus/prometheus
• Exporter 清单 / 命名规范：https://prometheus.io/docs/instrumenting/exporters/ ｜ https://prometheus.io/docs/practices/naming/

<VERSION> / <xxx> 为占位符；当前大版本 3.x（含 LTS），精确版本号、下载文件名与镜像 tag 以官方最新稳定版为准。