VictoriaMetrics —— 高性能、低成本、兼容 Prometheus 的时序数据库与监控套件

分类：01 指标采集与时序存储 适用：Linux / 容器 / Kubernetes；从单机边缘节点到千万级活跃时序的大型集群 一句话：以单二进制或水平扩展集群提供 Prometheus 兼容的写入、查询与告警全链路，压缩比与资源成本显著优于原生 Prometheus 官方：https://docs.victoriametrics.com/ ｜ https://github.com/VictoriaMetrics/VictoriaMetrics 授权：Apache-2.0（开源版），另有企业版与云托管版

版本、镜像 tag、二进制资产名均以官方最新稳定版为准（见 releases 页）；生产固定版本，勿用 latest。

1. 它解决什么问题

不负责：日志/链路追踪（VictoriaLogs / VictoriaTraces）、通知落地（交 Alertmanager）；vmagent 复用 Prometheus SD 语法而非自研服务发现。

2. 核心概念与架构

关键术语

组件与数据流

  写入侧                              单节点版                    查询侧
  Prometheus --remote_write--> /api/v1/write --+--> vmsingle(8428) --/api/v1/query--> Grafana/VMUI
  Exporter --scrape--> vmagent ----------------+       | 本地盘 storageDataPath
  Influx/Graphite/OpenTSDB -------------------+       +-- vmbackup --> s3/gcs 快照
  集群版：写 --> vminsert(8480) --一致性哈希--> vmstorage(:8400)
          读 --> vmselect(8481) --扇出合并----> vmstorage(:8401)
  vmalert --查询--> vmselect/vmsingle --告警--> Alertmanager --> 邮件/Slack/Webhook
  vmauth --> 统一入口，按 token/路径做认证与租户路由

与 Prometheus 的兼容边界（重点）

3. 安装与部署

3.1 环境准备

3.2 多种安装方式

A. Docker 单节点（官方 Quick Start）

docker pull victoriametrics/victoria-metrics:latest
docker run -d --name vmsingle -p 8428:8428 \
  -v "$(pwd)/victoria-metrics-data:/victoria-metrics-data" \
  victoriametrics/victoria-metrics:latest -retentionPeriod=3 \
  -storageDataPath=/victoria-metrics-data

B. docker compose（vmsingle + vmagent + vmalert 最小套件）

services:
  vmsingle:
    image: victoriametrics/victoria-metrics:<version>
    command: ["-storageDataPath=/data", "-retentionPeriod=3"]
    volumes: ["./data:/data"]
    ports: ["8428:8428"]
  vmagent:
    image: victoriametrics/vmagent:<version>
    volumes: ["./scrape.yml:/etc/vmagent/scrape.yml:ro"]
    command: ["-promscrape.config=/etc/vmagent/scrape.yml", "-remoteWrite.url=http://vmsingle:8428/api/v1/write"]
  vmalert:
    image: victoriametrics/victoria-metrics:<version>
    volumes: ["./rules:/etc/rules:ro"]
    command: ["-rule=/etc/rules/*.yml", "-datasource.url=http://vmsingle:8428", "-notifier.url=http://alertmanager:9093"]

C. 二进制 + systemd

curl -LO "https://github.com/VictoriaMetrics/VictoriaMetrics/releases/latest/download/victoria-metrics-linux-amd64-<version>.tar.gz"
tar xzf victoria-metrics-linux-amd64-<version>.tar.gz
install -m 0755 victoria-metrics-prod /usr/local/bin/
useradd -r -s /sbin/nologin vm
mkdir -p /var/lib/victoria-metrics && chown vm:vm /var/lib/victoria-metrics
systemctl daemon-reload && systemctl enable --now vmsingle

# /etc/systemd/system/vmsingle.service
[Unit]
[Service]
User=vm
LimitNOFILE=65535
ExecStart=/usr/local/bin/victoria-metrics-prod -storageDataPath=/var/lib/victoria-metrics -retentionPeriod=3 -httpListenAddr=:8428 -memory.allowedBytes=4GB
Restart=on-failure
[Install]
WantedBy=multi-user.target

D. 包仓库（RPM/DEB）

sudo dnf -y install dnf-plugins-core
sudo dnf -y copr enable victoriametrics/VictoriaMetrics-LTS-rpm
sudo dnf makecache && sudo dnf -y install vmsingle vmagent vmalert vmctl

DEB / APT 仓库配置以官方文档为准（包名同上）。

E. Kubernetes Helm

helm repo add vm https://victoriametrics.github.io/helm-charts/ && helm repo update
helm install vms vm/victoria-metrics-k8s-stack -n monitoring --create-namespace

一体化套件含 vmagent/vmalert/Grafana 等；也可单独装 single / cluster / operator chart。

F. 集群版：镜像 victoriametrics/vminsert、vmselect、vmstorage；vminsert -storageNode=<st>:8400 接写入、vmselect -storageNode=<st>:8401 接查询、vmstorage 存本地盘；同类实例的 -storageNode 列表必须完全一致，端口见第 12 章。

3.3 首次启动与验证

curl -s http://localhost:8428/health && echo
curl -s http://localhost:8428/metrics | head
curl -s -X POST 'http://localhost:8428/api/v1/import/prometheus' --data-binary 'smoke_test{job="init"} 1'
curl -sG 'http://localhost:8428/api/v1/query' --data-urlencode 'query=smoke_test'

浏览器打开 http://<host>:8428/vmui 进入 VMUI 图形查询界面。

4. 配置文件详解

主配置：VictoriaMetrics 无单一主配置文件，以命令行 flag 为主；数据落在 -storageDataPath，附属配置如下。

完整可运行最小示例（三件套）

# scrape.yml —— vmagent 抓取配置
global:
  scrape_interval: 15s
scrape_configs:
  - job_name: node
    static_configs:
      - targets: ["<node-exporter-host>:9100"]
---
# rules/alert.yml —— vmalert 告警 + 记录规则
groups:
  - name: host
    interval: 15s
    rules:
      - alert: InstanceDown
        expr: up == 0
        for: 2m
      - record: job:up:avg
        expr: avg by (job) (up)

vmalert -rule=rules/*.yml -dryRun
vmalert -rule=rules/*.yml -datasource.url=http://<vm>:8428 -remoteWrite.url=http://<vm>:8428 -notifier.url=http://<am>:9093

5. 核心使用方法（CLI / HTTP API / MetricsQL / VMUI）

HTTP API · 写入（remote write 由 Prometheus/vmagent 发起：remote_write.url: http://<vm>:8428/api/v1/write；remote read 路径以官方文档为准）

curl -X POST 'http://<vm>:8428/api/v1/import/prometheus' --data-binary @metrics.txt
curl -X POST 'http://<vm>:8428/api/v1/import' --data-binary '{"metric":{"__name__":"room_temp","room":"101"},"values":[23.5],"timestamps":[<unix_ms>]}'
curl -X POST 'http://<vm>:8428/influx/write' --data-binary 'cpu,host=web01 usage=42.5 <unix_ns>'
curl -X POST 'http://<vm>:8428/api/v1/import/csv' --data-binary @data.csv
curl -X POST 'http://<vminsert>:8480/insert/0/prometheus/api/v1/write' --data-binary @payload

HTTP API · 查询与管理

curl -sG 'http://<vm>:8428/api/v1/query' --data-urlencode 'query=up'
curl -sG 'http://<vm>:8428/api/v1/query_range' --data-urlencode 'query=rate(node_cpu_seconds_total[5m])' --data-urlencode 'start=<unix_s>' --data-urlencode 'end=<unix_s>' --data-urlencode 'step=60s'
curl -sG 'http://<vm>:8428/api/v1/series' --data-urlencode 'match[]=up{job="node"}'
curl -sG 'http://<vm>:8428/api/v1/labels'
curl -sG 'http://<vm>:8428/api/v1/label/job/values'
curl -sG 'http://<vm>:8428/api/v1/export' --data-urlencode 'match[]={__name__=~".+"}' -o dump.jsonl
curl -s 'http://<vm>:8428/snapshot/create'
curl -s 'http://<vm>:8428/snapshot/delete?snapshot=<name>'
curl -s 'http://<vmalert>:8880/api/v1/rules'
curl -s -X POST 'http://<vmalert>:8880/-/reload'
curl -s 'http://<vm>:8428/metrics' | grep -E 'vm_(rows|free_disk_space_bytes)'

MetricsQL / PromQL（在 VMUI 或 query= 参数中使用；前 4 条标准 PromQL 完全兼容，后 7 条为 MetricsQL 扩展）

sum by (job) (rate(http_requests_total[5m]))
histogram_quantile(0.99, sum by (le) (rate(http_request_duration_seconds_bucket[5m])))
up == 0 or absent(up)
topk(10, rate(node_network_receive_bytes_total[5m]))
median_over_time(node_load1[1h])
quantiles("quantile", 0.5, 0.9, 0.99, rate(http_request_duration_seconds_bucket[5m]))
outlierIQR(cpu_usage[1h])
running_max(process_resident_memory_bytes)
keep_last_value(up[5m])
increase_pure(http_requests_total[5m])

CLI 工具

vmagent -promscrape.config=scrape.yml -promscrape.configCheck
vmagent -promscrape.config=scrape.yml -remoteWrite.url=http://<vm1>:8428/api/v1/write -remoteWrite.url=http://<vm2>:8428/api/v1/write
vmctl prometheus --prom-snapshot=<snapshot-dir> --vm-addr=http://<vm>:8428
vmctl vm-native --src-addr=http://<src>:8428 --dst-addr=http://<dst>:8428 --vm-native-filter.time-start=<RFC3339> --vm-native-filter.time-end=<RFC3339>
vmbackup -storageDataPath=/var/lib/victoria-metrics -snapshot.createURL=http://<vm>:8428/snapshot/create -dst=s3://<bucket>/vm/<date>
vmrestore -src=s3://<bucket>/vm/<date> -storageDataPath=/var/lib/victoria-metrics

VMUI：http://<vm>:8428/vmui 支持图形查询、瞬时/区间切换、Prettify 与查询分析。以上共 40+ 条可用命令。

6. 告警与通知

链路：vmalert（评估）→ Alertmanager（分组/抑制/静默/路由）→ 邮件 / Slack / Webhook；VM 自身不发通知。

# alertmanager.yml 最小示例
route:
  receiver: default
  repeat_interval: 4h
receivers:
  - name: default
    webhook_configs:
      - url: "http://<webhook-host>/alert"

vmalert -rule=/etc/vmalert/rules/*.yml -datasource.url=http://<vmselect>:8481/select/0/prometheus \
  -notifier.url=http://<am>:9093 \
  -remoteWrite.url=http://<vminsert>:8480/insert/0/prometheus/api/v1/write \
  -remoteRead.url=http://<vmselect>:8481/select/0/prometheus \
  -external.label=cluster=cn-east -evaluationInterval=15s

7. 实战场景

场景一：把现有 Prometheus 数据平滑接入 / 迁移（零停机双写）

目标：不停机、不丢历史，最终切读到 VM，且随时可回退。

curl -s http://<vm>:8428/health
# ② 源 Prometheus 追加 remote_write「双写」（本地 TSDB 保留），reload 不重启
curl -s -X POST http://<prom>:9090/-/reload
curl -s -X POST 'http://<prom>:9090/api/v1/admin/tsdb/snapshot'
vmctl prometheus --prom-snapshot=<prom-data-dir>/snapshots/<name> --vm-addr=http://<vm>:8428 --vm-concurrency=4
# 备选：已有 VM 时原生互迁
vmctl vm-native --src-addr=http://<old-vm>:8428 --dst-addr=http://<vm>:8428 --vm-native-filter.time-start=<RFC3339> --vm-native-filter.time-end=<RFC3339>
# ④ 双端对比 ⑤ 切读：Grafana 数据源 URL 改为 http://<vm>:8428
curl -sG 'http://<prom>:9090/api/v1/query' --data-urlencode 'query=count(up)'
curl -sG 'http://<vm>:8428/api/v1/query' --data-urlencode 'query=count(up)'

# prometheus.yml 追加片段
remote_write:
  - url: http://<vm>:8428/api/v1/write
    queue_config:
      max_samples_per_send: 10000
      capacity: 20000
      max_shards: 30

验证：两端 count(up) 与关键 rate() 曲线重合、VM /health 正常。回滚：删 remote_write 并 reload、Grafana 数据源改回 Prometheus、VM 数据保留不删；源 TSDB 全程未动，无数据风险。

场景二：vmagent 替换抓取 + 多远端 + 高基数标签治理

目标：降低抓取内存，一份数据双写主备 VM，入口拦截高基数标签。

global:
  scrape_interval: 15s
scrape_configs:
  - job_name: k8s-pods
    kubernetes_sd_configs:
      - role: pod
    relabel_configs:
      - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]
        action: keep
        regex: "true"
    metric_relabel_configs:
      - source_labels: [__name__]
        regex: ".*(user_id|request_id|session_id).*"
        action: labeldrop

vmagent -promscrape.config=scrape.yml -promscrape.configCheck
vmagent -promscrape.config=scrape.yml -remoteWrite.url=http://<vm-primary>:8428/api/v1/write -remoteWrite.url=http://<vm-dr>:8428/api/v1/write -remoteWrite.tmpDataPath=/var/lib/vmagent

验证：curl -s http://<vmagent>:8429/metrics | grep vmagent_remotewrite 两远端字节数均增长、两端 up 一致。回滚：停 vmagent、恢复原 Prometheus scrape_configs 并 reload；已写数据不受影响。

场景三：集群版多租户 + vmalert 记录规则降采样长留

目标：按业务线隔离租户，秒级明细聚合成 5 分钟均值写入冷实例。

vminsert -storageNode=<st1>:8400 -storageNode=<st2>:8400 -httpListenAddr=:8480
vmselect -storageNode=<st1>:8401 -storageNode=<st2>:8401 -httpListenAddr=:8481
curl -sG 'http://<vmselect>:8481/select/42/prometheus/api/v1/query' --data-urlencode 'query=up'
vmalert -rule=downsample.yml -datasource.url=http://<vm-hot>:8428 -remoteWrite.url=http://<vm-cold>:8428 -evaluationInterval=5m

groups:
  - name: downsample
    interval: 5m
    rules:
      - record: http:requests:rate5m
        expr: sum by (job) (rate(http_requests_total[5m]))

验证：租户 42/43 查询互不可见、vmselect 日志无 cannot connect to storageNode、cold 实例查 http:requests:rate5m 有点。回滚：Grafana 指回单节点双写实例、停 vmalert（cold 数据保留）；-storageNode 全量一致后滚动重启。

8. 日常运维与故障排查

systemctl status vmsingle vmagent vmalert && systemctl restart vmsingle
journalctl -u vmsingle -f --since "10 min ago"
docker logs -f vmsingle 2>&1 | grep -iE 'error|warn'
curl -s http://<vm>:8428/health
curl -s http://<vm>:8428/metrics | grep -E 'vm_(active_merges|rows|free_disk_space_bytes)'
curl -s 'http://<vm>:8428/debug/pprof/' | head

9. 性能、容量与高可用

• 单节点 HA：2+ vmsingle + vmagent 多 -remoteWrite.url 双写 + vmauth/LB 读均衡 + -dedup.minScrapeInterval 去重。
• 集群 HA：vmstorage 多节点 + vminsert/vmselect 无状态多副本；复制类参数以官方文档为准；⚠️ 勿同时重启全部 vmstorage。
• 降采样 / 对象存储：vmagent 流聚合、vmalert 记录规则回写冷实例、热/冷两套 VM；开源版数据落本地盘，用 vmbackup -dst=s3://... / gcs://... 异地快照，企业版/云版支持更深分层。
• 自监控：每组件 /metrics + 官方 Grafana dashboard；用一套独立小型 VM 监控生产 VM，避免自监控自瞎。

10. 安全加固、备份与升级

vmbackup -storageDataPath=/var/lib/victoria-metrics -snapshot.createURL=http://<vm>:8428/snapshot/create -dst=s3://<bucket>/vm/$(date +%F)
systemctl stop vmsingle
vmrestore -src=s3://<bucket>/vm/<date> -storageDataPath=/var/lib/victoria-metrics
chown -R vm:vm /var/lib/victoria-metrics && systemctl start vmsingle

⚠️ 恢复目标目录必须为空且版本与备份时一致。

11. 常见坑

12. 速查表

13. 选型建议与同类对比

何时选：已有 Prometheus 生态想低成本获得长期存储/全局查询；资源受限但基数高；希望单机起步、集群按需演进；需多协议写入与轻量 vmagent。 何时不选：只需单机短周期监控（原生 Prometheus 足够）；已重度投入 Thanos/Mimir 对象存储架构；核心诉求是日志或链路追踪；需要关系型/事务查询。

14. 参考链接

• 官网：https://victoriametrics.com/
• 官方文档：https://docs.victoriametrics.com/
• GitHub 仓库：https://github.com/VictoriaMetrics/VictoriaMetrics
• Releases（下载与版本）：https://github.com/VictoriaMetrics/VictoriaMetrics/releases
• Quick Start：https://github.com/VictoriaMetrics/VictoriaMetrics/blob/master/docs/Quick-Start.md
• vmalert 文档：https://github.com/VictoriaMetrics/VictoriaMetrics/blob/master/docs/vmalert.md
• 单节点版：https://docs.victoriametrics.com/Single-server-VictoriaMetrics.html
• 集群版：https://docs.victoriametrics.com/Cluster-VictoriaMetrics.html
• MetricsQL：https://docs.victoriametrics.com/MetricsQL.html
• Helm Charts：https://github.com/VictoriaMetrics/helm-charts