TKE上自建prometheus如何不影响TMP监控数据采集

聂伟星 • 2023-01-02 • 云技术社区 • 278 阅读

首先我们了解下什么是tmp，腾讯云Prometheus 监控服务（Managed Service for Prometheus，TMP）是针对云原生服务场景进行优化的监控和报警解决方案，全面支持开源 Prometheus 的监控能力，为用户提供轻量、稳定、高可用的云原生 Prometheus 监控服务。借助 TMP，您无需自行搭建 Prometheus 监控系统，也无需关心数据存储、数据展示、系统运维等问题，只需简单配置即可享受支持多集群的高性能Prometheus 监控服务。

具体的介绍和使用可以参考文档https://cloud.tencent.com/document/product/457/71896

现在很多用户都会用tmp来监控腾讯云上的eks集群或者tke集群，但是之前的集群内可能已经部署了一套prometheus监控，那么再将集群关联到tmp上，tmp也会部署一套监控组件，这样会采集2份数据，从而导致数据重复，监控数据不准，那么要如何解决这个问题，不影响tmp的监控，同时也不影响自建prometheus监控？

下面我们就这个问题来分析下，看看如何解决这个问题

1. 问题现象

tmp实例关联了tke集群，并且tke集群内通过prometheus-operator部署一套prometheus，在tmp的grafana上查看监控数据，pod的limit是配置的2倍。

yaml配置的limit是4c，但是查看监控limit却是8c，这里是什么原因呢？

2. 问题分析

这里监控的值比设置的增加了一倍，说明肯定是2个采集job采集了同一个数据导致的，这里首先到控制台看下集群的监控采集配置，发现tmp里面集群的自定义监控默认会将自建的prometheus里面的ServiceMonitors全部加上，tmp默认也会给集群部署一套基础监控

那就是说有2个kube-state-metrics的采集job在采集数据到tmp的prometheus里面，所以导致到数据重复采集，监控数据不对。这里还有一个问题，就是为啥tmp关联tke集群，会自动将集群的ServiceMonitors全部加上呢？这里是因为tmp对于的prometheus配置导致的。

[niewx@VM-0-4-centos ~]$ k get prometheus tke-cls-xxx-n prom-xxxx -o yaml
apiVersion: monitoring.coreos.com/v1
kind: Prometheus
metadata:
  labels:
    k8a-app: prometheus-scraper
    prometheus-instance: prom-xxx
  name: tke-cls-xxx
  namespace: prom-xxx
spec:
  additionalScrapeConfigs:
    key: prometheus-config.yaml
    name: prometheus-config
  arbitraryFSAccessThroughSMs: {}
  externalLabels:
    cluster: cls-xxx
    cluster_type: tke
    mesh: mesh-xxx
  podMonitorNamespaceSelector:
    matchExpressions:
    - key: tps-skip-monitor
      operator: NotIn
      values:
      - "true"
  podMonitorSelector:
    matchExpressions:
    - key: tps-skip-monitor
      operator: NotIn
      values:
      - "true"
  resources: {}
  ruleSelector: {}
  rules:
    alert: {}
  scrapeInterval: 15s
  serviceMonitorNamespaceSelector:
    matchExpressions:
    - key: tps-skip-monitor
      operator: NotIn
      values:
      - "true"
  serviceMonitorSelector:
    matchExpressions:
    - key: tps-skip-monitor
      operator: NotIn
      values:
      - "true"

从上面的配置看，只有Namespace、serviceMonitor、podMonitor有tps-skip-monitor这个label，并且值不是true，都会添加到tmp的采集配置中，因此tmp将自建prometheus里面的serviceMonitor都加上了，导致数据重复采集。

3. 解决方案

既然上面已经分析问题原因了，就是因为tmp自己部署一个serviceMonitor，然后自建的prometheus也有一个serviceMonitor，tmp将这2个都配置了，导致数据重复。

这里的解决方案就是不让tmp重复采集，不采集自建prometheus的serviceMonitor即可，那么怎么才能不采集自建prometheus的serviceMonitor呢？
很多人会想觉得，控制台删除这些serviceMonitor就行了，这样确实能够解决tmp重复采集数据的问题，但是这里会有另外一个问题，就是控制删除serviceMonitor，会直接删除集群内的serviceMonitor资源，这样就影响自建prometheus 的监控数据采集了，导致监控数据采集不到。

既然不能删除，那么我们是不是可以不让tmp采集这些自建prometheus的serviceMonitor呢？

当然是可以的，其实从上面tmp的prometheus配置看就大概知道，要想不添加这些serviceMonitor，其实只需要serviceMonitor打上下面label，或者给serviceMonitor对于的namespace打上下面label就行。