#Grafanaダッシュボードの設定

ノードが稼働したら、すべてが正常に機能しているか(そしてどのような収益を生み出しているか)を一目で監視できる便利な方法が欲しくなるでしょう。

これを実現するツールは数多く存在します。 最も人気のあるツールの1つがGrafanaです。ブラウザでアクセスできる使いやすい汎用ダッシュボードシステムです。

Rocket PoolはGrafanaとその依存関係をすぐに使えるようにサポートしており、各Consensusクライアント用に事前構築されたダッシュボードも付属しています。 例えば、Hoodiテストネットワークのダッシュボードのスナップショットは次のようになります。

標準ダッシュボードには、次の情報が便利な形式で含まれています。

• 左上: マシンの健全性とパフォーマンスに関する重要な統計情報、および保留中のシステムアップデート
• 右上: Beacon Chain上のvalidatorのアクティビティとパフォーマンス、ExecutionおよびConsensusクライアントの統計情報
• 左下: 参考のためのRocket Poolネットワーク全体の詳細
• 右下: ETHとRPLの両方のstaking報酬の詳細

このガイドでは、Rocket Poolのメトリクスシステムを有効にして、このダッシュボードを使用する方法(または独自のダッシュボードを構築する方法)を説明します。

#Rocket Pool Metricsスタックの概要

Smartnode設定プロセス中にメトリクスを有効にすることを選択すると、ノードに次のプロセスが追加されます。

• Prometheus - 上記のすべてのメトリクス(およびさらに多くのメトリクス)を収集、保存、レポートするデータ収集・保存・レポートシステムで、時間経過とともに確認できるように保存します
• Prometheus Node Exporter - マシンの健全性に関する情報(CPU使用率、RAM使用率、空きディスク容量とスワップ領域など)を収集し、Prometheusに報告するサービス
• Grafana、ノードでホストされている便利なウェブサイトを通じてPrometheusのデータを公開するツール
• 利用可能なOSアップデートをPrometheusに報告するオプションのカスタムスクリプトセット。システムにパッチが必要かどうかを確認できます

デフォルト設定では、Smartnodeの他のDockerコンテナと並んで存在するこれらすべてのサービスを含むDockerコンテナが作成されます。 Grafana用にノードマシンでポートが開かれるため、ローカルネットワーク上のブラウザを使用して任意のマシンからダッシュボードにアクセスできます。

#Metricsサーバーの有効化

rocketpool service config

rocketpool service install-update-tracker

docker restart rocketpool_exporter

--metrics --metrics.addr 0.0.0.0 --metrics.port 9105

--Metrics.Enabled true --Metrics.ExposePort 9105

--metrics-enabled --metrics-host=0.0.0.0 --metrics-port=9105

--metrics --metrics-address 0.0.0.0 --metrics-port 9100 --validator-monitor-auto

--metrics --metrics.address 0.0.0.0 --metrics.port 9100

--metrics --metrics-address=0.0.0.0 --metrics-port=9100

--monitoring-host 0.0.0.0 --monitoring-port 9100

--metrics-enabled=true --metrics-interface=0.0.0.0 --metrics-port=9100 --metrics-host-allowlist=*

wget https://github.com/prometheus/prometheus/releases/download/v2.45.3/prometheus-2.45.3.linux-amd64.tar.gz
wget https://github.com/prometheus/node_exporter/releases/download/v1.7.0/node_exporter-1.7.0.linux-amd64.tar.gz
wget https://github.com/prometheus/alertmanager/releases/download/v0.26.0/alertmanager-0.26.0.linux-amd64.tar.gz

sudo tar -zxvf prometheus-2.45.3.linux-amd64.tar.gz -C /usr/local/bin --wildcards '*/prometheus' --strip-components=1
sudo tar -zxvf node_exporter-1.7.0.linux-amd64.tar.gz -C /usr/local/bin --wildcards '*/node_exporter' --strip-components=1
sudo tar -zxvf alertmanager-0.26.0.linux-amd64.tar.gz -C /usr/local/bin --wildcards '*/alertmanager' --strip-components=1

sudo mkdir /etc/prometheus
sudo mkdir /etc/alertmanager
sudo mkdir /var/lib/prometheus
sudo mkdir /var/lib/alertmanager

global:
scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
scrape_timeout: 12s # Timeout must be shorter than the interval
evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.

scrape_configs:
- job_name: "prometheus"
static_configs:
- targets: ["localhost:9091"]

- job_name: "node"
static_configs:
- targets: ["localhost:9103"]
#     - targets: ['localhost:9103', 'node_hostname:9103']
- job_name: "eth1"
static_configs:
- targets: ["localhost:9105"]
# Uncomment the line below if you are using geth as Execution Client
#metrics_path: /debug/metrics/prometheus

- job_name: "eth2"
static_configs:
- targets: ["localhost:9100"]

- job_name: "validator"
static_configs:
- targets: ["validator:9101"]

- job_name: "rocketpool"
scrape_interval: 5m
scrape_timeout: 5m
static_configs:
- targets: ["node:9102"]

- job_name: "watchtower"
scrape_interval: 5m
scrape_timeout: 5m
static_configs:
- targets: ["watchtower:9104"]

alerting:
alertmanagers:
- static_configs:
- targets: ["localhost:9093"]

global:
# ResolveTimeout is the default value used by alertmanager if the alert does
# not include EndsAt, after this time passes it can declare the alert as resolved if it has not been updated.
# This has no impact on alerts from Prometheus, as they always include EndsAt.
# default = 5m
resolve_timeout: 5m

route:
# The labels by which incoming alerts are grouped together.
group_by: ["alertname"]
# How long to initially wait to send a notification for a group
# of alerts. Allows to wait for an inhibiting alert to arrive or collect
# more initial alerts for the same group.
group_wait: 30s
# How long to wait before sending a notification about new alerts that
# are added to a group of alerts for which an initial notification has
# already been sent. (Usually ~5m or more.)
group_interval: 5m
# How long to wait before sending a notification again if it has already been sent successfully for an alert.
repeat_interval: 4h
routes:
# severity=info: Don't send the follow-up resolved notification.
- match:
severity: info
continue: false
# The notification destination
receiver: "node_operator_no_resolved"
# all other alerts get sent notifications for the initial firing _and_ resolved notifications.
- receiver: "node_operator_default"
#match: We want this to match all alerts (severity=info is first though so it will stop)

# The notification destination
receiver: "node_operator_default"

receivers:
- name: "node_operator_default"
discord_configs:
- webhook_url: "https://discord.com/api/webhooks/1206697259694170212/_Pk1eVVgXFLdwU1k0rfwehSvNLiAQJytVV_Ze8QYOhupHnhiB5c8awPBTfuw41lN9GJk"

- name: "node_operator_no_resolved"
discord_configs:
- webhook_url: "https://discord.com/api/webhooks/1206697259694170212/_Pk1eVVgXFLdwU1k0rfwehSvNLiAQJytVV_Ze8QYOhupHnhiB5c8awPBTfuw41lN9GJk"
send_resolved: false

inhibit_rules:
# Inhibit rules mute a new alert (target) that matches an existing alert (source).
- source_match:
# if the existing alert (source) is severity=critical
severity: "critical"
target_match:
# and the new alert (target) is severity=warning
severity: "warning"
# and the alertname, job, and instance labels have the same value
equal: ["alertname", "job", "instance"]

sudo useradd -r -s /sbin/nologin prometheus
sudo useradd -r -s /sbin/nologin alertmanager

sudo chown prometheus:prometheus /usr/local/bin/prometheus
sudo chown alertmanager:alertmanager /usr/local/bin/alertmanager
sudo chown prometheus:prometheus /usr/local/bin/node_exporter
sudo chown -R prometheus:prometheus /etc/prometheus
sudo chown -R alertmanager:alertmanager /etc/alertmanager
sudo chown -R prometheus:prometheus /var/lib/prometheus
sudo chown -R alertmanager:alertmanager /var/lib/alertmanager
sudo chmod u+sx,g+sx,o-wx /usr/local/bin/prometheus
sudo chmod u+sx,g+sx,o-wx /usr/local/bin/alertmanager
sudo chmod u+sx,g+sx,o-wx /usr/local/bin/node_exporter

[Unit]
Description=Node metrics exporter for Prometheus
Documentation=https://prometheus.io/docs/introduction/overview
Wants=network-online.target
After=network-online.target

[Service]
User=prometheus
Group=prometheus
Type=simple
Restart=on-failure
WorkingDirectory=/var/lib/prometheus
RuntimeDirectory=node-exporter
RuntimeDirectoryMode=0750
ExecStart=/usr/local/bin/node_exporter --web.listen-address=:9103

[Install]
WantedBy=multi-user.target

[Unit]
Description=Prometheus instance
Documentation=https://prometheus.io/docs/introduction/overview
Wants=network-online.target
After=network-online.target

[Service]
User=prometheus
Group=prometheus
Type=simple
Restart=on-failure
WorkingDirectory=/var/lib/prometheus
RuntimeDirectory=prometheus
RuntimeDirectoryMode=0750
ExecStart=/usr/local/bin/prometheus --config.file /etc/prometheus/prometheus.yml --web.listen-address=:9091

[Install]
WantedBy=multi-user.target

[Unit]
Description=Alertmanager instance
Documentation=https://prometheus.io/docs/alerting/latest/alertmanager/
Wants=network-online.target
After=network-online.target

[Service]
User=alertmanager
Group=alertmanager
Type=simple
Restart=on-failure
WorkingDirectory=/var/lib/alertmanager
RuntimeDirectory=alertmanager
RuntimeDirectoryMode=0750
ExecStart=/usr/local/bin/alertmanager --config.file /etc/alertmanager/alertmanager.yml --web.listen-address=:9093

[Install]
WantedBy=multi-user.target

sudo systemctl daemon-reload

sudo systemctl enable node-exporter
sudo systemctl start node-exporter

sudo systemctl status node-exporter

sudo systemctl enable prometheus
sudo systemctl start prometheus

sudo systemctl enable alertmanager
sudo systemctl start alertmanager

sudo systemctl status prometheus
sudo systemctl status alertmanager

sudo apt-get update
sudo apt-get install -y apt-transport-https software-properties-common
sudo mkdir -p /etc/apt/keyrings/
wget -q -O - https://apt.grafana.com/gpg.key | gpg --dearmor | sudo tee /etc/apt/keyrings/grafana.gpg > /dev/null
echo "deb [signed-by=/etc/apt/keyrings/grafana.gpg] https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list

sudo apt-get update
sudo apt-get install grafana

apiVersion: 1

deleteDatasources:
- name: Prometheus
orgId: 1

datasources:
- name: Prometheus
type: prometheus
access: proxy
orgId: 1
url: http://localhost:9091
basicAuth: false
isDefault: true
version: 1
editable: true

sudo systemctl daemon-reload
sudo systemctl enable grafana-server
sudo systemctl start grafana-server

sudo systemctl status grafana-server

#監視用の接続を許可するようにファイアウォールを設定する

RP_NET=$(docker inspect rocketpool_net | grep -Po "(?<=\"Subnet\": \")[0-9./]+")
sudo ufw allow from $RP_NET to any port 9105 comment "Allow Prometheus access to Execution Client"
sudo ufw allow from $RP_NET to any port 9100 comment "Allow Prometheus access to Consensus Client"
sudo ufw allow from $RP_NET to any port 9103 comment "Allow Prometheus access to Exporter"

sudo ufw allow from 192.168.1.6 to any port 9100:9105 proto tcp comment 'Allow Prometheus host to scrape metrics of this host'

sudo ufw allow out from any to 192.168.1.5 port 9100:9105 proto tcp comment 'Allow this host to scrape node metrics'

その後、ファイアウォールを開いて、外部デバイスがGrafanaダッシュボードにアクセスできるようにすることができます。

# This assumes your local IP structure is 192.168.1.xxx
sudo ufw allow from 192.168.1.0/24 proto tcp to any port 3100 comment 'Allow grafana from local network'

# To allow any devices in the broader subnet
# for example allowing 192.168.2.20 to access
# grafana on 192.168.1.20
sudo ufw allow from 192.168.1.0/16 proto tcp to any port 3100 comment 'Allow grafana from local subnets'

# Allow any IP to connect to Grafana
sudo ufw allow 3100/tcp comment 'Allow grafana from anywhere'

#Grafanaのセットアップ

これでメトリクスサーバーの準備が整いました。ローカルネットワーク上の任意のブラウザでアクセスできます。

Smartnodeインストールモードについては、以下のタブを参照してください。

次のURLに移動し、必要に応じて変数をセットアップに置き換えます。

http://<your node IP>:<grafana port>

例えば、ノードのIPが192.168.1.5で、デフォルトのGrafanaポート3100を使用した場合、ブラウザで次のURLにアクセスします。

http://192.168.1.5:3100

次のようなログイン画面が表示されます。

デフォルトのGrafana情報は次のとおりです。

Username: admin
Password: admin

その後、adminアカウントのデフォルトパスワードを変更するように求められます。 強力なパスワードを選択し、忘れないようにしてください。

docker exec -it rocketpool_grafana grafana-cli admin reset-admin-password admin

sudo grafana-cli admin reset-admin-password admin

コミュニティメンバーのtedsteenの功績により、GrafanaはPrometheusインスタンスに自動的に接続されるため、収集したメトリクスにアクセスできます。 あとはダッシュボードを取得するだけです。

#Rocket Poolダッシュボードのインポート

GrafanaをPrometheusに接続したので、標準ダッシュボードをインポートできます(または、そのプロセスに精通している場合は、提供されるメトリクスを使用して独自のダッシュボードを構築できます)。

まず、Createメニュー(右側のバーのプラスアイコン)に移動し、Importをクリックします。

Import via grafana.comボックスでダッシュボードIDの入力を求められたら、21863を入力するか、完全なURL((https://grafana.com/grafana/dashboards/24900-rocket-pool-dashboard-v1-4-0/)を使用して、Loadボタンを押します。

ダッシュボードに関する情報(名前や保存場所など)が表示されます(デフォルトのGeneralフォルダで問題ありません。多くのダッシュボードを使用していて整理したい場合を除きます)。

下部のPrometheusドロップダウンには、**Prometheus (default)**というラベルの付いた単一のオプションのみが表示されるはずです。 このオプションを選択します。

画面は次のようになります。

一致する場合は、Importボタンをクリックすると、新しいダッシュボードにすぐに移動します。

一見すると、ノードとvalidatorに関する多くの情報が表示されます。 各ボックスには、左上隅に便利なツールチップ(iアイコン)が付いており、マウスを合わせると詳細を確認できます。 例えば、Your Validator Shareボックスのツールチップは次のとおりです。

ただし、設定はまだ完了していません。まだもう少し設定が必要です。

#システムに合わせてハードウェアモニターを調整する

ダッシュボードが起動したので、SSD LatencyやNetwork Usageなどのいくつかのボックスが空であることに気付くかもしれません。 これらをキャプチャする方法を認識できるように、特定のハードウェアに合わせてダッシュボードを調整する必要があります。

#CPU Temp

CPU温度ゲージを更新するには、CPU Tempボックスのタイトルをクリックし、ドロップダウンからEditを選択します。 画面は次のようになります。

これはGrafanaの編集モードです。表示される内容と見た目を変更できます。 Metrics browserボタンの右側にある、赤で強調表示されたクエリボックスに注目しています。

デフォルトでは、そのボックスには次のようなものがあります。

node_hwmon_temp_celsius{job="node", chip="", sensor=""}

このテキストには現在空白の2つのフィールドがあります: chipとsensor。 これらは各マシンに固有であるため、マシンが提供するものに基づいて入力する必要があります。

これを行うには、次の手順に従います。

1. , sensor=""の部分を削除して、chip=""}で終わるようにします。明確にするために、全体はnode_hwmon_temp_celsius{job="node", chip=""}になります。
2. chip=""の引用符の間にカーソルを置き、Ctrl+Spacebarを押します。これにより、利用可能なオプションが表示された自動補完ボックスが表示されます。次のようになります。

3. システムのCPUに対応するオプションを選択します。
4. それが選択されたら、, sensor=""を文字列に戻します。sensor=""の引用符の間にカーソルを置き、Ctrl+Spacebarを押して別の自動補完メニューを表示します。監視するセンサーを選択します。

k10temp-pci-00c3
Tctl:
  temp1_input: 33.500
Tdie:
  temp2_input: 33.500

選択に満足したら、画面の右上隅にある青いApplyボタンをクリックして設定を保存します。

#SSD Latency

SSD Latencyチャートは、読み取り/書き込み操作にかかる時間を追跡します。 これは、validatorのパフォーマンスが低下した場合に、SSDがボトルネックになっているかどうかを判断するのに役立ちます。 チャートで追跡するSSDを更新するには、SSD LatencyタイトルをクリックしてEditを選択します。

このチャートには、合計8つのdevice=""部分を持つ4つのクエリフィールド(4つのテキストボックス)があります。 追跡するデバイスで、これらの部分の最初の4つを更新する必要があります。

引用符の間にカーソルを置き、Ctrl+Spacebarを押してGrafanaの自動補完リストを表示し、各device=""部分の正しいオプションを選択します。 一番左の空の設定から始める必要があります。そうしないと、自動補完リストが表示されない場合があります。

lsblk

NAME        MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
...
loop25        7:25   0   132K  1 loop /snap/gtk2-common-themes/9
loop26        7:26   0  65,1M  1 loop /snap/gtk-common-themes/1515
nvme0n1     259:0    0 238,5G  0 disk
├─nvme0n1p1 259:1    0   512M  0 part /boot/efi
├─nvme0n1p2 259:2    0 150,1G  0 part /
├─nvme0n1p3 259:3    0  87,4G  0 part
└─nvme0n1p4 259:4    0   527M  0 part

オプションで、システム上の2番目のディスクのレイテンシを追跡することもできます。 これは、OSとチェーンデータを別々のドライブに保存している人を対象としています。 これを設定するには、上記の指示に従って最後の2つのクエリフィールドを設定し、device=""部分の値を追跡するディスクの値に置き換えます。

選択に満足したら、画面の右上隅にある青いApplyボタンをクリックして設定を保存します。

#Network Usage

このチャートは、特定のネットワーク接続を介して送受信しているデータ量を追跡します。 ご想像のとおり、ダッシュボードは追跡するネットワークを知る必要があります。

変更するには、Network UsageタイトルをクリックしてEditを選択します。

このチャートには、合計2つのdevice=""部分を持つ2つのクエリフィールドがあります。 追跡するネットワークでこれらを更新する必要があります。

引用符の間にカーソルを置き、Ctrl+Spacebarを押してGrafanaの自動補完リストを表示し、各device=""部分の正しいオプションを選択します。

sudo route

Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
default         192.168.1.1     0.0.0.0         UG    100    0        0 eth0
192.168.1.0     0.0.0.0         255.255.255.0   U     0      0        0 eth0
192.168.1.1     0.0.0.0         255.255.255.255 UH    100    0        0 eth0

選択に満足したら、画面の右上隅にある青いApplyボタンをクリックして設定を保存します。

#Total Net I/O

これは、送受信したデータの総量を追跡します。 例えば、ISPが月ごとに特定の量のデータに制限している場合に便利です。

設定は上記のNetwork Usageボックスと同じであるため、このボックスについても同じ指示に従ってください。

#Disk Space Used

これは、OSディスクがどれだけいっぱいになっているかを追跡するため、クリーンアップする時期(そしてチェーンデータが同じドライブにある場合は、GethまたはNethermindをプルーニングする時期)がわかります。

手順は上記のSSD Latencyボックスと同じであるため、このボックスについても同じ指示に従ってください。 念のため、これについてはOSドライブになるため、MOUNTPOINT列に/があるパーティションを収容するドライブが必要です。 これを最初のクエリフィールドに入力します。

オプションで、システム上の2番目のディスクの空き容量を追跡することもできます。 これは、OSとチェーンデータを別々のドライブに保存している人を対象としています。 同じプロセスに従ってこれを設定しますが、MOUNTPOINT列に/があるパーティションを見る代わりに、2番目のドライブのマウントポイントがあるパーティションを探します。 そのパーティションに関連付けられたディスクで2番目のクエリフィールドを更新します。

#Disk Temp

これは、OSディスクの現在の温度を追跡します。手順は上記のCPU Tempボックスと同じであるため、このボックスについても同じ指示に従い、CPUチップとセンサーの値をOSディスクの値に置き換えます。これらの値を最初のクエリフィールドに入力します。

オプションで、システム上の2番目のディスクの現在の温度を追跡することもできます。同じプロセスに従ってこれを設定し、チップとセンサーの値を2番目のドライブの値に置き換えます。これらの値を2番目のクエリフィールドに入力します。

#ダッシュボードのカスタマイズ

標準ダッシュボードは、一目で見たいすべてのものをキャプチャするのに適していますが、Grafanaダッシュボードは好きなようにカスタマイズするのは非常に簡単です。 新しいグラフを追加したり、グラフの見た目を変更したり、物を移動したりすることができます。

Grafanaのチュートリアルページを見て、操作方法や好みに合わせて設定する方法を学んでください。

#Metricsスタックのカスタマイズ

Rocket Pool Metricsスタックで使用されるツールは、デフォルトのRocket Poolインストールに含まれているもの以外にも、さまざまな設定オプションを提供します。このセクションには、さまざまなユースケースの設定例が含まれています。

一般的に、Grafana設定オプションは、override/grafana.ymlで環境変数を使用して渡す必要があります。すべての設定オプションは、次の構文を使用して環境変数に変換できます。

GF_<SectionName>_<KeyName>

#メール送信用のGrafana SMTP設定

Grafanaからメールを送信するには、例えばアラートや他のユーザーを招待するために、Rocket Pool MetricsスタックでSMTP設定を構成する必要があります。 参考としてGrafana SMTP構成ページを参照してください。

version: "3.7"
services:
grafana:
x-rp-comment: Add your customizations below this line
environment:
## SMTP settings start, replace values with those of your SMTP provider
- GF_SMTP_ENABLED=true
- GF_SMTP_HOST=mail.example.com:`port` # Gmail users should use smtp.gmail.com:587
- GF_SMTP_USER=admin@example.com
- GF_SMTP_PASSWORD=password
- GF_SMTP_FROM_ADDRESS=admin@example.com
- GF_SMTP_FROM_NAME="Rocketpool Grafana Admin"
## SMTP server settings end

[smtp]
enabled = true
host = mail.example.com:`port` # Gmail users should use smtp.gmail.com:587
user = admin@example.com
# If the password contains # or ; you have to wrap it with triple quotes. Ex """#password;"""
password = """passw0rd"""
from_address = admin@example.com
from_name = "Rocketpool Grafana Admin"

これらの変更を行った後、次のコマンドを実行して変更を適用します。

docker stop rocketpool_grafana

rocketpool service start

sudo systemctl restart grafana-server

SMTP設定をテストするには、Alertingメニューに移動してContact pointsをクリックします。

New contact pointをクリックし、Contact point typeとしてEmailを選択します。 Addressesセクションにメールアドレスを入力し、Testをクリックします。

テストメールが受信されたことを確認します。 完了したらSave contact point*をクリックします。