PostgreSQL açık kaynak kodlu, çok yönlü ve dünyadaki en yaygın veritabanı sistemlerinden biridir. Her ne kadar çok yönlü ve yaygın olsa da Yüksek Erişilebilirlik(HA) için bir çözüm sunmamaktadır.
Patroni Nedir ?
Patroni yüksek erişilebilir PostgreSQL clusterlarının kurulumlarını, yönetimlerini vb. süreçleriniz otomatize edebileceğiniz bir cluster manager aracıdır. Python diliyle yazılmıştır ve maksimum erişilebilirlik için etcd kullanır. Ek olarak Patroni veritabanı replikasyonu, backup ve konfigürasyon restore etme konularında da yeteneklidir.
PostgreSQL Cluster Ana Bileşenleri
-
Patroni : Yüksek erişilebilir PostgreSQL clusterlarının konfigürasyonu için template sağlar.
-
ETCD : PostgreSQL clusterının anlık durumunu saklar. Eğer herhangi bir PostgreSQL node'unuzda değişilik olursa Patroni , ETCD içerisinde saklanan key-value değerini günceller. ETCD bu bilgiyi cluster içindeki master node seçimi için kullanır ve clusterı devamlı ayakta tutar.
-
HAProxy : Master/Slave nodelar arasındaki değişiklikleri takip eder ve herhangi bir clienttan istek geldiğinde master node üzerinde bağlantıyı gerçekleştirir.
Bu yazımızda Ubuntu 20.04 işletim sistemi üzerinde Patroni ile 4 adet node bulunduran cluster kurulumu gerçekleştireceğiz.
Aşağıdaki adımları hiç birini atlamadan takip edin ve kendi node bilgilerinize göre gereken güncellemeleri yapın .
| Servers | Application | IP Address |
|---|---|---|
| node1 | Postgres, Patroni | 10.0.0.1 |
| node2 | Postgres, Patroni | 10.0.0.2 |
| node3 | etcd | 10.0.0.3 |
| node4 | HAProxy | 10.0.0.4 |
1. PostgreSQL Kurulumunu Gerçekleştirin
İlk olarak yapmanız gereken node1 ve node2 üzerinde PostgreSQL kurulumunu gerçekleştirmek. Aşağıdaki komut ile kolayca PostgreSQL kurulumunu gerçekleştirin.
apt install postgresql postgresql-contrib -y
Kurulumdan sonra aşağıdaki komut ile bütün node'larda PostgreSQL servisini durdurun.
systemctl stop postgresql
Sıradaki adımda, /usr/lib/postgresql/12/bin/ ile /usr/sbin dizinleri arasında symlink'e ihtiyacınız var çünkü Patroni tarafından ihtiyaç duyulan araçlar bu dizinde bulunmakta. Aşağıdaki komut ile işlemi gerçekleştirin.
ln -s /usr/lib/postgresql/12/bin/* /usr/sbin/
2. Patroni, ETCD ve HAProxy Kurulumlarını Gerçekleştirin
İlk olarak, node1 ve node2 üzerinde gerekli paketlerin yüklemesini aşağıdaki komut ile gerçekleştirin.
apt -y install python3-pip python3-dev libpq-dev
Şimdi PIP güncel sürüm yükseltmesini aşağıdaki komut ile gerçekleştirin.
pip3 install --upgrade pip
Son olarak, PIP komutunu kullanarak node1 ve node2 üzerinde Patroni ve diğer gereksinimlerin kurulumunu gerçekleştirin.
pip install patroni
pip install python-etcd
pip install psycopg2
Şu anda Patroni node1 ve node2 makineleri üzerinde kurulmuş durumda.
Şimdi ETCD servisimizin çalışacağı node3 makinesine ulaşın ve aşağıdaki komut ile kurulumu gerçekleştirin.
apt -y install etcd
Kurulumun bitmesinin ardından node4 makinesine giriş yapın ve HAproxy servisini aşağıdaki komut ile yükleyin.
apt -y install haproxy
3. ETCD ve Patroni Konfigürasyonlarını Düzenleyin
ETCD ana konfigürasyon dosyası aşağıdaki dizinde bulunmaktadır .
/etc/default/etcd
Nano editör ile konfigürasyon dosyasını düzenleyin.
nano /etc/default/etcd
Aşağıdaki konfigürasyonları ekleyin. Kendi IP bilgilerinize göre güncellemeyi unutmayın .
ETCD_LISTEN_PEER_URLS = "http://10.0.0.3:2380,http://127.0.0.1:7001"
ETCD_LISTEN_CLIENT_URLS = "http://127.0.0.1:2379, http://10.0.0.3379"
ETCD_INITIAL_ADVERTISE_PEER_URLS = "http://10.0.0.3:2380"
ETCD_INITIAL_CLUSTER = "etcd0=http://10.0.0.3:2380"
ETCD_ADVERTISE_CLIENT_URLS = "http://10.0.0.3:2379"
ETCD_INITIAL_CLUSTER_TOKEN = "node1"
ETCD_INITIAL_CLUSTER_STATE = "new" Konfigürasyon dosyasını düzenleyip ETCD servisini yeniden başlatın.
systemctl restart etcd
Aşağıdaki komut ile servis durumunu görüntüleyebilirsiniz.
systemctl status etcd
Şimdi node1 ve node2 için patroni.yml dosyası oluşturmanız gerekiyor. Node1 üzerinde aşağıdaki komut ile yeni bir patroni.yml dosyası oluşturup sıradaki konfigürasyonları ekleyin.
nano /etc/patroni.yml
scope: postgres
namespace: /db/
name: postgresql0
restapi:
listen: 10.0 .0 .1 : 8008
connect_address: 10.0 .0 .1 : 8008
etcd:
host: 10.0 .0 .3 : 2379
bootstrap:
dcs:
ttl: 30
loop_wait: 10
retry_timeout: 10
maximum_lag_on_failover: 1048576
postgresql:
use_pg_rewind: true
initdb:
- encoding: UTF8
- data-checksums
pg_hba:
- host replication replicator 127.0 .0 .1 / 32 md5
- host replication replicator 10.0 .0 .1 / 0 md5
- host replication replicator 10.0 .0 .2 / 0 md5
- host all all 0.0 .0 .0 / 0 md5
users:
admin:
password: admin
options:
- createrole
- createdb
postgresql:
listen: 10.0 .0 .1 : 5432
connect_address: 10.0 .0 .1 : 5432
data_dir: /mnt/ patroni
pgpass: /tmp/ pgpass
authentication:
replication:
username: replicator
password: "Strong Password"
superuser:
username: postgres
password: "Strong Password"
parameters:
unix_socket_directories: '.'
tags:
nofailover: false
noloadbalance: false
clonefrom: false
nosync: false Dosyayı kaydedin, ardından Patroni için bir data dizini oluşturun ve sahipliğini düzenleyin.
mkdir -p /mnt/ patroni
chown postgres:postgres /mnt/ patroni
chmod 700 /mnt/ patroni Ardından Node2 üzerinde aşağıdaki benzer işlemleri gerçekleştirin.
nano /etc/patroni.yml
Aşağıdaki konfigürasyonları ekleyin.
scope: postgres
namespace: /db/
name: postgresql1
restapi:
listen: 10.0 .0 .2 : 8008
connect_address: 10.0 .0 .2 : 8008
etcd:
host: 10.0 .0 .3 : 2379
bootstrap:
dcs:
ttl: 30
loop_wait: 10
retry_timeout: 10
maximum_lag_on_failover: 1048576
postgresql:
use_pg_rewind: true
initdb:
- encoding: UTF8
- data-checksums
pg_hba:
- host replication replicator 127.0 .0 .1 / 32 md5
- host replication replicator 10.0 .0 .1 / 0 md5
- host replication replicator 10.0 .0 .2 / 0 md5
- host all all 0.0 .0 .0 / 0 md5
users:
admin:
password: admin
options:
- createrole
- createdb
postgresql:
listen: 10.0 .0 .2 : 5432
connect_address: 10.0 .0 .2 : 5432
data_dir: /mnt/ patroni
pgpass: /tmp/ pgpass
authentication:
replication:
username: replicator
password: "Strong Password"
superuser:
username: postgres
password: "Strong Password"
parameters:
unix_socket_directories: '.'
tags:
nofailover: false
noloadbalance: false
clonefrom: false
nosync: false Kaydedin ve Node1 üzerinde de yaptığınız gibi data dizini oluşturun.
mkdir -p /mnt/ patroni
chown postgres:postgres /mnt/ patroni
chmod 700 /mnt/ patroni Patroni İçin Systemd Dosyası Oluşturun.
Node1 ve Node2 üzerinde Patroni servisini yönetmek için aşağıdaki servis dosyasını oluşturun.
nano /etc/systemd/system/patroni.service
Aşağıdaki konfigürasyonları ekleyin.
[Unit]
Description =Runners to orchestrate a high-availability PostgreSQL
After =syslog.target network.target
[Service]
Type =simple
User =postgres
Group =postgres
ExecStart =/usr/local/bin/patroni /etc/patroni.yml
KillMode =process
TimeoutSec =30
Restart = no
[Install]
WantedBy =multi-user.targ Dosyayı kaydedin ve ardından aşağıdaki komutu çalıştırın.
systemctl daemon-reload
Şimdi Node1 ve Node2 üzerinde Patroni servisini çalıştırın. DİKKAT EDİN YALNIZCA PATRONI .
systemctl start patroni
Patroni servisinin durumunu aşağıdaki komutla kontrol edebilirsiniz.
systemctl status patroni
Yalnızca Patroniyi çalıştırma sebebimize gelecek olursak, Konfigürasyonlardan da gördüğünüz üzere Patroni PostgreSQL ile aynı porta bind edili durumda ve kendine ait farklı bir data dizini ile konfigürasyonları mevcut. Bu da Postgresql servisini patroni üzerinden kullandığımız anlamına geliyor. Yani özetleyecek olursak postgresql ve patroni bir arada çalışıyor olursa 5432 portundan bağlandığınızda replikasyon işlemi gerçekleşmemiş olacak çünkü postgresql data dizini üzerinden bağlanıyor olacaksınız.
4. HAProxyi Konfigürasyonunu Düzenleyin
Node4 üzerinde HAProxy ana konfigürasyonunu aşağıdaki şekilde düzenleyin.
nano /etc/haproxy/haproxy.cfg
Standart konfigürasyonu kaldırın ve aşağıdaki şekilde güncelleyin
global
maxconn 100
defaults
log global
mode tcp
retries 2
timeout client 30m
timeout connect 4s
timeout server 30m
timeout check 5s
listen stats
mode http
bind *:7000
stats enable
stats uri /
listen postgres
bind *:5000
option httpchk
http-check expect status 200
default-server inter 3s fall 3 rise 2 on-marked-down shutdown-sessions
server postgresql1 10.0.0.1:5432 maxconn 100 check port 8008
server postgresql2 10.0.0.2:5432 maxconn 100 check port 8008 Dosyayı kaydedin ve HAProxy servisini yeniden başlatın.
systemctl restart haproxy
Durumunu doğrulamak için aşağıdaki komutu kullanabilirsiniz.
systemctl status haproxy
5. PostgreSQL Clusterına Erişin
Artık postgresql clusterınız kullanıma hazır. http://10.0.0.4:7000 adresi üzerinden cluster durumunuzu görüntüleyebilir ve 5432 portundan veritabanınıza bağlanarak replikasyon kontrol testlerinizi gerçekleştirebilirsiniz. Bir sonraki yazımızda da Nginx ile clusterınıza nasıl domain tanımlayacağınızı anlatacağız . Görüşmek üzere :)
