Laravel Türkiye Discord Kanalı Forumda kod paylaşılırken dikkat edilmesi gerekenler!Birlikte proje geliştirmek ister misiniz?

Kuyruk ve Supervizor İşlemleri

Kevin-Mitnick · 2019-08-07T11:18:01+00:00

Selamlar büyük bir proje devraldım . Kuyruk işlemleri mevcut ve ben projeyi yeni sunucuya taşıdım. Jobs tablosu vs şuan herşey hazır . Sunucuya supervizor ku...

YalcinSahin

mgsmus
Merhaba,

Bunu okumuştum. Centos için destek var mı sadece onu bilmiyordum. Şu an ubuntuya kendi çabalarımla pleskdesk kurdum. Trial versiyon kuruldu.

Plesk kısmında aşağıdaki kısımlarda problem gösteriyor disk kısmında:

/snap/core/5548" kullanımı %100
"/snap/core/6034" kullanımı %100
"/snap/core/7270" kullanımı %100

Ne yapmam gerekiyor , biliyor musunuz ?

mgsmus

YalcinSahin Genellikle CentOS'da destek yok Ubuntu'da var gibi olmaz. Unix sistemlerde sadece uygulamaların dağıtım şekli değişiyor. Mesela Ubuntu deb kullanır, apt uygulaması ile uygulamalar üzerinde işlem yapar (kurulum, kaldırma, güncelleme vs...); CentOS ise paket olarak rpm kullanır, uygulama yöneticisi olarak yum kullanır.

Uygulamaların da resmi ve gayrı resmi dağıtım kanalları olur. Uygulama resmi kanalda varsa direk kurulabilir, örneğin Ubuntu'da apt-get install supervisor gibi. Resmi kanallarda yoksa gayrı resmi kanallar sisteme eklenerek ya da farklı paket yöneticileri kullanılarak kurulabilir.

/snap/core ile ilgili kısmı bilmiyorum bakmam lazım.

mgsmus

YalcinSahin Snap, uygulamaların ve bağımlılıklarının farklı Linux dağıtımında değişiklik yapılmadan çalışan bir paketi imiş. Kullandığı format snap formatı SquashFS dosyası olup ve /snap/<snap name>/<revision>/ şeklinde saklanıyormuş. Sadece okuma yapılabildiği için de aynı iso dosyası gibi bulunduğu alanın %100'ünü kaplıyor gözüküyormuş. Yani onlar problem değil, Plesk bilmediği için direkt boyuttan uyarı veriyordur.

YalcinSahin

mgsmus

Merhaba ,

Supervisor konusunda da birkaç şey sormak istiyorum.

Şimdi http://supervisord.org/installing.html kısmını okuyarak pip install supervisor kullanarak supervisor kurdum. Tabi burda pip desteğim olmadığı için bunların dosyalarını da ekledim.

supervisor kurarken : DEPRECATION: Python 2.7 will reach the end of its life on January 1st, 2020. Please upgrade your Python as Python 2.7 won't be maintained after that date. A future version of pip will drop support for Python 2.7. More details about Python 2 support in pip, can be found at https://pip.pypa.io/en/latest/development/release-process/#python-2-support

bu şekilde bir warning olduğu için bir de laravel dökümanındaki sudo apt-get install supervisor komutuyla tekrar bir kurulum yaptım 🙂

şu an etc klasöründe supervisord.conf dosyası var ve ayrı olarak da laravelden oluşturduğum supervisor klasörü var.
Ben bu supervisor klasörünü baz alıp işlemlere devam ettim. Buradaki conf.d klasörüne girdim. Şu an bu klasör boş. Bunun içine de aynı dökümandaki gibi laravel-worker.conf olarak bir dosya oluşturdum.

[program:laravel-worker]
process_name=%(program_name)s_%(process_num)02d
command=php /home/forge/app.com/artisan queue:work sqs --sleep=3 --tries=3
autostart=true
autorestart=true
user=forge
numprocs=8
redirect_stderr=true
stdout_logfile=/home/forge/app.com/worker.log

Ben bu kısımda commanda kısmında : php (artisanın bulunduğu yol : /var/www/vhosts/domain/httpdocs/Laravel/artisan) queue:work olarak mı çalıştırmam gerekecek ?

Burada sürekli kuyruğu çalıştırmak istiyorum ve farklı farklı kuyruklar asenkron çalışsın yani.
Bunun için ayrı ayrı conf yazmam gerekecek sanırım.

YalcinSahin

mgsmus

Merhaba,

Bilgilendirme için çok teşekkür ederim.

ac1919

sineld üstat bu kurulum ayarı sadece nginx sunucu için mi geçerli ?

sineld

Ben burada nginx kullanıyorum ama siz kullanmakta olduğunuz servisin ismini yazabilirsiniz. apache, apache2 veya httpd olacaktır seçenekler sanırım. Belgeleri incelemek gerek.

mgsmus

YalcinSahin Ben bu kısımda commanda kısmında : php (artisanın bulunduğu yol : /var/www/vhosts/domain/httpdocs/Laravel/artisan) queue:work olarak mı çalıştırmam gerekecek ?

Evet. Farklı PHP versiyonları da varsa PHP yolunu da tam yazmanız lazım. /usr/bin/php72/php gibi mesela.

YalcinSahin Burada sürekli kuyruğu çalıştırmak istiyorum ve farklı farklı kuyruklar asenkron çalışsın yani.
Bunun için ayrı ayrı conf yazmam gerekecek sanırım.

Aynı config dosyası içinde farklı bloklar yazmanız lazım:

[program:laravel-worker]
process_name=%(program_name)s_%(process_num)02d
command=php /var/www/vhosts/domain/httpdocs/Laravel/artisan queue:work --queue=kuyruk1 sqs –sleep=3 –tries=3
...

[program:laravel-worker-2]
process_name=%(program_name)s_%(process_num)02d
command=php /var/www/vhosts/domain/httpdocs/Laravel/artisan queue:work --queue=kuyruk2 sqs –sleep=3 –tries=3
...

[program:laravel-worker-3]
process_name=%(program_name)s_%(process_num)02d
command=php /var/www/vhosts/domain/httpdocs/Laravel/artisan queue:work --queue=kuyruk3 sqs –sleep=3 –tries=3
...

gibi. Bunun yerine ama Horizon kullanmanızı tavsiye ederim. Horizon kullanırsanız tek supervizor ile işi hallederseniz ve Horizon'un güzel yanı kuyruklar arası dengeyi düzenleyip işleri ona göre dağıtıp ateşlemesi. Bu dengeyi de kendiniz belirleyebiliyorsunuz (balance ayarı)

ac1919

@mgsmus konuya giriyorum ama cevap verirseniz sevinirim, bir projede farkli farkli joblarin ateslenmesi icin birden fazla mi supervisor islemi yapmamiz gerekiyor ?

mgsmus

ac1919 Hayır.

Bunun adı kuyruk, yani işler sıraya dizilecek, daha sonra sırası gelen ateşlenecek demek. @YalcinSahin istediği aynı anda birden fazla işi ateşletmek. O yüzden birden fazla worker dediğimiz kuyruk işleyiciye ihtiyacı var.

YalcinSahin

mgsmus

Merhaba,

Peki bunları yaptıktan sonra supervisoru başlattık. Supervisor sürekli olarak ben dur komutu verene kadar çalışacak mı ?

Bununla ilgili okuduğum kadarıyla bunun da çalışması için script yazılıp cronjob yapılmış. Ne kadar doğru emin olamadım tabi.

YalcinSahin

mgsmus

Merhaba,

Kuyruklama olarak database üzerinden işlem sağlıyordum. Uzun zamandır da bunu kullanıyordum. Ama işler büyüdükçe kontrol edilmesi zor bir hal aldı.

Redis ve Horizon kullanmak istiyorum.

Ama bazı sorularım olacak. Yardımcı olabilir misiniz ?

Öncelikle Redis'i anlamak için http://aristona.github.io/redis-kullanimi-ve-incelikleri bu yazıyı okudum.

Her sorgunun güzel kurgulanması lazımmış.

1- Senkron çalıştığı için son derece hızlıdır. Bu kısım benim yapıma uygun mudur? Yukarıdaki kullanım gibi kuyruk belirtebiliyor muyum ?

2- Veriyi hem RAM üzerine hem de ayarlandığınız konfigürasyona göre disk üzerine kaydedebilir. Sanırım disk dediğimiz burada veritabanı olacak. RAM üzerinden nasıl çalıştırılabiliyor ? (Sunucu kaynağım 120Gb ssd, 8gb ram ,cpu 4 vCore)

3- Redis için laravel kurulum dokümanına baktım. composer require predis/predis bu paketi kullanmayın ileride kalkacak diye not düşülmüş. Bunu nasıl yükleyebilirim ?
Plesk altına yüklemek için şöyle bir adım da buldum https://ontwerps.nl/install-redis-with-plesk-onyx

Şu aşamada tüm yaptığım projeleri anında bu sisteme geçiremem. Bunu 2 parça şeklinde çalıştırabilme durumum var mı ?

Son olarak bu konularda takip edebileceğim detaylı bir örnek elinizde varsa memnun olurum.

mgsmus

YalcinSahin Evet. Sunucu resetlese bile açılışta supervisor kuyruk işleyicisini otomatik tekrar başlatacak. Cronjob ile ilgisi yok. Onu yapan başka bir iş için yapmıştır. Ayrıca kuyruk işleyicisi durdurulmaz; siz iş göndermeyi kesersiniz. Mantığınızı buna göre oturtun.

YalcinSahin

mgsmus

Merhaba,

Laravel horizon , sanırım sadece Redis ile bağlantılar için kullanılabiliyor

mgsmus

YalcinSahin Evet, Redis lazım. Şimdi farkettim siz Amazon SQS kullanıyorsunuz.

YalcinSahin

mgsmus

Merhaba,

Conf dosyasını oluşturdum. Supervisor klasörü içinde sudo supervisorctl reread komutunu çalıştırdım.

ERROR: CANT_REREAD: Invalid user name forge in section 'program:laravel-worker' (file: '/etc/supervisor/conf.d/laravel-worker.conf')

şeklinde hata verdi. Conf dosyasındaki user kısmını pasif ettim ; koyarak.

Sonraki aşamalar:

sudo supervisorctl reread
laravel-worker: available

sudo supervisorctl update
laravel-worker: added process group

sudo supervisorctl start laravel-worker:*

log dosyalarını kontrol ettiğimde ise :

[Symfony\Component\Debug\Exception\FatalThrowableError]
Class 'Aws\Sqs\SqsClient' not found

hatası vermiş. Composerdan paket yüklemem mi gerekli ?

YalcinSahin

Merhaba Paketi yükledim, daha sonrasında aşağıdaki komutları tekrardan çalıştırdım. 8 tane process started olarak işleme alındı.

sudo supervisorctl update

sudo supervisorctl start laravel-worker:*

Bunlar da logları:

2019-08-19 11:12:15,660 INFO exited: laravel-worker_06 (exit status 0; expected)
2019-08-19 11:12:16,636 INFO success: laravel-worker_00 entered RUNNING state, p rocess has stayed up for > than 1 seconds (startsecs)
2019-08-19 11:12:16,636 INFO success: laravel-worker_03 entered RUNNING state, p rocess has stayed up for > than 1 seconds (startsecs)
2019-08-19 11:12:16,638 INFO spawned: 'laravel-worker_06' with pid 8066
2019-08-19 11:12:16,643 INFO exited: laravel-worker_07 (exit status 0; expected)
2019-08-19 11:12:17,604 INFO success: laravel-worker_02 entered RUNNING state, p rocess has stayed up for > than 1 seconds (startsecs)
2019-08-19 11:12:17,606 INFO spawned: 'laravel-worker_07' with pid 8090
2019-08-19 11:12:17,612 INFO exited: laravel-worker_05 (exit status 0; expected)
2019-08-19 11:12:17,621 INFO spawned: 'laravel-worker_05' with pid 8091
2019-08-19 11:12:17,621 INFO exited: laravel-worker_01 (exit status 0; expected)
2019-08-19 11:12:17,938 INFO spawned: 'laravel-worker_01' with pid 8101
2019-08-19 11:12:17,938 INFO success: laravel-worker_06 entered RUNNING state, p rocess has stayed up for > than 1 seconds (startsecs)
2019-08-19 11:12:17,943 INFO exited: laravel-worker_04 (exit status 0; expected)

Ama database kısmında jobs ile ilgili bir şeyler azalmıyor.

mgsmus

YalcinSahin Database derken? SQS kullanmıyor musunuz?

YalcinSahin

mgsmus Merhaba,

env('QUEUE_DRIVER', 'database'), database kullanıyorum.

sqs kaldırıp çalıştırmayı denediğimde de aynı durum var. Herhangi bir hata yok ama veritabanı çalışmıyor.

YalcinSahin

mgsmus

Merhaba,

Yaptığım hatayı çözdüm. sqs yerine database kullandım. Ayrıca metoduma --daemon ekledim. Restart edince sistemi çalışır konuma getirdim.

--daemon ne işe yarıyor bunu anlamış değilim

mgsmus

YalcinSahin --daemon şeklinde bir flag yok. Eskiden vardı. Şimdi queue:work daemon çalışıyor. Framework'ün her işten sonra resetlenmemesini sağlıyor. Başka bir şeyden dolayı çalışmıştır.

YalcinSahin

mgsmus

Merhaba,

Supervisor çalışırken belli bir süre sonra

INFO gave up: laravel-worker-2_00 entered FATAL state, too many start retries too quickly şeklinde fatal vererek durdu. Konu hakkında başka log detayı bulamadım.

Muhtemelen 2 tane laravel-worker oluşturduğum için bu durum oluştu. Konu hakkında öncelik belirtebilirsiniz olarak bilgilendirmeler var. Konu hakkında ne yapabilirim peki ?

Sonraki Sayfa »