Birden fazla proje log takibi hkk.

Forumda kod paylaşılırken dikkat edilmesi gerekenler. (Lütfen okuyunuz.)

Birden fazla proje log takibi hkk.

makseli

Selamün aleyküm.
evet. başlıkta yazdığım gibi. birden fazla laravel sistemin loglarını bir arada görmek ve hatta yönetmek için bir uygulama var mıdır ?

sunucu üzerinde çalışan uygulamalar var ( getsentry https://www.getsentry.com/ ve graylog http://graylog2.org/ gibi ) ama tam olarak php de fırlatılan bütün hataları toplamakta.
( bu işimi görür ama önceki yazılımcıdan kalan spagetti kodlar var ve malesef Win server kullanmak durumundayım. )

şimdlik şu şekilde hallediyorum.
bir makineye redis kurdum, laravel hatalarının hepsini yakalayıp redise gönderiyorum. sıtorıç ( tr si aklıma gelmedi ) olarak hdd ye yazmasını istiyorum.

log takibi için bu konularda kafa yoran var mıdır ?

cemdemir

A.s.

Açıkçası ben logları dosyadan okuyup MySQL'e yazan bir script yazıp takip ediyorum. Bu şekilde hangi sayfaya kim nasıl ne kadar girmiş görebiliyorum. Tabii MySQL söz konusu olduğu içinde istediğim şekilde sorgu yapabiliyorum.
Ama yanlış anlamadıysam sizin istediğiniz, hatalardan oluşan logları parse edip düzgün bir çıktı elde etmek.

Şöyle bir önerim olabilir; App:error, App:fatal gibi, Laravel'in hata durumlarında devreye soktuğu event'lerin içine hataya uygun loglar yazıp, daha sonradan (mesela gün sonunda) parse edip veri tabanına yazmak uygun olabilir.
Parse etme işlemini de bir artisan komutu haline getirirseniz, konsoldan istediğiniz gibi çalıştırabilirsiniz. Dolayısıyla max_execution_time gibi bir derdiniz de olmaz. Hatta bu komutu crontab'a koyup her gün otomatik çalışmasını da sağlayabilirsiniz ama Windows kullanıyormuşsunuz, orada planlanmış job işleri nasıl oluyor bilmiyorum.

Bu arada, neden redis ?

makseli

cevap için teşekkürler.

log işlemleri için redis i tercih etme sebebim hız açısından. 10 - 20 tekil ziyaret ile karşılaştırma yapmazsak tabiki.

mysql kullanırken => mysql bağlantı açılması + mysql kayıt ( disk i/o işlemi bekleme )
redis kullanırken => redis bağlantı açılması + Ön belleğe yazması ( konu hakında http://www.kocyigityunus.com/derinlemesine-redis/ )
redis, memcached gibi değil. ram e yazılan bilgileri belirli aralıklarla ( conf dosyası SNAPSHOTTING başlığı altında "save" isimli parametre ) hdd ye yazabilir. ama bunun için client i bekletmez.

ben şuana kadar kullanıcı http isteklerini ( zaman, ip, url referer gibi bilgiler dahil ) de kaydettiriyordum.
Log tablosu kısa sürede çok fazla şişiyor. o yüzden böyle bir arayışa girdim. http isteklerini ayrıca kaydetmemin sebebi farklı bir nedenden.

ayrıca redisten sorgulama yapmak mysql e göre çok hızlı olacaktır. bir proje için 2 tür log (--bir http bir de app log ları) tutuyorum. Aynı sistem üzerinde takip etmek ve buna diğer sistemleri de ekleyip, yönetip, kullanabilmek zaman kaybını önlerdi.

getsntry veya graylog gibi kullanabileceğimiz, aslında sadece parserlarını yapabilecek afaki bir şey arıyorum sanırım

makseli

bu konuda düşünürken;

"yaw http isteklerini kaydettiriyorum. loglarda kaydoluyor. Bunları peşpeşe takip etsem daha iyi olur yani"
den sonra aklıma geldi.

"eğer bir hata kaydı düşüyorsa kullanıcı hangi url yi hangi kriterlerle ( o url erişebilmesi için yetki vb ) bağlanıp nasıl birşeyle karşılaşıyor" u bulmak içindi.
kullanıcı ile telefon veya başka türlü iletişim yoluna girmeden, hata oluştuğunda direk müdahale etmek iyi birşeydir

sanırım kendim bir arayüz hazırlayacağım

xsearch

Hocam Monologu incelemeni öneririm laravelde dahili olarak mevcut, Laravel loglarını monolog tutuyor zaten.
Ayrıca mail gönderimi yapmak vesairede mümkün. Ayrıca Redisede yazabiliyor direkt. Vesair.

https://github.com/Seldaek/monolog
http://laravel.com/docs/errors#logging

makseli

@xsearch teşekkürler. farkındalık olmuş oldu

ufak bi aramadan sonra şunu buldum. http://www.chrisduell.com/blog/development/using-custom-monolog-handlers-in-laravel/

$client = new Raven_Client(YOUR_ENDPOINT_HERE);
$handler = new Monolog\Handler\RavenHandler($client, Monolog\Logger::ERROR);
$handler->setFormatter(new Monolog\Formatter\LineFormatter("%message% %context% %extra%\n"));
$monolog->pushHandler($handler);

burada x handler yerine RedisHandler ı kullanabiliriz direk.

inş. detaylı birşeyler yazarım vakit olursa

makseli

yalnız az önce bir deneme yaptım.

global.php deki

Log::useFiles(storage_path().'/logs/laravel.log');

satırını kaldırdım yerine ;

$monolog = Log::getMonolog();
$handler = new Monolog\Handler\RedisHandler(new Predis\Client("tcp://localhost:6379"), Monolog\Logger::ERROR);
$handler->setFormatter(new Monolog\Formatter\LineFormatter("%message% %context% %extra%\n"));
$monolog->pushHandler($handler);

yazdım ve log yazdırttım.

Route::any('/bahale', function(){
Log::error('cıkh dısarı bişey konuşcaz');
});

istek 2 saniye sonra tamamlandı.

yalnız

Log::listen( function( $level, $message, $context ) {

	$redis = Redis::connection();
	$redis->set('deneme_hata', $level.' => '.$message);
	
});

bu şekilde log denemem de 1 saniye bile sürmüyor.

monolog un handler olayını sonradan değiştirdiğimiz için mi bu yavaşlık var ?
../bootstrap/compiled.php 7970 satırındaki yeri mi düzenleyelim ?

xsearch

Ayrıca mail gönderebilmesi ayrı bir güzellik.
belirli hatalar oluştuğunda mail ile bildirim tanımlamak mümkün. Bi kaç deneme yapmştım zamanında.
Erişim logları için kullanmayı düşünüyorum bende.

cemdemir

Bana runtime'da redis veya herhangi bir veri tabanına kayıt işlemi yapmak çok da mantıklı gelmiyor. Sonuçta orası production ortamı, tek işlevi kullanıcılara düzgün çıktıları göstermek ve hata durumlarında da log tutmak olmalı.
Eğer bir hata ayıklama işlemi yapmamız gerekiyorsa, bunu başka bir makineye yaptırmalıyız. Kullanıcı bunun için beklememeli.

Eğer log ayıklama işlemini anlık olarak yapmak istiyorsak, başka bir makine veya o makinedeki başka bir servis, logları alıp işlemeli diye düşünüyorum.

Ama redis çok hızlı çalışıyor diyorsanız, o daha güzel bir çözüm gibi görünüyor, evet.

xsearch

Asenkron yapılar hız açısından çok verimli oluyor.
Redis bunun en güzel örneklerinden bir tanesi. Veriyi belleğe yazıp daha sonra diske kaydetmesi, birden fazla sunucuya yayılabilmesi gibi özelliklerinin yanında farklı veritiplerini saklayabilmesi gibi bir çok avantajı var.

Örneğin sık kullandığım bir yöntem sistem ayarlarını dbde tutup apc memcache yada redisten kullanmak. mysql yükünü oldukça azaltıyor. Ayrıca Laravelde henüz tadına bakamadığım db önbellekleme olayıda redisle kullanılabiliyor.

makseli

@xsearch evt. Asenkron yapılar olmadan, birden fazla işlem ( veritabanından kayıt çekme, istatistik veya başka ( erişim veya log ) iş için kayıt girme, eposta gönderme ) yapılmak istendiğinde, kullanıcı isteklerinin süresi çok uzuyor.

bir bildirim servisi yazdım; müşterilere sms veya eposta gönderim için kullanıyorum. şimdi redis ile queue olayını kullanacağım.
normalde, bir işlemden sonra (bildirim yapılacaksa) , hem sms hemde e-posta göndermek için bekle Allah bekle, istek bitmek bilmiyor.

mail::queue

o kadar da hız sağlamıyor ( MS Exchange - smtp için geçerli olabilir bilmiyorum ).
deneme yapacağım, ya RabbitMQ ya da redisle halledebilirsem devam edeceğim.

konusu gelmişken şuna da dikkat çekmek isterim;
Laravel in Cache mekanızması default da "file" yani hdd ( json formatlı text dosyalar ) üzerinden yapılıyor. Eğer sunucunuz SSD veya diğer performanslı ürünlerden kullanmıyorsa, Disk I/O yüzünden performans kaybı yaşanıyor.

Laravel ( ../app/config/cache.php de ) diyoki "İllaki bunu kullanacanız diye birşey yok aha da size

"file", "database", "apc", "memcached", "redis", "array"

diğer sürücüleri de veriyorum. Konfigure edin ve kullanının" diyor.

bilgilermize

makseli

bu arada kafama handler ın işi tamamlama süresi takıldı ve yeni kurulmuş win server ( 2012 R2 ) ile deneme yaptım.

Sanal Intel Xeon Tek cpu
4 GB Ram
IIS 8 + Php 5.5
Sas disk

laravel 4.1 ve redis sunucusu kendi üzerinde;

 monolog file handler ile diske kayit 80 MiliSaniye //ilk kurulu olduğu hali

 event ile direkt redise kayit 130 MS //başka bi makine + proje de event denemem çok farklı sonuç vermişti o yüzden denedim

 redise direkt bağlantı ile 130 MS

 monolog redis handler ile 1.15 saniye

hala monolog redishandler ın bu kadar zaman harcamasına anlam veremiyorum.
RedisMonitor den baktığım kadarıyla sadece

RPUSH 400 "log mesajına ne yazdıysam"

bu satırı çeviriyor. aynı satırı ben elle ( controller den direk redis bağlantısı açarak ) gönderdiğimde sonuç 130 MS çıkıyor, ilginç. haftasonu linux da deneyim bakim nolacak

Laravel Türkiye Forumları, ücretsiz forum uygulaması Flarum ile yapılmıştır.