Laravel Türkiye Discord Kanalı Forumda kod paylaşılırken dikkat edilmesi gerekenler!Birlikte proje geliştirmek ister misiniz?

Remote (Uzak) Mysql | Yavaş Sorgu Problemi

sercanozen

Selamlar,

Laravel projem ve mysql veritabanı aynı sunucudayken sorgularım gayet normal hızında çalışmaktaydı. Ancak müşterinin isteği üzerine veritabanı ve uygulama ayrı sunucularda çalışıyor. Sunucular farklı ülkelerde bulunuyor.

Sorgularımı ne şekilde güncellemem gerekir ya da araştırmalıyım pek bir kaynak bulamadım. Sorunun yazılımsal mı yoksa sunucu kaynaklı mı emin olamadım.
Mantıksal hatalı bir yapı kurmuş olabilirim bu yüzden de bu sorun yaşanıyor olabilir.

Kısaca yapısı yazılımın şu şekilde:

Controller da kullanıcılar çekiliyor.
Kullanıcılar view a gönderiliyor.
Foreach ile kullanıcılar da dönerken relationshipler ile ilgili alanların verileri getiriliyor.
İlişkiler hasOne olarak kuruldu.
Örnek Çağırma şekillerim
$user->getInfo->getCountry->country_name
$user->getInfo->address
$user->getInfo->getOffice->name
i gibi 10 sütun farklı relationlar ile bağlı.

Database ve yazılım aynı sunucudayken 750 kayda kadar aynı anda ekranda gösteriliyordu ancak son durumda 5 kayıttan fazla getirmeye çalıştığımızda timeout oluyor ve veriler gelmiyor.

En azından yazılımda iyileştirme yaparak hızı arttırabilir miyim? Ya da sorunun kaynağı ne olabilir?

Değerli yardımlarınız için teşekkür ederim.

coder2

Controller de kullanıcıları çektiğiniz sorgu kodunuzuda paylaşabilir misiniz ?

sercanozen

coder2
$users=AppUser::where('status', 1)->get();

Şeklinde alıyorum.

yusufc sql i adminer ya da navicat üzerinden çalıştırdığımda hızlı cevap alıyorum. Aynı zamanda dd($users) olarak yazarakta alabiliyorum.

Burada sorun sanıyorum ki relationlar olmalı. Çünkü foreach ile dönerken her satır için ayrı ayrı relation ile veri aldığımızda tekrar tekrar veritabanına istek atıyor. Bu sırada veritabanından cevap almakta zaman alıyor çünkü uzak sunucu da connection tekrar tekrar açılıyor ve sorgu atılıyor. Aslında bu durumu da önlemek için bağlantıyı açık tutmak adına database.php options bölümünde değişiklik yaptım. Ancak bu da yeterli olmadı.

Tek bağlantı ve o bağlantı sırasında sorgu çalıştırmak için joinler yardımıyla relation olmadan kodumu düzenledim ve hızlandı. Ancak view da en az bir tane bile relation kalırsa çok çok zaman alıyor. Örneğin 750 adet veri geldiğinde her bir relation daha da zamanı uzatıyor controller da veriyi hazırlayıp view a attığımda sorun giderilmiş oldu ancak yine de relation da neden bu denli sorun oldu ve çözümü var mı merak ediyorum. Ya da baştan ben mi yanlış düşündüm kodun mantığı anlamında eğer ben yanlış mantıkta ilerlediysem de veritabanı localde iken sorgu ve bağlantıları daha hızlı yaptığını anlıyorum. Değerli bir case study oldu.

Değerli yorumlarınıza teşekkür ederim.

yusufc

Controller'da sorgu çalıştıran yerleri toSql() ile alıp Uygulama sunucusundan DB sunucusuna bağlanıp sorguyu çalıştırma şansınız var mı ?
Tabii bunu yazılımınızı aradan çıkartarak SQL yönetim araçları ile yapmak gerekir,
Bence ilk yapılması gereken bu olmalı ki yazılımda mı yoksa yazılımdan bağımsız mı sorun olduğu belli olsun.

Belki DNS tarafında sorun yaşıyorsunuzdur, belki ping süreleri ile alakalı sorun vardır.
env dosyanızdaki DB ayarlarında sunucu adı direkt olarak IP adresi yazılabilir mesela.
Düşük ihtimal ama belki sorgunun yapısında da hata olabilir. Bu durumda @coder2 nin dediği gibi sorguyu görmek gerekebilir.

coder2

Lazy loading değil eager loading ile relation ları yüklemeyi deneyebilirsiniz ama 750 kayıt için yine de en iyi yol olmayacaktır.

$users = AppUser::where(‘status’, 1)->with(["invoices", "products"])
    ->get();

Bir defada 750 kaydın gösterilmesi zorunlu değilse sayfalamayı değerlendirin veya JS kullanarak gerekli relation ve geri kalan kayıtları alabileceğiniz bir yapı oluşturun derim.

sercanozen

coder2

Aslında 750 kayıt zorunlu değil ancak duruma göre kullanıcı kullanabiliyor.

Evet, pagination kullanıyorum.

Sadece dediğim gibi uzak sunucu değilken normal şekilde kullandığım relationlar çalışıyordu.
Aslında şunu biliyorum relation kullandığımızda gerçekten büyük verilerde yavaşlık ortaya çıkıyor performans kaybı var. Elbette bunun farklı bir konfigürasyon ayarı yoksa. Ancak şu anda bahsettiğim konunun özelinde yazılımın ve veritabanının sunucuları ayrılana kadar gayet hızlı bir şekilde relationlarla çalışırken uzak sunucuya geçildiğinde büyük bir en az 10 15 kat bir yavaşlama olması oldu. Muhtemelen yukarıda dediğim gibi relationlar her seferinde tekrar tekrar istekte bulunuyor ve bu da tekrar sorgu atmak ve cevabın gelmesini beklemek zaman alıyor.

Son önerdiğiniz eager loading'i de deneyeceğim muhtemelen biraz daha fark olacaktır. Tek sorguda ayrı ayrı sorgularda getirmek bir olmayacaktır.

mgsmus

sercanozen

MySQL ayar dosyası içinde [mysqld] altına skip-name-resolve ekleyip restart edip deneyin.
DNS ayarlarından kaynaklanıyor olabilir
Güvenlik duvarından kaynaklanıyor olabilir.

coder2

Sunucu optimizasyonuyla da ilgili olabilir. Performans olayında birçok farklı etken bulunuyor.

deathisonitsway

Yeri gelmişken söylemekte fayda var.Eager loading dediğiniz zımbırtıyı çok dikkatli kullanmanız gerekir.N+1 queryden sizi kurtarırken io sorunuyla sizi baş başa bırakır.Sürekli dinamik ve sürekli artabilecek bir veri için eager loading kullanmayın.Zira başınızı ağtırır.Bazen n+1 query cok daha iyidir.