Laravel Türkiye Discord Kanalı Forumda kod paylaşılırken dikkat edilmesi gerekenler!Birlikte proje geliştirmek ister misiniz?

Fulltext arama hızlandırma.

trygaios

Herkese merhabalar, aşağıda iki sorgum var. Fulltext arama yapıyor. İlgili sütunlarda hem fulltext tanımlı ve hem de index yapılmış durumda ama çok uzun sürüyor. Bunu hızlandırmanın bir yolu bulunur mu? Fikrinizi öğrenmek isterim. Herkese iyi çalışmalar.
`$bookresults = BookText::join('bookcontents', 'booktexts.contents_id', '=', 'bookcontents.id')
->selectRaw('bookcontents.id as content_id, booktexts.id as text_id,
bookcontents., booktexts.')
->whereRaw("MATCH(bookcontents.name) AGAINST(? IN BOOLEAN MODE)", [$search])
->whereRaw("MATCH(booktexts.book_text) AGAINST(? IN BOOLEAN MODE)", [$search])
->orderByRaw('MATCH(bookcontents.name) AGAINST(? IN BOOLEAN MODE) + MATCH(booktexts.book_text) AGAINST(? IN BOOLEAN MODE) DESC', [$search, $search])
->get();

$lawresults = Lawtext::join('lawcontents', 'lawtexts.content_id', '=', 'lawcontents.id')
->selectRaw('lawcontents.id as content_id, lawtexts.id as text_id,
lawcontents., lawtexts.')
->whereRaw("MATCH(lawcontents.name_title) AGAINST(? IN BOOLEAN MODE)", [$search])
->whereRaw("MATCH(lawtexts.law_text) AGAINST(? IN BOOLEAN MODE)", [$search])
->orderByRaw('MATCH(lawcontents.name_title) AGAINST(? IN BOOLEAN MODE) + MATCH(lawtexts.law_text) AGAINST(? IN BOOLEAN MODE) DESC', [$search, $search])
->get();`

trygaios

text alanları "longtext" olarak geçiyor ve çok büyük veriler var. Fulltext arama yerine LIKE da kullandım ama yavaşlığın önüne geçemedim. Çok bekletiyor. Yardımcı olursanız çok sevirim.

mgsmus

trygaios Peki lawtexts.content_id ve booktexts.contents_id alanlarında index tanımlı mı?

Ayrıca yaptığınız sorguyu alıp başına EXPLAIN ANALYZE ekleyerek çıkan sonuca bakın. Orada size nerede Index scan nerede Seq scan (tüm tabloyu tarama) yapıldığını gösterir.

trygaios

mgsmus Merhabalar, öncelikle teşekkürler. Evet arama yapılan bütün alanlar index'li. Bazı aramalar çabuk geliyor ama çoğunlukla çok bekletiyor.

trygaios

EXPLAIN ANALYZE'yi nereye nasıl yazacağımı bilemedim 🙁

mgsmus

trygaios

$sql = <<<SQL
EXPLAIN ANALYZE
SELECT 
    bookcontents.id AS content_id, 
    booktexts.id AS text_id,
    bookcontents.booktexts
FROM 
    booktexts
JOIN 
    bookcontents ON booktexts.contents_id = bookcontents.id
WHERE 
    MATCH(bookcontents.name) AGAINST(? IN BOOLEAN MODE)
    AND MATCH(booktexts.book_text) AGAINST(? IN BOOLEAN MODE)
ORDER BY 
    MATCH(bookcontents.name) AGAINST(? IN BOOLEAN MODE) 
    + MATCH(booktexts.book_text) AGAINST(? IN BOOLEAN MODE) DESC
SQL;

$results = DB::select($sql, [
    $seach, $seach, $seach, $seach, 
]);

trygaios

mgsmus Biraz araştırdım, EXPLAIN ANALYZE PostgreSQL özelliğiymiş ve MySQL desteklemezmiş. Benim mysql.

trygaios

Merhabalar, EXPLAIN ANALYZE bu ifade varken 1064 sözdizimi hatası diyor. O ifadeyi silince sonuç döndürüyor ama 2 dakikayı rahat buluyor. Ben her iki sorguyu da sizin yazdığınız şekilde düzenledim. Bunun bir yolu olmalı, tablolardan biri 537 MB, diğeri 342 MB.

trygaios

controller dosyamdaki fonksiyonun içine yazdım.

mgsmus

trygaios O zaman MySQL 8 kullanmıyorsunuz. EXPLAIN ANALYZE yerine sadece EXPLAIN yazın ve sonucu burada paylaşın. Düzgün paylaşırsanız sevinirim.

trygaios

Laravel üzerinden değil ama phpmyadmin'de sql üzerinden EXPLAIN yazarak sorgguyu çalıştırdım. Search değişkeni yerine de bir ifade kullandım. TYPE alanında FULLTEXT olarak yazan bir tablo döndürdü. Araştırdım. indexlemede bir sorun yok. Ama sorgu çok yavaş sonuç döndürüyor.

trygaios

mgsmus Ekrana yazdırdım, dd ile ve print_r ile. Ekran görüntüsünü ekliyorum. Umarım sorduğunuz tam olarak budur:

`Array
(
[0] => stdClass Object
(
[id] => 1
[select_type] => SIMPLE
[table] => lawcontents
[type] => fulltext
[possible_keys] => PRIMARY,name_title
[key] => name_title
[key_len] => 0
[ref] =>
[rows] => 1
[Extra] => Using where; Using temporary; Using filesort
)

[1] => stdClass Object
    (
        [id] => 1
        [select_type] => SIMPLE
        [table] => lawtexts
        [type] => fulltext
        [possible_keys] => content_id,law_text
        [key] => law_text
        [key_len] => 0
        [ref] => 
        [rows] => 1
        [Extra] => Using where
    )

mgsmus

trygaios Migration dosyanızı da paylaşır mısınız?

trygaios

mgsmus Altta hemen paylaşıyorum. Lawtexts'i paylaşıyorum sadece.

`return new class extends Migration
{
/**
* Run the migrations.
*
* @return void
*/
public function up()
{
Schema::create('lawtexts', function (Blueprint $table) {
$table->id();
$table->integer('law_id');
$table->integer('content_id');
$table->string('lawclause_kind');
$table->integer('lawclause');
$table->longtext('law_text');
$table->integer('status')->default(1);
$table->timestamps();
});
}

/**
 * Reverse the migrations.
 *
 * @return void
 */
public function down()
{
    Schema::dropIfExists('lawtexts');
}

};
`

trygaios

index'lemeyi phpmyadmin'den yaptım.

mgsmus

trygaios Nasıl index attığınızı görmemiz lazım, onun için migration sormuştum. Ayrıca law_id, content_id gibi ilişki gibi duran alanlar neden integer? İlişki alanlar ise normal şartlarda unsigned big integer olmaları gerekiyordu. Gerçi fi tarihinden kalma bir Laravel sürümü de kullanıyor olabilirsiniz.

Bir de şu sayfaya bakabilir misiniz?:
https://laravel.gen.tr/d/4903-onemli-forumda-kod-paylasirken-dikkat-edilmesi-gerekenler

trygaios

mgsmus Kodu past ederken editordeki kod bölümüne tıklayarak yaptım. Bir yanlışlık olduysa lütfen hoş görünüz.

trygaios

mgsmus Arama özelliği sonradan çıkan bir durum. Ben de doğrudan phpmyadmin'de yapı bölümünde en sağda kalan yerden fulltext ve index yaptım. law_id'te yasanın id'sini tutuyorum. Yasa->bölüm başlıkları->bölüm metni şeklinde yapım var. Yasaya onlarca, yüzlerce başlık bağlanabilir. Her bir başlık da birden fazla text alanı içerebilir. İlgili alanları unsigned big integer olarak değiştirirsem hızlanır mı? Laravel sürümüne baktım, 9.19. Yanıtınız için de çok teşekkür ederim.

mgsmus

trygaios Fulltext index eklediğiniz yerlere normal index eklemeyin, normal indexleri silerek deneyin. id, seri no, tarih... gibi alanlara normal index eklenir.

trygaios İlgili alanları unsigned big integer olarak değiştirirsem hızlanır mı?

Bu hız ile alakalı değil. $table->id() unsigned big integer tipinde primary key oluşturuyor. Siz $table->integer('law_id'); şeklinde alanı eklemişsiniz ama tipi farklı olduğu için bu alana foreign key oluşturamazsınız. Foreign key için tiplerin aynı olması lazım. Foreign key oluşturmaya çalışsaydınız hata alırdınız. O yüzden bu tür yerlerde $table->foreignId('law_id'); kullanılmalı.

trygaios

arama bölümü değil de normal listeleme ve içerik gösterme sayfalarında ilgili içerikler anında ekrana geliyor. Herhangi bir bekleme yaşanmıyor.

aghabalaguluzade

SQL sorgusunun başına EXPLAIN yazmak yerine ->explain() veya explain()->dd() yazabilirsiniz.

trygaios

aghabalaguluzade teşekkürler. Explain sadece bilgi almak için sanırım. O bilgiyi alıp, burada paylaşmıştım. Normal arama sorggusu çok geç yanıt veriyor, onu çözmeye çalışıyorum. İlginiz ve yanıtınız için tekrar teşekkür ederim.

Sonraki Sayfa »