Laravel Türkiye Discord Kanalı Forumda kod paylaşılırken dikkat edilmesi gerekenler!Birlikte proje geliştirmek ister misiniz?

Fulltext arama hızlandırma.

trygaios · 2024-03-17T21:52:56+00:00

Herkese merhabalar, aşağıda iki sorgum var. Fulltext arama yapıyor. İlgili sütunlarda hem fulltext tanımlı ve hem de index yapılmış durumda ama çok uzun sür...

mgsmus

trygaios

$sql = <<<SQL
EXPLAIN ANALYZE
SELECT 
    bookcontents.id AS content_id, 
    booktexts.id AS text_id,
    bookcontents.booktexts
FROM 
    booktexts
JOIN 
    bookcontents ON booktexts.contents_id = bookcontents.id
WHERE 
    MATCH(bookcontents.name) AGAINST(? IN BOOLEAN MODE)
    AND MATCH(booktexts.book_text) AGAINST(? IN BOOLEAN MODE)
ORDER BY 
    MATCH(bookcontents.name) AGAINST(? IN BOOLEAN MODE) 
    + MATCH(booktexts.book_text) AGAINST(? IN BOOLEAN MODE) DESC
SQL;

$results = DB::select($sql, [
    $seach, $seach, $seach, $seach, 
]);

trygaios

mgsmus Biraz araştırdım, EXPLAIN ANALYZE PostgreSQL özelliğiymiş ve MySQL desteklemezmiş. Benim mysql.

trygaios

Merhabalar, EXPLAIN ANALYZE bu ifade varken 1064 sözdizimi hatası diyor. O ifadeyi silince sonuç döndürüyor ama 2 dakikayı rahat buluyor. Ben her iki sorguyu da sizin yazdığınız şekilde düzenledim. Bunun bir yolu olmalı, tablolardan biri 537 MB, diğeri 342 MB.

trygaios

controller dosyamdaki fonksiyonun içine yazdım.

mgsmus

trygaios O zaman MySQL 8 kullanmıyorsunuz. EXPLAIN ANALYZE yerine sadece EXPLAIN yazın ve sonucu burada paylaşın. Düzgün paylaşırsanız sevinirim.

trygaios

Laravel üzerinden değil ama phpmyadmin'de sql üzerinden EXPLAIN yazarak sorgguyu çalıştırdım. Search değişkeni yerine de bir ifade kullandım. TYPE alanında FULLTEXT olarak yazan bir tablo döndürdü. Araştırdım. indexlemede bir sorun yok. Ama sorgu çok yavaş sonuç döndürüyor.

trygaios

mgsmus Ekrana yazdırdım, dd ile ve print_r ile. Ekran görüntüsünü ekliyorum. Umarım sorduğunuz tam olarak budur:

`Array
(
[0] => stdClass Object
(
[id] => 1
[select_type] => SIMPLE
[table] => lawcontents
[type] => fulltext
[possible_keys] => PRIMARY,name_title
[key] => name_title
[key_len] => 0
[ref] =>
[rows] => 1
[Extra] => Using where; Using temporary; Using filesort
)

[1] => stdClass Object
    (
        [id] => 1
        [select_type] => SIMPLE
        [table] => lawtexts
        [type] => fulltext
        [possible_keys] => content_id,law_text
        [key] => law_text
        [key_len] => 0
        [ref] => 
        [rows] => 1
        [Extra] => Using where
    )

mgsmus

trygaios Migration dosyanızı da paylaşır mısınız?

trygaios

mgsmus Altta hemen paylaşıyorum. Lawtexts'i paylaşıyorum sadece.

`return new class extends Migration
{
/**
* Run the migrations.
*
* @return void
*/
public function up()
{
Schema::create('lawtexts', function (Blueprint $table) {
$table->id();
$table->integer('law_id');
$table->integer('content_id');
$table->string('lawclause_kind');
$table->integer('lawclause');
$table->longtext('law_text');
$table->integer('status')->default(1);
$table->timestamps();
});
}

/**
 * Reverse the migrations.
 *
 * @return void
 */
public function down()
{
    Schema::dropIfExists('lawtexts');
}

};
`

trygaios

index'lemeyi phpmyadmin'den yaptım.

mgsmus

trygaios Nasıl index attığınızı görmemiz lazım, onun için migration sormuştum. Ayrıca law_id, content_id gibi ilişki gibi duran alanlar neden integer? İlişki alanlar ise normal şartlarda unsigned big integer olmaları gerekiyordu. Gerçi fi tarihinden kalma bir Laravel sürümü de kullanıyor olabilirsiniz.

Bir de şu sayfaya bakabilir misiniz?:
https://laravel.gen.tr/d/4903-onemli-forumda-kod-paylasirken-dikkat-edilmesi-gerekenler

trygaios

mgsmus Kodu past ederken editordeki kod bölümüne tıklayarak yaptım. Bir yanlışlık olduysa lütfen hoş görünüz.

trygaios

mgsmus Arama özelliği sonradan çıkan bir durum. Ben de doğrudan phpmyadmin'de yapı bölümünde en sağda kalan yerden fulltext ve index yaptım. law_id'te yasanın id'sini tutuyorum. Yasa->bölüm başlıkları->bölüm metni şeklinde yapım var. Yasaya onlarca, yüzlerce başlık bağlanabilir. Her bir başlık da birden fazla text alanı içerebilir. İlgili alanları unsigned big integer olarak değiştirirsem hızlanır mı? Laravel sürümüne baktım, 9.19. Yanıtınız için de çok teşekkür ederim.

mgsmus

trygaios Fulltext index eklediğiniz yerlere normal index eklemeyin, normal indexleri silerek deneyin. id, seri no, tarih... gibi alanlara normal index eklenir.

trygaios İlgili alanları unsigned big integer olarak değiştirirsem hızlanır mı?

Bu hız ile alakalı değil. $table->id() unsigned big integer tipinde primary key oluşturuyor. Siz $table->integer('law_id'); şeklinde alanı eklemişsiniz ama tipi farklı olduğu için bu alana foreign key oluşturamazsınız. Foreign key için tiplerin aynı olması lazım. Foreign key oluşturmaya çalışsaydınız hata alırdınız. O yüzden bu tür yerlerde $table->foreignId('law_id'); kullanılmalı.

trygaios

arama bölümü değil de normal listeleme ve içerik gösterme sayfalarında ilgili içerikler anında ekrana geliyor. Herhangi bir bekleme yaşanmıyor.

aghabalaguluzade

SQL sorgusunun başına EXPLAIN yazmak yerine ->explain() veya explain()->dd() yazabilirsiniz.

trygaios

aghabalaguluzade teşekkürler. Explain sadece bilgi almak için sanırım. O bilgiyi alıp, burada paylaşmıştım. Normal arama sorggusu çok geç yanıt veriyor, onu çözmeye çalışıyorum. İlginiz ve yanıtınız için tekrar teşekkür ederim.

trygaios

mgsmus Yanıtınız için teşekkür ederim. Fulltext'i bırakacağım ama index kısmını sileceğim. Bir de öyle deneyim. Sizin yazdığınız yöntem işe yararsa da harika olur. Teşekkürler tekrar

trygaios

mgsmus teşekkürler. Bu söylediğinizi bundan sonraki projelerde uygulayacağım. Arama sonucunun hızlanması konusunda da normal kendimin phpmyadmin'den oluşturduğum indexleri silip deneyeceğim. teşekkürler tekrar.

trygaios

mgsmus Merhabalar, normal indexleri sildim. Arama yapılan hiçbir tabloda normal index bırakmadım, sadece fulltext'ler kaldı. Ama vergi usul kanunu'nu arattım 53 saniyede sonuç döndü. Bir de zaten bookcontents ve lawcontents tablosunda fulltext yapılmış alana bir daha index yapmaya olanak tanımıyor. Diğer tablolarda tanınıyor.

mgsmus

trygaios Ben hala neye ne index attınız bilmiyorum. Son olarak order by kısmını kaldırıp deneyin. O da olmuyorsa OPTIMIZE TABLE bookcontents; vs deneyin. Bizim bilmediğimiz bir sorun var belli ki.

Sonraki Sayfa »