Laravel Türkiye Discord Kanalı Forumda kod paylaşılırken dikkat edilmesi gerekenler!Birlikte proje geliştirmek ister misiniz?

Şu Koddaki filtre işlemlerini hızlandırabilmenin yolu var mı

programmer1453

Bu kod lokalimde çok hızlı çalışıyor fakat sunucuda çok yavaş, filtreleme işlemleri de olduğunda iyice yavaşlıyor
bunu hızlandırabilmenin bir yolu var mı veya redis kullanarak hızlandırabilmenin bir yolu var mı ?

Log::channel('custom')->info('başladı');
        $filter_search = $request->input('search');
        $filter_start_date = $request->input('start_date');
        $filter_end_date = $request->input('end_date');
        $expiry_id = $request->input('expiry_id');
        $instruction_type=$request->input('instruction_type');
        $sort = $request->input('sort') ?? 'desc';
        $order_by = $request->input('order') ?? 'id';

        $per_page = $request->input('per_page') ?? 15;
        $page = $request->input('page') ?? 1;


        $results = Invoice::with([
            'supplier_company',
            'transactions:instruction_type_id,instructable_id',
            'transactions.instructable:expiry_id'
        ])->whereIn('status_id',[18,33]);

        if ($filter_start_date && $filter_end_date) {
            $results->whereBetween('invoice_date', [$filter_start_date, $filter_end_date]);
        }

        if ($filter_search) {
            $results->where(function ($query) use ($filter_search) {
                $query->whereHas('supplier_company', function ($sub_query) use ($filter_search) {
                        return $sub_query->where('name', 'like', '%' . $filter_search . '%');
                    })
                    ->orWhere('invoice_no', 'like', '%' . $filter_search . '%');
            });
        }


        if ($expiry_id) {
            $results->whereHas('transactions.instructable', function ($query) use ($expiry_id) {
                $query->whereIn('expiry_id', [$expiry_id]);
            });
        }

        if ($instruction_type) {
            $results->whereHas('transactions', function ($query) use ($instruction_type) {
                $query->whereIn('instructable_type', $instruction_type == 1 ? InvoiceTransaction::FABRICS : InvoiceTransaction::EXPENSES);
            });
        }



        $result = $results->orderBy($order_by, $sort)->get();
        Log::channel('custom')->info('Vt işlemi bitti');
        $collectionByCompany=Collect($result)->groupBy('supplier_company_id');
        $allItems = $collectionByCompany->map(function ($itemCompany) {
            $invoiceNos = $itemCompany->pluck('invoice_no')->toArray();
            $totalByCompany = $itemCompany->sum('total_amount_including_taxes_converted');
            return [
                'id' => $itemCompany[0]['supplier_company_id'],
                'invoice_no' => $invoiceNos,
                'company_name' => $itemCompany[0]['supplier_company']['name_for_accounting'],
                'total' => $totalByCompany,
            ];
        })->values()->toArray();
        Log::channel('custom')->info('sıralama işlemi bitti');

        return [
            'data'=>$allItems
        ];

mgsmus

programmer1453 Önce oluşan sorguyu alın ve explain analyze ile inceleyip index kullanımına bakın.

programmer1453

mgsmus
Abim bahsettiğin yöntemi daha önce kullanmadım, dediğiniz şey bu işlemleri yaptım bu işlemlerden sonra sonra ne yapmalıyım, rica etsemi biraz daha detaylandırabilir misiniz ?

mgsmus

programmer1453 Diyelim ki users tablonuz var ve bu tabloda 2 milyon kayıt var. Bu tabloya şöyle bir sorgu yazdınız:

SELECT * FROM users WHERE created_at > '2023-01-01';

Kayıtların gelmesi 2-3 saniye sürdü ve siz de neden bu kadar yavaş geldiğini bulmak istiyorsunuz. Bunun için sorguyu ayıklamalısınız. Bunun için explain analyze kullanır. Ayıklamak istediğiniz sorgunun başına yazarsınız:

EXPLAIN ANALYZE 
SELECT * FROM users WHERE created_at > '2023-01-01';

Bu size şöyle bir çıktı verir:

EXPLAIN: -> Filter: (created_at > '2023-01-01')
    -> Table scan on users (cost=0.00..30578.00 rows=1000000 width=1012)
        Filter: (created_at > '2023-01-01')
ANALYZE: Table users
    rows_examined_per_scan: 2000000
    rows_produced_per_join: 0
    filter_duration: 0.073965 seconds
    rows_examined_per_join: 0
    scan_duration: 2.119688 seconds
    rows_produced_per_scan: 0

Bunu yorumlamanız lazım ve nasıl yorumlanacağı burada anlatabileceğim bir şey değil. Deneyip araştırıp öğrenmeniz gerekiyor ama kısaca gördüğümü yorumlamam gerekirse sorgu planlayıcısı created_at alanı için bir index bulamadığı için table scan yapmak zorunda kalmış yani tüm tabloyu taramış, bu da size 2.12 saniyeye mal olmuş. Bu durumda artık created_at alanına index oluşturmam gerektiğini biliyorum.

CREATE INDEX index_created_at ON users (created_at);

Şimdi tekrar explain analyze uyguladığımda şu sonucu alıyorum:

EXPLAIN: -> Index range scan on users using index_created_at (cost=0.00..6.00 rows=100 width=1012)
        Index Cond: (created_at > '2023-01-01')
ANALYZE: Table users
    rows_examined_per_scan: 100
    rows_produced_per_join: 0
    filter_duration: 0.000036 seconds
    rows_examined_per_join: 0
    scan_duration: 0.000601 seconds
    rows_produced_per_scan: 0

Bu sefer created_at alanı için oluşturulan index sayesinde index scan yapmış ve sorgu ışık hızında tamamlanmış (0.000601 saniye). SQL yazabilmek için bunları araştırıp öğrenmeniz gerekiyor.

https://dev.mysql.com/doc/refman/8.0/en/explain.html

programmer1453

mgsmus
Abim sorguda ilgili yerlere index attım, çok ciddi bir hızlanma oldu
Allah razı olsun, Çok teşekkür ederim 🙏