Laravel Türkiye Discord Kanalı Forumda kod paylaşılırken dikkat edilmesi gerekenler!Birlikte proje geliştirmek ister misiniz?

laravel excel export

ms_dizzy_

2 bin adet recordIds anında export oluyor 3 bin adet recordIds kuyruğa da almıyor ve export da edemiyorum.
2 binden üstü recordIds nasıl export edebilirim aşağıda kuruğa alma işlemi yaptım.
Başka ne yapmam gerek bi fikrim yok, fikir verirseniz sevinirim.

QUEUE_CONNECTION=database
kernel.php
$schedule->command('queue:work --timeout=3600 --memory=512M --sleep=3 --tries=3') ->withoutOverlapping() ->everyMinute();

    {
        try {
            $recordIds = $request->input('data');
            $format = $request->format;
            dispatch(new ExportUserTrackingJob($recordIds, $format));
            return redirect()->route('users.index')->with('success', __('Export job has been queued.'));
        } catch (Exception $e) {
            return response()->json($e->getMessage(), 500);
        }
    }
use App\Exports\UserExport;
use App\Models\UserTracking;
use Barryvdh\DomPDF\Facade\Pdf;
use Illuminate\Bus\Queueable;
use Illuminate\Contracts\Queue\ShouldBeUnique;
use Illuminate\Contracts\Queue\ShouldQueue;
use Illuminate\Foundation\Bus\Dispatchable;
use Illuminate\Queue\InteractsWithQueue;
use Illuminate\Queue\SerializesModels;
use Maatwebsite\Excel\Facades\Excel;
use Illuminate\Support\Facades\Storage;
class ExportUserTrackingJob implements ShouldQueue
{   use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;
    protected $recordIds;
    protected $format;
    public function __construct($recordIds, $format)
    {
        $this->recordIds = $recordIds;
        $this->format = $format;
    }
    public function handle()
    {
        $records = uerTracking::select('email', 'date')
            ->whereIn('id', $this->recordIds)
            ->get();
        $chunks = $records->chunk(1000);
        foreach ($chunks as $key => $chunk) {
            $filename = 'export_user_tracking_' . time() . "_part{$key}";
            if ($this->format == 'excel') {
                $excelFilePath = "public/exports/{$filename}.xlsx";
                Excel::store(new UserTrackingExport($chunk), $excelFilePath, 'public');
            } elseif ($this->format == 'pdf') {
                $pdf = Pdf::loadView('pdf.user-tracking', compact('chunk'));
                $pdf->setPaper('a4', 'portrait');
                $pdfFilePath = storage_path("app/public/exports/{$filename}.pdf");
                Storage::makeDirectory(dirname($pdfFilePath));
                $pdf->save($pdfFilePath);
            }
        }
    }
}

mgsmus

ms_dizzy_ Job constructor'üne bu kadar veri vermek doğru değil. Kuyruk işlemlerinde bu tür verilerin hafif olması lazım çünkü bu veriler serialize edilip kuyruğa alınıyor ve tekrar unserialize ediliyor, veri ne kadar büyük olursa o kadar çok ram ve işlemci yer. Eğer böyle kayıtları seçerek dışarı aktarma işlemi yapıyorsanız ve bu kadar çok kayıt oluyorsa benim tavsiyem ayrı bir tabloda dışarı aktarılacak kayıtları tutmanız. Ayrıca yanlış chunk kullanmışsınız, eğer performans için yaptıysanız tüm kayıtları get ile çektikten sonra Collection::chunk() kullanmanın kayıtları gruplamak dışında bir faydası yok.

Mesela Export isimli bir tablonuz olsun:

+----+-----------------+--------+------------------------+
| id | exportable_type | format |          ids           |
+----+-----------------+--------+------------------------+
|  1 | App\Models\User | xlsx   | [1,2,3,4,5,6,...,3000] |
+----+-----------------+--------+------------------------+

ids alanının jsonb olduğunu düşünün.

Önce gelen kayıtlardan bir tane Export işlemi oluşturun ve onun id'sini job'a verin.

$export = Export::create([
    'exportable_type' => User::class,
    'ids' => $request->input('data'),
    'format' => $request->input('format'),
]);

ExportUserTrackingJob::dispatch($export->id);

Job içinde de:

$export = Export::findOrFail($this->exportId);

User::select('email', 'date')
    ->whereIn('id', $export->ids)
    ->chunk(1000, function($users) use ($export) { // Siz chunk'ı yanlış kullanmışsınız...
        foreach($users as $user) {
            if($export->format === 'xlsx') {
                // ...
            }
        }
    });

Ayrıca burası Job Batching kullanmak için iyi bir yer:
https://laravel.com/docs/10.x/queues#job-batching

ms_dizzy_

mgsmus
hocam aslında şöyle bir durum varmış;

max_input_vars değeri ile ilgili bir durum var. max_input_vars değeri kadar sadece export ediyor.
max_input_vars: 3000 eğer ben bunu 5000 yaparsam 5000 data indiriyor yine fazlasını indirmiyor.

Aşağıdaki exportUserTracking fonksiyonunda ile yine sadece 3000 adet data export oluyor.

Başka bir yöntem daha denedim. Excel dosyalarını 1000 er 1000 er parçalara da ayırarak yaptım yine o yöntem de de 3000 adet data export oldu. Fazlasını işlemedi. Hangi yönetemi denesem de 3000 geemiyorum

max_input_vars değerini sürekli yükseltmek hem gücenlik açısından hem performans açısından ciddi sorunlar yaşatır.

Sizin bir öneriniz var mı?
memory_limit 1024M post_max_size 100M upload_max_filesize 100M max_input_vars 3000

public function exportUserTracking(Request $request)
    {
        try {
            $recordIds = $request->input('data');
            $chunkSize = 500; 
            $recordChunks = array_chunk($recordIds, $chunkSize);
            $filename = 'export_user_tracking' . time() . '.xlsx';
            $finalRecords = collect();
            foreach ($recordChunks as $chunk) {                
                $records = UserTracking::select('id', 'date')
                    ->whereIn('id', $chunk)
                    ->get();
                $finalRecords = $finalRecords->concat($records);
            }
            return Excel::download(new UserTrackingExport($finalRecords), $filename);
        } catch (Exception $e) {
            return response()->json($e->getMessage(), 500);
        }
}

mgsmus

ms_dizzy_ Ben ilk defa binlerce kayıt seçtirip excel olarak indirilmeye çalışıldığını gördüm ama vardır bir bildiği deyip bir şey demedim. Normalde tarih, kullanıcı vs gibi bir filtreye göre kayıtlar filtrelenir ve aktarılır.

koti42

Mustafa Abinin dediği gibi 3000 kayıt bir anda indirilmeye kalksa ram işlemci ölür Bazen böyle bir şeye ihtiyaç oluyor local de hallediyorum sırf bu yüzden. Sayfalara bölerek tek tek indirme işlemi yapmak daha mantıklı bana kalırsa

mgsmus

koti42 Ben şu an sayfalama yapmadan tek seferde, bir Job içerisinde yaklaşık 500 bin kaydı xlsx olarak kaydedip S3'e gönderebiliyorum. 100 mb'lık bir dosya oluşuyor, yaklaşık 10dk sürüyor. Query\Builder::chunk() kullanıyorsanız ve sorguda bir problem yoksa bölme, sayfalama vs gibi işlemlere ihtiyacınız yok aslında.

Kullandığım paket:
https://github.com/openspout/openspout

koti42

mgsmus Ben bunu bir değerlendireyim abi teşekkür ederim