Laravel Türkiye Discord Kanalı Forumda kod paylaşılırken dikkat edilmesi gerekenler!Birlikte proje geliştirmek ister misiniz?

Laravel ile webscrape

potti

web scrape icin php DOMparser kullaniyorum fakat bazi noktalarda datayi cekmekte zorlaniyorum.
ornegin file_get_contents redirect link ile karsilastigi zamanda sasiyor ya da onclick, javascript'ten aktarmali linkler olabiliyor.
bu gibi durumlar icin daha verimli ve laravel ile uyumlu bir crawler biliyor musunuz? Dusk'in dokumantasyonuna baktim, yalniz
sanirim o da hala yetersiz?

Bu konu da herhangi bir oneriniz var mi?

elementaryos

Js ile işlenmiş veriyi çekmez, onda olan bir eksiklik değil. Javascriptiten sonrasını çekemiyorsunuz haliyle js ile bir eventi tetikleyemiyorsunuz da. Kaynağı çekebilirsiniz. Tarayıcının
render ettiğini işlediğini değil. Bunun dışında domparser, symfony'nin crawler'ı da fazlaca gelişmiştir öyleki normalinden kat kat iyidir. Js ile dom manipülasyonu yapar gibi aynı api kullanır gibi arama yaparsınız.
Açıkçası laravel ile uyumludan ne kastettiğiniiz ve çevresinde ki cümleleri pek anlamamış olsamda tahmin ederek açıklamak geekirse dilediğiniz veriyi filtre uygulayabilir tüm sayfa yerine onun içnde arayabiliyorsunuz..
Hatta regex gibi bir nimet dururken bunu söylemenizdeki tek sebep işlenmemiş veriyi bulamıyor olmanız diye düşünüyorum. Aksi halde javascript kaynak kodları gelebiliyor içeriye. Scraper için php selenium client kullanabilirsiniz. İlk kütüphanelerin içlerinde get post ve kıyaslama yani bot işlemlerinden fazlası var. İşlenmiş dosyayı event tetikletmesede göstereebilir mi ? Emin değilim, hiç ihtiyacım olmadı. Fakat selenium'u da bunun için kullanabilirsiniz. Tabi insansız işlem yaptırma gbi deli özellikleri de var.

potti

Kusura bakmayin bu islerde yeni yeni gelisiyorum.
Mesela, redirected file_get_content konusunda bir ornek dusecek olursam.
$link icerisinde bir kac urls tasimakta. O url'lere girip, girdigim sitelerden de baska url'ler cekmek zorundayim.

foreach ($link as $site) {
 if (strpos($site, 'https://www.mecsumai.com/') === 0) {
 $dom = getSiteContent($site);
 $div = $dom->getElementsByTagName('iframe');
 if ($div->length > 0) {
 $iframeLink[] = $div[0]->getAttribute('src');
 }
 }
 }

ikinci kez dalarak aldigim Url budur: https://www.mecsumai.com/bkn-summary?bid=16078001&bg1=999999&bg2=dddddd&wdt=100%&aln=center
yalniz bu url ona tiklandigi zaman redirect oluyor. bu yuzden file_get_content'i su sekilde kullaniyorum.

foreach($iframeLink as $results){
 $opts = array('https' =>
 array(
 'follow_location' => 1,
 )
 );
 $context = stream_context_create($opts);
 $lastUrl[] = file_get_contents($results, false, $context);
 }
 print_r($lastUrl);

burada redirect'den bir content'e erismeme ragmen aldigim content pek mantikli gozukmuyor.
yani normalde bu content'e https://www.mecsumai.com/bkn-summary/?bid=16078001&bg1=999999&bg2=dddddd&wdt=100%25&aln=center&newid=06078001
erismem gerekiyorken erisemiyorum, nedenini de anlamadim.

Laravel ile uyumlu derken kastettigim Dusk vari, laravel'e compsoer ile kurabilecegimiz bir crawler'di.