Python Playwright for web scraping and web scraping in general.

[foxicle]

Sa mga may experience na sa webscraping, please help.

Nag-advance reading, YøùTùbé, udemy, and documentation napo ako. Pero palang kulang ako sa industrial level "framework". Pa simpleng-simpleng scripts lang.

Sinubukan ko rin selenium, parang mas madali ata Selenium-Python kesa Playwright-Python.

Ano po ba masa-suggest niyo? Nakakahilo na.

Kung static site lang kaya naman ng HTTPX-Selectolax, ang problema nga lang yung mga dynamic websites then yung mga sites na need pa ng interaction kasi nakatago sa ibang url at may captcha pa.

I'm lost.

Gusto ko talaga matuto nito, need compassionate mentor

 

[flag44]

pa wards din TS

 

[0R1-qt]

Natry mo na po ba yung bs4?

 

[foxicle]

Natry mo na po ba yung bs4?

Opo kaya lang limited yan kapag dynamic site yung iiscrape mo, yung need pa ng interaction sa site bago mo makuha yung data dahil nasa ibang page.

 

[kyaalod]

Siguro niloload yung elements gamit js? Try mo html parser

 

[foxicle]

Siguro niloload yung elements gamit js? Try mo html parser

selenium at playwright ang ginagamit

 

[yngalan]

Example site ?

Static Site : Requests + Bs4 package
Dynamic site : selenium

Gagamit ka ng 2captcha service para sa reCaptcha/hCaptcha, sa Cloudflare naman hindi ako sure if kaya ng selenium, Webview ang gamit ko pang bypass ng Cloudflare

 

[foxicle]

p

Example site ?

Static Site : Requests + Bs4 package
Dynamic site : selenium

Gagamit ka ng 2captcha service para sa reCaptcha/hCaptcha, sa Cloudflare naman hindi ako sure if kaya ng selenium, Webview ang gamit ko pang bypass ng Cloudflare

ano yung webview paps?