解決 Cloudscraper 遇到錯誤訊息 cloudscraper.exceptions.CloudflareChallengeError

使用 Python Cloudscraper 模組抓取網站資料時，遇到錯誤訊息 cloudscraper.exceptions.CloudflareChallengeError 。可能解決方式是調整抓取頻率、避免使用固定IP、或者是直接聯繫作者購買商業版。

Photo by Ray Hennessy on StockSnap

錯誤狀況

 使用 Python Cloudscraper 模組抓取網站資料時，遇到錯誤訊息「cloudscraper.exceptions.CloudflareChallengeError: Detected a Cloudflare version 2 Captcha challenge, This feature is not available in the opensource (free) version」

可能解決方式

1. 停止一段時間後，重新抓取再試、或者改變抓取頻率

2. 使用代理伺服器 (Proxy) 或 VPN 軟體服務，避免固定 IP

3. 作者 VeNoMouS 在 Github 個人頁面上，有提供 Doscord 帳號。私訊會提供商業版的報價。因為報價可能變動，所以我就不直接提供價格數字。每月訂閱制。例如最基礎方案提供每月 100 k 次的問題處理，下個月額度會歸零、重新計算。

** Commercial  Plans **

€xxx  -> 100k challenge solves
€xxx -> 500k challenge solves
€xxx -> 1.5m challenge solves
€xxx -> 5m challenge solves

* Note for Commercial Plans
- Ticket support
- No IP address login restrictions
- Entitled to on going package updates

問題原因 

因為頻繁的資料抓取，觸發更複雜的驗證碼 (CAPTCHA) 機制，需要投入更多成本才能解決。(參考資料：stackoverflow)

參考資料

• VeNoMouS/cloudscraper: A Python module to bypass Cloudflare's anti-bot page. 
• Error: Detected a Cloudflare version 2 Captcha challenge, This feature is not available in the opensource (free) version. · Issue #7 · ptrstn/dailyblink 
• python - cloudscraper issue (cloud flare version 2) in scraping website - Stack Overflow