請問您需要爬取的資料來源為?
網站
資料來源是否有相關 API(應用程式開發介面)可以使用?
有API
需要爬取的資料類型為?
關鍵字
文字
文字
需要使用何種爬蟲機制?
不確定,請專家建議
資料爬取的頻率是多久一次?
其他, 每秒1個關鍵字
爬取資料後是否需要清洗、轉換(ETL)?
不確定,再與專家討論
您可以再詳細說明您的需求,幫助您找到適合的專家(選填)
先前已有朋友協助製作簡易的爬蟲程式(無做擋爬蟲的措施),約莫1~2秒爬一個關鍵字,搭配按鍵精靈偵測到跳出圖形驗證或是沒爬到回傳資訊的字眼進行PPPOE重連
最近網頁開始阻擋爬蟲,導致目前每天只能爬一下就不能爬(或是一直換IP有機會再爬一下下),但有些時段不清楚為一直何換IP也都無效(約莫凌晨),導致爬蟲效率降低不少
1.想要了解是否有有率的方式可以爬蟲且不被阻擋
2.整合萬一需要重新換IP時可以把換IP這個功能包進去程式裡面(新增偵測到某些字眼進行重連的介面),不用再透過按鍵精靈
3.修改對搜尋的關鍵字爬完一輪後自動跑下一輪(目前是設定約莫N秒後再整個重爬一輪關鍵字)
4.之後如再被阻擋可能會再有維護需求(這部分可以讓我了解之後維護費用大致上如何計算嗎)
您的預算約為?
一萬到五萬
您希望如何與專家合作?
透過電話或網路服務
還有什麼需要注意的地方嗎?
有, 希望保密不外流,提供原始程式碼
您需要服務的地區為何?
台南市,西港區