分享

爬蟲程式

潘〇生
案件已認證
地區台南市 西港區
金額客戶預算:沒有預算概念
其他爬蟲機制:不確定,請專家建議

請問您需要爬取的資料來源為?

網站

資料來源是否有相關 API(應用程式開發介面)可以使用?

有API

需要爬取的資料類型為?

文字
關鍵字

需要使用何種爬蟲機制?

不確定,請專家建議

資料爬取的頻率是多久一次?

其他, 約每秒1個關鍵字

爬取資料後是否需要清洗、轉換(ETL)?

不確定,再與專家討論

您可以再詳細說明您的需求,幫助您找到適合的專家(選填)

先前已有朋友協助製作簡易的爬蟲程式(無做擋爬蟲的措施),約莫1~2秒爬一個關鍵字,搭配按鍵精靈偵測到跳出圖形驗證或是沒爬到回傳資訊的字眼進行PPPOE重連 最近網頁開始阻擋爬蟲,導致目前每天只能爬一下就不能爬(或是一直換IP有機會再爬一下下),導致爬蟲效率降低不少 1.想要了解是否有有率的方式可以爬蟲且不被阻擋 2.整合萬一需要重新換IP時可以把換IP這個功能包進去程式裡面(新增偵測到某些字眼進行重連的介面),不用再透過按鍵精靈 3.修改對搜尋的關鍵字爬完一輪後自動跑下一輪(目前是設定約莫N秒後再整個重爬一輪關鍵字) 4.之後如再被阻擋可能會再有維護需求(這部分可以讓我了解之後維護費用大致上如何計算嗎)

您的預算約為?

沒有預算概念

您希望如何與專家合作?

透過電話或網路服務

還有什麼需要注意的地方嗎?

沒有

您需要服務的地區為何?

台南市,西港區
您可能也感興趣的案件:
台南市 西港區
爬蟲程式
潘〇生
台南市 官田區
網站架設
黃〇瑋
台南市 仁德區
網頁設計
蕭〇萍