芒果视频下载

網站分類
登錄 |    
WebMagic
0 票數:0 #工具軟件#
webmagic是一個開源的Java垂直爬蟲框架,目標是簡化爬蟲的開發流程,讓開發者專注于邏輯功能的開發。webmagic采用完全模塊化的設計,功能覆蓋整個爬蟲的生命周期(鏈接提取、頁面下載、內容抽取、持久化),支持多線程抓取,分布式抓取,并支持自動重試、自定義UA/cookie等功能。
  • 外文名稱: WebMagic
詳細介紹 PROFILE +

基本介紹

webmagic是(shi)一個開(kai)(kai)(kai)源的(de)Java垂(chui)直爬蟲框架,目(mu)標是(shi)簡(jian)化爬蟲的(de)開(kai)(kai)(kai)發流程(cheng),讓開(kai)(kai)(kai)發者專注于邏輯(ji)功能的(de)開(kai)(kai)(kai)發。webmagic采用完全模塊化的(de)設計(ji),功能覆蓋整個爬蟲的(de)生命周期(鏈接提取、頁面下載、內容(rong)抽(chou)取、持久化),支(zhi)持多(duo)線程(cheng)抓取,分(fen)布(bu)式抓取,并支(zhi)持自動重(zhong)試、自定義(yi)UA/cookie等(deng)功能。

產品設計

webmagic包含頁面抽取(qu)功能,開發者可以使用css selector、xpath和正則(ze)表達式進行鏈(lian)接和內容(rong)的提(ti)取(qu),支持多個選擇器鏈(lian)式調用。

特色功能

webmagic主要包括兩個包:

webmagic-core

webmagic核心部(bu)分(fen),只(zhi)包含爬(pa)蟲基(ji)本(ben)模(mo)塊和基(ji)本(ben)抽取器(qi)。webmagic-core的(de)(de)目標(biao)是成為網頁(ye)爬(pa)蟲的(de)(de)一個教科書般的(de)(de)實現。

webmagic-extension

webmagic的擴展模塊,提供一些更(geng)方便(bian)的編寫爬蟲的工具。包括注解格(ge)式定義爬蟲、JSON、分布式等支(zhi)持。

webmagic還包(bao)含兩個(ge)可用的(de)擴展包(bao),因為這兩個(ge)包(bao)都依賴了比較(jiao)重(zhong)量級的(de)工(gong)具,所以從主要包(bao)中抽離出來,這些包(bao)需要下(xia)載源碼后自(zi)己編譯:

webmagic-saxon

webmagic與Saxon結合的(de)模塊。Saxon是(shi)一個XPath、XSLT的(de)解析工具,webmagic依賴(lai)Saxon來進行XPath2.0語法解析支持(chi)。

webmagic-selenium

webmagic與(yu)Selenium結合的(de)模(mo)塊。Selenium是一個模(mo)擬瀏覽器(qi)進(jin)(jin)行頁(ye)面渲染的(de)工(gong)具,webmagic依(yi)賴Selenium進(jin)(jin)行動態(tai)頁(ye)面的(de)抓(zhua)取。

在項目中,你可以根據需要依賴不同的包。

不使用(yong)maven

在項目(mu)的(de)lib目(mu)錄下(xia),有依賴的(de)所有jar包(bao),直接在IDE里import即可(ke)。

本百科詞條由網站注冊用戶【 我心明亮 】編輯上傳提供,詞條屬于開放詞條,當前頁面所展示的詞條介紹涉及宣傳內容屬于注冊用戶個人編輯行為,與【WebMagic】的所屬企業/所有人/主體無關,網站不完全保證內容信息的準確性、真實性,也不代表本站立場,各項數據信息存在更新不及時的情況,僅供參考,請以官方發布為準。如果頁面內容與實際情況不符,可點擊“反饋”在線向網站提出修改,網站將核實后進行更正。 反饋
相關內容推薦
發表評論
您還未登錄,依《網絡安全法》相關要求,請您登錄賬戶后再提交發布信息。點擊登錄>>如您還未注冊,可,感謝您的理解及支持!
最新評論
暫無評論
網站提醒和聲明
本站(zhan)(zhan)為注冊(ce)用(yong)戶提(ti)供(gong)(gong)信息存儲(chu)空間服(fu)務,非“MAIGOO編輯上(shang)傳(chuan)提(ti)供(gong)(gong)”的文章/文字均是注冊(ce)用(yong)戶自主發布上(shang)傳(chuan),不代表(biao)本站(zhan)(zhan)觀點(dian),更(geng)不表(biao)示(shi)本站(zhan)(zhan)支持購買和交易(yi),本站(zhan)(zhan)對網(wang)頁中內容(rong)的合法性(xing)、準確性(xing)、真實性(xing)、適用(yong)性(xing)、安全性(xing)等概(gai)不負責。版權(quan)歸原(yuan)作者(zhe)所(suo)有,如有侵權(quan)、虛(xu)假信息、錯(cuo)誤(wu)信息或任何問題,請及時聯(lian)系我們,我們將(jiang)在第(di)一時間刪除或更(geng)正。 申請刪除>> 糾錯>> 投訴侵權>>
提交說明(ming): 查看提交幫助>> 注冊登錄>>
頁面相關分類
熱門模塊
已有4078233個品牌入駐 更新519264個招商信息 已發布1591208個代理需求 已有1357515條品牌點贊