軟件介紹
ScrapydWeb官方版是一款能夠幫助用戶進行Scrapyd集群管理的爬蟲管理平臺,我們可以通過ScrapydWeb來對Scrapy日志進行分析和可視化處理,從而方便你管理Scrapyd集群。
ScrapydWeb官方版軟件簡介
ScrapydWeb(爬蟲管理平臺)是一個用于Scrapyd集群管理的web應(yīng)用,支持Scrapy日志分析和可視化,支持Scrapyd集群管理、日志可視化、定時任務(wù)、郵件通知、移動端UI!
軟件特色
Scrapyd 集群管理
支持所有 Scrapyd JSON API
支持通過分組和過濾來選擇若干個節(jié)點
一次操作, 批量執(zhí)行
Scrapy 日志分析
數(shù)據(jù)統(tǒng)計
進度可視化
日志分類
增強功能
自動打包項目
集成 LogParser
定時器任務(wù)
監(jiān)控和警報
移動端 UI
web UI 支持基本身份認證
ScrapydWeb官方版常見問題
1、scrapy是什么?
一個爬蟲框架,你可以創(chuàng)建一個scrapy項目
2、scrapyd是什么?
相當于一個組件,能夠?qū)crapy項目進行遠程部署,調(diào)度使用等因此scrapyd可以看作一個cs(client-server)程序,因此毫無疑問我們需要安裝和配置scrapyd(server)和連接的scrapy-client(client)
3、scrapydweb是什么?
是一個基于scrapyd的可視化組件,集成并且提供更多可視化功能和更優(yōu)美的界面
總結(jié):三者如同葫蘆套娃,總共三層
- 精選留言 來自湖北宜昌電信用戶 發(fā)表于: 2023-11-8
- 天啊~!我以前怎么不知道
- 精選留言 來自湖南婁底移動用戶 發(fā)表于: 2023-8-5
- 腦子笨了點,還是這款軟件方便
- 精選留言 來自山東萊蕪聯(lián)通用戶 發(fā)表于: 2023-9-26
- 不錯不錯
- 精選留言 來自浙江溫州移動用戶 發(fā)表于: 2023-11-9
- 比其他的軟件好用多了,推薦給大家
- 精選留言 來自內(nèi)蒙古烏海電信用戶 發(fā)表于: 2023-2-13
- 好評,必須好評。非常好用!