功能介绍
软件蜘蛛爬取站内URL链接(软件蜘蛛非深度爬取),非站内链接自动过滤
软件根会据日志判定,以防止浪费URL配额数量
软件提交URL记录日志,一天一记
全自动推送至百d站长平台
更新日志
2.1版本更新内容:
支持设置爬虫爬取网页深度
优化软件运行
优化部分细节