搜狐号文章下载是款针对搜狐号的文章下载工具。它可以帮助用户将搜狐号上面的文章下载到本地电脑上面,操作简单,功能强大,非常实用,有喜欢的用户不要错过了。
1、先对输入的URL进行拆分,提取xpt
2、创建文件夹,存放爬取的资源
3、然后用pageNumber、xpt、pageSize拼接路径,获取保存URL的页面;将返回的数据转为json格式,解析地址;通过pageNumber自增,循环获取所有页面的地址。
4、将信息保存到本地txt文件
5、遍历获取地址对应的文章内容和图片