博客园随笔内容进行爬取至本地并转md格式

2019-07-24 16:45:17 浏览数 (2)

将博客园随笔保存至本地并转md格式

1.首先博客园的robots协议

代码语言:javascript复制
User-Agent: *
Allow: /

2.项目目的

方便博主将以上传的md随笔重新根据输入url进行下载,方便博主修改随笔

3.项目介绍功能介绍

  • 功能一:批量爬取博客园首页的所有随笔字典并保存JSON文件,且随笔全部转成MD格式文件
  • 功能二:输入指定随笔网址把随笔内容转成MD并且保存

由于不同博客具有不同的见状性`要根据博客能让进行适当的修改就可以使用此程序

不要加多进程多线程进去增加博客园的负担

爬取内容请不要用做商业用途

4.项目链接

https://github.com/a568972484/html_to_md

项目中的注释我都去掉了,有注释的在压缩文档中需要的话联系我,内容与Crawl_blog_post_3中完全相同只是有注释而已

现在收到有些博客的见状性修改,已经升级到3.0版本,哈哈

内容会不断更新完善

0 人点赞