问: 有一台闲置的 服务器,搭点什么服务比较有意思呢?
Huginn ,主要用来价格监控和 RSS 订阅
有没有一种爬虫服务,只需要我指定网站和规则,就可以定时爬数据,并且可以提供我指定格式的 json api 的,本人比较喜欢看自然科学相关的文章,经常看环球科学的网站,加上我是做 iOS 开发的,所以我想用 swift 做一个 app 方便看文章。本来是想自己做全栈的,包括设计和前后端(前后端全用 swift),但是由于我对爬虫方面的知识不太了解,我想先完成 app,后期再用 Perfect 自己学习写爬虫程序。所以要是有现成的爬虫并且是开源的就最好了?
用 huginn feedly,完全满足需求。
大家现在用什么 RSS 阅读器?
inoreader ,不知道你用 ifttt 主要是干什么, 我自己搭了个 Huginn ,基本告别 ifttt 了。
Github issues 转换成 RSS 订阅服务,这个工具可以抓取 Github 上的 issues, 转换成 RSS, 向外提供订阅服务. 我自己就提供了一个, 详情看 demo .之前看到 Github 上有许多人喜欢在 issues 上发表文章. 想把这些宝贵的信息收集起来阅读, 个人实在是用不惯 Github 自带的 Subscribe 功能. 所以写了这个工具.有一点要说明一下, 由于 Github API 抓取次数的限制( 一般是 5000 ), 所以在一个小时内生成的 RSS , 将不会从 Github 抓取, 而是直接从数据库中取出副本. 还有就是在 Chrome 上无法使用 Inoreader 的插件订阅, 需要到 Inoreader 的工作台里订阅?
这个领域,现成服务,有 weirss、深蓝、狗耳朵、微广场、今天看啥、一订
开源项目,也好几个,看似很多吧?但都不能同时满足 上面这仨简单要求
之前用 huginn 爬搜狗的源( weixin.sogou.com ),但前几天公号页面竟然加了验证码……只好缴械投降
目前用即刻凑合中。但没已 /未读标识和离线下载,还是不如 rss 安逸.
论 RSS 的复兴?
uwp 的 Newsflow 也很不错,我是 Huginn 部署在服务器上,然后本地用 Newsflow 看 Rss,如果浏览器插件的话,inoreader 不错
有没有类似 yahoo pipes 的分布式任务管理调度后台?
Huginn
有没有现成的 github 项目 release 监控?有新版本发布就发一个提醒(比如邮件)。 watch 的话 issue 也会发邮件,如果是大项目就太烦了?
自建推荐 huginn
有没有可以满足条件后通过 iPhone 通知我(sms、app 皆可) ,是这样的,目前要写一个监控程序,然后需要循环监控某网页(目前用的 python 本地跑。或者远程服务器上也跑可以),然后我达到一定条件,比如网页变动了,就通知我,网页有变化啦。有没有这种 APP 的。。。或者现成的可用的 sms 发短信也行。。。。但是如果 sms 需要购买的话,就有点浪费了,毕竟只是为了方便自己,我有想过邮件地址,但是比较担心邮件发信的密码保存在 python 里面,被泄露了之类的安全问题?
huginn 了解一下,heroku 上搞个免费的
有没有这样的工具来解决当今信息泛滥?说下个人的情况: 我现在基本不看新闻,什么今日头条也不看,朋友圈限制看,手机 App 推送,基本是全关。因为信息太多了,我只想关注我自己想知道的,比如我买的某个 P2P,这个平台的信息(是不是要跑路了),某个硬件有没有发布。这样的话,我只能每隔一段时间搜索一下这些关键字,才能知道它的动态。有没有这个的平台,我输几个关键字,它把我关注的信息抓来过滤一下(正规可靠的信息渠道),我偶尔瞅一眼,这样,不至于在减少信息焦虑的同时,漏了我想知道的信息。如果没有,我们能不能做一个?
似乎只能找些工具配合着用,爬虫 rsshub feed43 rss 客户端 huginn
老大让爬取微信公众号的历史文章内容和点赞数以及评论,各位 v 友有什么建议吗?1 目前尝试了自己抓包,想通过自己拼接微信数据接口的方式取数据,无奈参数太多,有几个始终无法解析出来。 2 看到 git 上有大佬用中间人攻击的方法直接获取数据包,但是看不懂?
说 huginn 是真的试过的么,如果是要爬搜狗,搜狗是没有点赞数,评论的,历史文章只有 10 条。历史文章页面是微信域的,有严格的 ip 限制。现在简单可行的就是用 Anyproxy 实现注入 js 脚本来实现爬取了,但是你要有足够多的账号设备,微信封不封你看心情。
rss 订阅特定 bilibili 的 up 主?
如果 gas 能像 yahoo pipes 那样,预置一些常用的模块,或者有个公开库可以分享就更好一些。要不什么都要自己手写一轮。最好有可视化。像 huginn 那样。
安卓上有类似 Ios 的 workflow 的软件吗 ?
Tasker 、 MacroDroid 、 AutomateIt 、 Automate 、 IFTTT
没用过 workflow ,在少数派看过一些相关文章,比较认同 4 楼的看法
目前我的自动化搭配如下:
Android: MacroDroid TouchTask RepeatitTouch FolderSync IFTTT
薅羊毛: Huginn Inoreader/IFTTT
上面的搭配最适合我这种小白了,稍微配置一下就能用的很舒心。 Tasker 作备用,主要使用它的场景布局,其它高级用法没精力去鼓捣。
有什么好用的 RSS 生成器( e.g. feed43)?
好像有个叫 huginn 的 很强大
用 Growl 来输出调试信息?比如云端的内容,部署在 heroku 上的 huginn,这种抓取 rss 的内容想用 Mac 收到 growl 通知,如何收到呢?需要填写 IP,这里的 IP 用 192 的局域网 IP 总是提示拒绝,外部 IP 也不是固定的,怎么实现呢?
还没有答案
Yahoo Pipes 要挂了,求推荐替代品?
扫了眼,里面的Huginn、WebHookIt似乎都是Pipes很好的替代。,普通人没时间挨个测试,期待有发烧友出篇评测……9月30号,很快了
如何第一时间自动保存微信公众号文章?事情是这样的,关注了一些公众号,发的文章挺好,就是经常被删,好多我还没来得及看就被删除了。 想问问有没有办法,在被删除前自动保存下来,我可以接着看?
Huginn 用它直接抓
RSS 为什么火不了?
Huginn 好像挺不错的昨天看了下,我是忠实的 RSS 用户。那些所谓的新媒体平台,无论是微信公众号、微博还是今日头条,那种体验跟 RSS 比起来就是渣渣。随便说一句,我很愿意为 RSS 工具花钱,对于给你的生活带来极大方便的工具,每年花点钱也是理所应当
新闻 app 怎么破?想看个实时有价值的新闻这么难?
RSS 自己喜欢的通讯社和网站。 通过 Huginn 把感兴趣的全都抓下来,推送到 telegram 阅读