在本系列中,我们将讨论在大规模数据下实现高性能,需要在许多重要维度上进行考虑的关键因素,其中包括:
对于Ajax加载的网页已经分析了好几回,这回来说说利用selenium自动化获取网页信息。
上一份的推送是关于QQ音乐所有评论的获取,这一次讲讲QQ音乐精彩评论的获取。翻了一下QQ音乐热歌排行榜上的歌,发现QQ音乐热评多的歌不多,所有评论和网易云音乐比起来也挺寒碜的,只能说网易云不愧是文艺小青年的聚集地。不...
不同国家,使用不同时区,而服务器代码却在国内,跨时区日期不同,根据日期查询,查询不到数据了
前面 4 篇文章,分别对 Python 处理 Mysql、Sqlite、Redis、Memcache 数据进行了总结,本篇文章继续聊另外一种数据类型:MongoDB
本文主要从以下四个方面介绍:Spark SQL 在字节跳动的应用;什么是分桶;Spark 分桶的限制;字节跳动在分桶方面的优化。
我们都知道MongoDB是一款非常出色的非关系型文档数据库,你肯定会想问MongoDB这么强,我们该怎么用或者有啥运用场景呢?MongoDB的应用场景非常多,无论是数据存储还是日志存储越来越多的公司在使用MongoDB,而我们今天也在Spri...
如果直接用 Charles 或 mitmproxy 来监听微信朋友圈的接口数据,这是无法实现爬取的,因为数据都是被加密的。而 Appium 不同,Appium 作为一个自动化测试工具可以直接模拟 App 的操作并可以获取当前所见的内容。所以只要 A...
这个项目是为了学习 node 而建的,从前端到后端一手包办。相对来说,还是有一定难度的,适合有一定编程基础的人进阶学习。
软件开发职位通常需要的技能是NoSQL数据库(包括MongoDB)的经验。本教程将探索使用API收集数据,将其存储在MongoDB数据库中以及对数据进行一些分析。...