不知道从哪里找数据?这一篇,都搞定!(持续更新)
相信很多小伙伴在做数据分析或者可视化的时候,经常会遇到——方法工具都有了,但是数据,数据,数据没有啊!
好不容易找到了看起来还不错的网站,再一看,年费18888……
没关系,这一篇就带你搞定数据分析与可视化的基础——数据来源篇。
其中,每个网站的特点和适用范围我已经打好标签,任君食用,够贴心了吧
另外,为了让大家能够快速地找到自己想要的数据,其中每个网站都是我亲自验证过的(截止到2022.3),大家宝贵的时间就不要浪费在找数据上了!
国家统计网
http://stats.gov.cn/
#国内 #免费 #无需注册
各种民生相关的统计数据,所有数据都是免费的,与国家有关的数据,最权威、最全面的地方。有多好用自己试试就知道了!
中国互联网络信息中心
http://www.cnnic.net.cn/hlwfzyj/hlwxzbg/hlwtjbg/
#国内 #免费
里面有很多与国内互联网发展的研究和数据,在分析行业的时候可以用到
中国统计信息网
http://www.tjcn.org/
#部分免费 #国民数据
全国各级政府各年度的国民经济和社会发展统计信息,部分数据免费
其中很多涉及到国家的统计信息,能找到大量有用的数据
中国产业信息网
http://www.chyxx.com/data/
#免费 #行业
包含了各个行业相关的数据,所有的数据全部免费,做行业分析经常用到的
谷歌数据集搜索
https://datasetsearch.research.google.com/
#全球 #免费 #全面
这个我真是的要强推了!算是一个数据界的搜索引擎,包罗万象
直接就可以导航到搜索出来的数据集网址
Google Trends
https://trends.google.com/trends/explore
#免费 #全面
还是谷歌出品,可以搜索关键字并查看有关它们的各种信息,包括按照时间的搜索热度、按照地区的搜索热度、相关主题、相关搜索等。可以选择不同的选项,包括要查看的国家,将其缩小到各个类别,或将搜索范围限制在所有网站、图片、新闻、购物上。
还可以做不同关键词的比较,并且导出csv格式,简直就是热点分析小能手
EU Open Data Portal
https://data.europa.eu/euodp/en/data/
#欧洲 #免费
可以说是肥肠好用了!有130w 数据集,且还在不断增加,亲测可以直接下载,不需要注册
美国政府公开数据
https://www.data.gov/
#免费 #美国
美国政府公开数据的网站,包含了经济、消费、教育、医疗、农业等多个领域的数据
英国 Data.gov
https://data.gov.uk/
#免费 #英国
与美国的 Data.gov 类似,该网站允许访问各种主题的数据。这些数据由中央政府、地方当局和公共机构提供。
世界银行:
https://data.worldbank.org/
#世界 #经济 #免费
世界银行的开放数据。平台还提供了一些工具,比如开放数据目录,世界发展指数,教育指数等。
https://[www.reddit.com/r/datasets/](http://www.reddit.com/r/datasets/)
#免费 #需要注册
这是一种有趣的获取数据集的方法(可能大部分人还不知道),Reddit有点类似于国内的“百度贴吧”,里面会有很多宝藏内容
国家海洋和大气管理局(National Center for Environmental Information)
https://www.ncdc.noaa.gov/data-access
#美国 #海洋 #领域 #免费
NASA 的 Earth Data
https://earthdata.nasa.gov/?_fsi=BqJ6IiI5
#美国 #地球 #领域 #免费
它包含了美国宇航局的地球观测数据,其中包含如 NC 地表温度和碳通量等信息。
Pew Internet
https://[www.pewresearch.org/internet/datasets/?_fsi=BqJ6IiI5](http://www.pewresearch.org/internet/datasets/?_fsi=BqJ6IiI5)
#美国 #社会学 #免费 #需要注册
疾病控制与预防中心(Centers for Disease Control and Prevention)
https://[www.cdc.gov/datastatistics/index.html](http://www.cdc.gov/datastatistics/index.html)
#西班牙 #健康
Five Thirty Eight
https://data.fivethirtyeight.com/
#美国 #免费 #无需注册
这个网站有关于政治、体育、科学、健康、经济和文化方面的数据。是一个互动式新闻与体育赛事的网站,网站中会发布许多数据相关的文章,这些文章中会把使用到的数据集发布在github上,除了获取数据集,你还可以参考别人的项目过程。
无需注册,直接可以下载,十分友好
The World Factbook
https://[www.cia.gov/library/publications/the-world-factbook/](http://www.cia.gov/library/publications/the-world-factbook/)
#免费 #美国 #国家
该数据集包含 267 个国家和地区的信息,每周更新一次。它还有一个关于世界领导人和一个关于 CIA Maps 的专栏。
Socrata OpenData:
https://opendata.socrata.com/
#美国 #内置可视化工具 #数据干净 #需要注册
Socrata OpenData 网站包含多个清洗后的数据集,可以直接在浏览器中查看,也可以下载到本地进行可视化,大部分数据来源于美国政府。
Quandl
https://www.quandl.com/
#经济 #机器学习 #部分免费
Quandl是一个经济和财务数据库,提供已经清理过的数据,是测试机器学习算法的最佳选择。
buzzfeed
https://github.com/BuzzFeedNews/everything
BuzzFeed是一家提供新闻和娱乐内容的跨平台数字媒体公司,但是可以在Github上找到不同v主题的数据。
Kaggle
https://www.kaggle.com/
#需要注册 #全球
Kaggle是一个多功能网站,或者最好称之为着名的“数据科学社区”,Kaggle提供了数据空间学习与实践的组合。
只需打开主页,然后在页面顶部找到搜索框,使用“in:datasets”标签,就可以搜索到想要的数据集。
阿里天池
#国内 #需要注册
可以把天池类比为国内的”Kaggle“,获取数据、练手打比赛拿奖金两不误,天池的数据分类是官方数据和公共数据,可以根据需求选择数据种类进行分析。
和鲸社区
https://www.heywhale.com/home/competition
#国内 #需要注册
和阿里天池类似,竞赛 数据集,可以搜索想要的数据
感谢你看到了这里!欢迎评论区讨论或者补充,本篇持续更新到100个优质网站(立一个flag!)请大家点赞收藏来监督我,哈哈
下一篇,会介绍制作可视化图表和视频的网站,(或者各种行业报告的网站,看心情),妈妈再也不用担心我做出来的图被“丑拒”了!