最新 最热

技术方案设计的方法

前段时间接手了一个还处于方案设计阶段的工作,我重新做了设计。觉得新方案比旧方案业务清晰明朗、解决了旧方案的缺陷。我就很高兴,跟同事聊这个事情。同事就问我是怎么想到这些的呢。...

2020-11-24
2

一文探究数据仓库体系(2.7万字建议收藏)

数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。...

2020-11-11
1

一文快速入门分库分表(必修课)

之前有不少刚入坑 Java 的粉丝留言,想系统的学习一下分库分表相关技术,可我一直没下定决心搞,眼下赶上公司项目在使用 sharing-jdbc 对现有 MySQL 架构做分库分表的改造,所以借此机会出一系分库分表落地实践的文章,也算是...

2020-09-28
1

送你秋天的第一份安心

前几天数据君的朋友圈,已经被#秋天的第一杯奶茶#刷屏了。 这个梗指的是9月22日秋分后,在意你的人给你发一个红包(一般是52元)或买一杯温暖的奶茶,就能让你在这个萧瑟的秋天喝上第一杯奶茶,感受到来自Ta的温暖。 那么问题来...

2020-09-28
1

数据治理之数据脱敏技术研究

在数据经济时代数据要素已经成为了企业重要资产,对于企业不同的业务部门来说,每时每刻不在通过共享数据方式进行业务协作。一些企业会将大量的敏感客户数据、订单数据拷贝到开发、测试、数据分析环境,但并没有采取任何对...

2020-08-17
1

自己动手编写一个Mybatis插件:mybatis脱敏插件

在日常开发中,身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。否则容易造成个人隐私泄露,客户资料泄露,给不法分子可乘之机。但是数据脱敏不是把敏感信息隐藏起来,而是看起来像真的一样,实际上不能是真的。...

2020-08-12
1

Hadoop技术(三)数据仓库工具Hive

在这里可以回顾一下Hadoop的相关知识: 1.x job tracker 既管资源调度又管任务分配 2.x 分为ResourceManager(资源分配)和DataManager(任务分配) 牢记Hadoop 1.x与2.x架构图...

2020-07-24
1

Python使用openpyxl和pandas处理Excel文件实现数据脱敏案例一则

所谓数据脱敏,是指对个人的学号、姓名、身份证号、银行账号、电话号码、家庭住址、工商注册号、纳税人识别号等敏感信息进行隐藏、随机化或删除,防止在数据交换或公开场合演示时泄露隐私信息,是数据处理时经常谈到的一个...

2020-06-19
1

大数据下的隐私攻防02:身份证号+手机号如何脱敏才有效?

在这样的背景下,全球掀起了监管不断强化的数据安全的立法热潮。欧盟的GeneralData Protection Regulation (GDPR);美国的CaliforniaConsumer Privacy Act(CCPA);我国已实施的基础性法规《网络安全法》,其中一个章节单独对...

2020-06-01
1

成人网站泄露 108 亿数据后,一个 Elasticsearch 爱好者的思考

昨天晚上看到《成人网站泄露 108 亿数据,内含 50 万中国用户 》的文章,因为数据是基于Elasticsearch存储的,出于好奇,查了一些国外的报道,才有了这篇文章的思考。...

2020-05-22
1