数据导入与预处理-课程总结-04~06章

数据导入与预处理-课程总结-04~06章

• 1. 第4章 pandas数据获取
  • 1.1 数据获取
    • 1.1.1 概述
    • 1.1.2 从CSV和TXT文件获取数据
    • 1.1.3 读取Excel文件
    • 1.1.4 读取json文件
    • 1.1.5 读取sql数据
• 2. 第5章 数据清理
  • 2.1 数据清理概述
    • 2.1.1 数据清理概述
  • 2.2 数据清理案例
    • 2.1 缺失值处理
      • 2.1.1 缺失值的检测与处理方法
      • 2.1.2 删除缺失值
      • 2.1.3填充缺失值
      • 2.1.4 插补缺失值
      • 2.1.5 案例
  • 2.3 重复值处理
    • 2.3.1 重复值的检测
    • 2.3.2 重复值的处理
    • 2.3.3 重复值处理案例
  • 2.4 异常值处理
    • 2.4.1 异常值的检测
      • 1. 3σ原则
      • 2.箱型图检测
• 3. 第6章 数据集成变换规约
  • 3.1 数据集成
    • 3.1.1数据集成需要关注的问题
    • 3.2 基于Pandas实现数据集成
    • 3.2.3 主键合并数据merge
    • 3.2.4 堆叠合并数据concat
    • 3.2.5 追加合并数据append
    • 3.2.6 基于索引合并join
    • 3.2.7 总结：
  • 3.3 数据变换
    • 3.3.1分组与聚合
    • 3.3.2 分组操作groupby()
    • 3.3.3 分组 内置聚合
    • 3.3.4 聚合操作 （6.2.3 ）
      • 1.agg()聚合
      • 2. transfrom()方法
      • 3. apply()方法
    • 3.3.5 哑变量处理
      • 1.什么是哑变量
    • 3.3.6 面元划分(6.2.5 )
  • 3.4 数据规约
    • 3.4.1 stack和unstack用法