Pandas是用于Python编程语言的开源高级数据分析和处理库。使用pandas，可以轻松加载，准备，操作和分析数据。它是用于数据分析操作的最优选和广泛使用的库之一。...

很多时候，数据预处理和数据清洗、特征工程等混为一谈，以至于大家分不清到底哪一步用谁。

这是一个系列篇，后续我们会按照我们第一章中的框架进行更新，因为大家平时都较忙，不会定期更新，如有兴趣欢迎长期关注我们的公众号，如有任何建议可以在评论区留言，该系列以往的经典内容可参考下面的篇章。...

视频地址：https://www.bilibili.com/video/BV1MU4y1h75G

如果要将AI嵌入到企业计算系统中，企业必须重新调整其机器学习（ML）开发流程以使得数据工程师、数据科学家和ML工程师可以在管道中自动化开发，集成，测试和部署。本博客介绍了与机器学习平台进行持续集成（CI），持续交付（CD）和持续培...

曾经在15、16年那会儿使用Spark做机器学习，那时候pyspark并不成熟，做特征工程主要还是写scala。后来进入阿里工作，特征处理基本上使用PAI 可视化特征工程组件+ODPS SQL，复杂的话才会自己写python处理。最近重新学习了下py...

这篇文章我们来讲讲，如何使用pyspark为推荐模型做特征工程。同样的，我们将使用movielens数据集，我们需要进行Sample Label、Movie Features生成以及User Features的生成、最后再split Train&Test Samples。...

当我们在进行机器学习领域的学习和研究时，遇到的第一个难点就是数据探索性分析（Exploratory Data Analysis）。虽然从各种文献中不难了解到数据探索性分析的重要性和一般的步骤流程，但是在面对实际问题时，往往会有不知道从...

特征工程是数据科学模型开发的重要组成部分之一。数据科学家把大部分时间花在数据处理和特征工程上，以便训练一个鲁棒模型。数据集由各种类型的特征组成，包括类别、数字、文本、日期时间等。...

特征工程是生成精确模型的最重要步骤之一。但是没有人喜欢它，因为这个步骤非常繁琐，我坚信任何繁琐的事情都可以自动化。虽然我的解决方案并没有完全消除对手工工作的需要，但它确实大大减少了手工工作，并产生了更好的结果...