Mahout是Hadoop中实现数据挖掘的包,虽然现在一般用spark mlib,但是为了做比较,想着将mahout的算法进行验证测试一下。。
Mahout的安装还是非常简单的,只需要解压一下再进行如下配置就可以。
# Mahout export MAHOUT_HOME=/home/ndscbigdata/soft/mahout-0.11.0 export PATH=MAHOUT_HOME/bin:PATH export CLASSPATH=CLASSPATH:MAHOUT_HOME/lib
由于算法有很多博客或者书籍上均有介绍,所以在此就不再重复。
其中Kmeans算法测试采用网上流行的"syntheticcontrol"数据集来实现。而关于这个数据集mahout提供了三种算法,如下所示:
因此进行kmeans测试,其结果如图所示。
对结果进行分析比较,发现基于hadoop的迭代数据挖掘效率还是非常低下的,它每次都要将中间聚类结果存储在DISK中。