大家好，又见面了，我是你们的朋友全栈君。
Lamda架构学习
一、Lamda架构介绍
Lambda架构整合离线计算和实时计算，融合不可变性（Immutability），读写分离和复杂性隔离等一系列架构原则，可集成Hadoop，Kafka，Storm，Spark，HBase等各类大数据组件。
Lambda架构的目的是为应用程序提供一个低延迟的复合异步数据传输环境，例如新闻类应用，经常需要进行大规模信息处理，包括输入，归类，索引，存储等操作。
二、 Lambda架构思想
所有进入系统的数据被分配到了批处理层和实时处理层来处理。
批处理层管理着主数据集（一个不可修改，只能新增的原始数据）和预计算批处理视图。服务层索引批处理视图，因此可以对它们进行低延时的临时查询。
实时处理层只处理近期的数据。任何输入的查询结果都合并了批处理视图和实时视图的查询结果
三、 Lambda架构开源组件选型
数据流通用：Kafka、Flume、Hdfs
1、批处理层选型：
批处理存储层：HDFS,Hadoop,或者阿里的ODPS
批处理计算层：MapReduce,Spark
批处理服务层：HBase,或Cassandra
2、实时处理层选型：
实时处理：Storm或Spark Streaming
实时处理服务层：Redis
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/144056.html原文链接：https://javaforall.cn
