课题组日志
读书分享会——《Hadoop权威指南》
作者:李杨
发布时间:2019-05-16
2019年5月16日上午9点,组内成员在学院436会议室开展了本次读书分享会,由李杨同学分享了怀特所写的书籍《Hadoop权威指南》。本书从Hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍Hadoop的生态系统,Hadoop的生态系统主要包括了HDFS文件存储系统、Mapreduce计算框架、YARN集群资源管理系统等。
同时,李杨同学简单介绍了目前较为流行的Spark实时流处理计算引擎,Spark是一个实现快速通用的集群计算平台,它扩展了广泛使用的MapReduce计算模型。高效的支撑更多计算模式,包括交互式查询和流处理。Spark的一个主要特点是能够在内存中进行计算,及时依赖磁盘进行复杂的运算,Spark依然比MapReduce更加高效。