机器学习集训营---第五周总结


本周主要讲大数据分析和处理,包含:
1. hadoop 使用,map-reduce概念和使用
2. spark与大数据处理

下面详细记录一下知识点:
hadoop
1. HDFS 分布式文件系统
a. 主从结构,一个namenoe和多个datanode, 分别对应独立的物理机器
b. NameNode是主服务器,管理文件系统的命名空间和客户端对文件的访问操作。NameNode执行文件系统的命名空间操作,比如打开关闭重命名文件或者目录等,它也负责数据块到具体DataNode的映射
c. 集群中的DataNode管理存储的数据。负责处理文件系统客户端的文件读写请求,并在NameNode的统一调度下进行数据块的创建删除和复制工作。
d. NameNode是所有HDFS元数据的管理者,用户数据永远不会经过NameNode
2. MapReduce 并行计算框架
a. 主从结构,一个JobTracker和多个TaskTracker
b. MapReduce是由一个单独运行在主节点上的JobTacker和运行在每个集群从节点上的TaskTracker共同组成的。JobTacker负责调度构成一个作业的所有任务,这些任务分布在不同的从节点上。
c. MapReduce模型原理是利用一个输入的key/value对集合来产生一个输出的key/value队集合,使用Map和Reduce函数来计算
d. MapReduce将大数据分解为成百上千小数据集,每个数据集分别由集群中的一个节点(一般是一台计算机)并行处理生成中间结果,后然这些中间结果又由大量的节点合并,形成最终结果
3. echo "hello world">test1.txt
a. echo是指回显示,可以理解为print, 大于符(>)为重定向,正常echo是显示在屏幕上,而用了重定向后,即内容显示在了text1.txt文件里。那这句话意思是,创建一个test1.txt文件,其内容是"hello world"。
4. 移动计算:
a. 程序自动分发到各hadoop结点上进行计算,然后通过一定机制把结果进行汇总最后返回出来,这称之为移动计算。显然,移动计算要比移动数据成本要低得多。
5. google三驾马车:
a. 也就是在google在2003年到2004年公布了关于GFS、MapReduce和BigTable三篇技术论文,即google的三驾马车。
b. Hadoop的HDFS对就google的GFS,MapReduce对就google的MapReduce,Hadoop的HBase对应google的BigTable。
c. (注:HBase是其于hadoop开发的类似数据操作的软件)。
6. 到现在hadoop的核心价值总算摸清了,一是分布式存储,二是移动计算。

spark :
1. RDD:(非常适合机器学习)
a. 在Spark里,所有的处理和计算任务都会被组织成一系列Resilient Distributed Dataset(弹性分布式数据集,简称RDD)上的transformations(转换) 和 actions(动作)。
b. RDD是一个包含诸多元素、被划分到不同节点上进行并行处理的数据集合,可以将RDD持久化到内存中,这样就可以有效地在并行操作中复用(在机器学习这种需要反复迭代的任务中非常有效)。在节点发生错误时RDD也可以自动恢复。
2. SparkContext是用来链接
3. 使用sc.parallelize,你可以把Python list,NumPy array或者Pandas Series、Pandas DataFrame转成Spark RDD
4. 初始化RDD方法2
a. 第2种方式当然是直接把文本读到RDD了
b. 你的每一行都会被当做一个item,不过需要注意的一点是,Spark一般默认你的路径是指向HDFS的,如果你要从本地读取文件的话,给一个file://开头的全局路径。(服务器的本地)
5. RDD transformation的那些事
a. map() 对RDD的每一个item都执行同一个操作
b. flatMap() 对RDD中的item执行同一个操作以后得到一个list,然后以平铺的方式把这些list里所有的结果组成新的list
c. filter() 筛选出来满足条件的item
d. distinct() 对RDD中的item去重
e. sample() 从RDD中的item中采样一部分出来,有放回或者无放回
f. sortBy() 对RDD中的item进行排序
6. 比较炫酷的是,前面提到的Transformation,可以一个接一个地串联,
a. resultRDD = (numbersRDD # In parentheses so we can write each
b. .map(doubleIfOdd) # transformation in one line
c. .filter(lambda x: x > 6)
d. .distinct())
e. 要结果的话调用 resultRDD.collect() ---确认量级是否会爆掉
7. RDD间的操作
a. rdd1.union(rdd2): 所有rdd1和rdd2中的item组合
b. rdd1.intersection(rdd2): rdd1 和 rdd2的交集
c. rdd1.substract(rdd2): 所有在rdd1中但不在rdd2中的item(差集)
d. rdd1.cartesian(rdd2): rdd1 和 rdd2中所有的元素笛卡尔乘积
8. 特别注意:
a. Spark的一个核心概念是惰性计算。当你把一个RDD转换成另一个的时候,这个转换不会立即生效执行!!!

b. Spark会把它先记在心里,等到真的需要拿到转换结果的时候,才会重新组织你的transformations(因为可能有一连串的变换)
c. 这样可以避免不必要的中间结果存储和通信。
9. RDD Actions
a. collect(): 计算所有的items并返回所有的结果到driver端,接着 collect()会以Python list的形式返回结果
b. first(): 和上面是类似的,不过只返回第1个item
c. take(n): 类似,但是返回n个item
d. count(): 计算RDD中item的个数
e. top(n): 返回头n个items,按照自然结果排序
f. reduce(): 对RDD中的items做聚合
10. 有一个很有用的操作,我们试想一下,有时候我们需要重复用到某个transform序列得到的RDD结果。但是一遍遍重复计算显然是要开销的,所以我们可以通过一个叫做cache()的操作把它暂时地存储在内存中:
11. 针对更复杂结构的transform和action
a. reduceByKey(): 对所有有着相同key的items执行reduce操作
b. groupByKey(): 返回类似(key, listOfValues)元组的RDD,后面的value List 是同一个key下面的
c. sortByKey(): 按照key排序
d. countByKey(): 按照key去对item个数进行统计
e. collectAsMap(): 和collect有些类似,但是返回的是k-v的字典

个人感悟:
本周进入hard模式,至少对我来说是。但同样也发现了很多有趣的东西,像map-reduce和HDFS,以前只是听过,但这次是详细的学习,发现分布式存储和分布式计算优势很大,而且以后互联网的发展,数据量会越来越大,能发现大数据背后的价值变得很重要,毕竟现在还有很多公司做的一些决策都是凭个人感觉来做的,如果换成base on data,进步空间会很大。
现在看来之前学的课程分成三个部分,都可以单独找工作了:
1. python 爬虫工程师
2. python 数据分析工程师
3. hadoop ,spark大数据工程师
但是我的定位是机器学习中的图像处理领域,而且要成为图像处理领域的专才。上面列出这些也要会,同时了解它们原理和能使用。我也非常了解自己的能力范围,所以目前的原则就是“专注自己热爱的领域,同时严格按照老师的课程安排去学习和做练习,但不能太在意细节和钻牛角尖,跟上课程进度”
已邀请:

alicia_665

赞同来自:


这堂课的spark是用pyspark,还是用scala版本的spark呢?

要回复问题请先登录注册

返回顶部