Spark大数据编程实用教程+2

内容简介

前 言 在大数据开发中，大数据处理是其中十分关键、必不可少的一环。Spark 是主流的通用大数据处理平台，因此，要学习大数据开发，必然要学习 Spark。 近年来，作者在大数据教学上，尤其是在 Spark 技术的应用和推广上进行了一系列有益的尝试。 ? 在全国较早地开设了云计算及大数据相关课程。 ? 在全国较早地对本科生开展了系统、深入的 Spark编程训练。 ? 主讲的Spark实战视频课程在51CTO学院长期排名大数据（Spark分类）课程的年销量*。 ? 作者指导 3 支 Spark 零基础本科生团队参加了 3 届全国性Spark编程比赛（第二届、第三届和第四届全国高校云计算应用创新大赛技能赛），在同多支 985/211 高校的参赛队角逐中，我们的本科生队战胜了多支研究生队，共获得全国总决赛两次，一次。 ? 此外，编者指导的云计算和大数据作品，参加*科技创新竞赛，共获得全国一次，两次。 在此期间，编者接触并培养了大量的零基础 Spark 学习者，总结出 Spark 初学者的四个共性问题。 ? 内容繁杂，理不清头绪：Spark 的学习内容太多，哪些是必须学的？先学哪个？后学哪个？漫无目的地学，只会导致事倍功半。 ? 基础不够：Spark 开发需要大量的前置知识，例如虚拟机、Linux 命令、网络基础、分布式系统基础和编程语言等，很多都是理论和实践结合在一起的，有一个问题搞不定，就会卡住进行不下去。 ? Scala难以学习：Scala 语法晦涩难懂，读 Spark 的 Scala API，明明很简单的函数，却看起来像天书。 ? 无法动手：看了大量的Spark编程书籍，明白了 Spark 的技术原理，但是无法将自己的想法实现成Spark程序，更不用说利用Spark特性进行优化了。 为此，编者编写了这本《Spark 大数据编程实用教程》，力图能够帮助 Spark 初学者快速掌握Spark编程技能，少走弯路，具体做法如下。 ? 针对*个问题，本书总结 Spark 学习的痛点，构建了 Spark 快速学习路线图，为读者提供一条清晰明确的学习路径；结合编者自身的开发经验，按照 20/80 原则，Spark学习中的重难点，帮助读者快速、深入地掌握Spark。 ? 针对第二个问题，本书提供了一站式 Spark 前置课程资源，包括虚拟机、Linux 和Shell 编程等免费高清视频，这些视频在“网易云课堂”上学习人数多，好评度高。每门课大概 10 个小视频，短小精悍，每个视频时长 15min 以内，即使零基础也可快速入门。 ? 针对第三个问题，本书采用 Scala 作为Spark应用的开发语言，每个 API 和关键示例代码都有详细讲解，帮助读者在实战中快速掌握 Scala；同时，本书还提供配套编写的《零基础快速入门 Scala》免费电子书， Scala 知识点，帮助读者在短时间内快速入门Scala。 ? 针对第四个问题，本书提供了多的 Spark 示例，它们来源于编者团队 5 年 Spark项目开发、3 年 Spark 全国编程大赛的实践经验。每个示例都有说明，关键代码有解释，还有测试数据和运行方法，适合自学。可以帮助读者迅速上手，全面、深入地掌握Spark编程技能，快速积累Spark开发经验。 本书共10章，分别是Spark与大数据、构建 Spark 运行环境、开发*个Spark程序、深入理解Spark 程序代码、RDD 编程、Spark SQL 结构化数据处理、Spark Streaming、Structured Streaming、Spark R和GraphX。 在章节分工上，艾叔负责整个大纲的拟定，以及第 1、2、3、4、5、6、7、8 章的编写；艾叔、汪忠洋共同完成第9、10章的编写。 本书既可作为高等院校大数据、云计算和人工智能相关专业的教材，也可以作为Spark学习者和大数据研发人员的技术参考书。 感谢机械工业出版社的胡毓坚总编、和庆娣编辑、王斌编辑的大力支持。正是由于他们专业、热情和不辞辛苦的付出，才成就了本书，在此表示衷心的感谢! 感谢我的妻子，