数据科学导论+2

内容简介

本书将以导论形式介绍与数据科学相关的各方面知识。全书由“数”开篇，“说”古道今，推陈出“新”，结“语”收章。将会首先从数据的涵义开始谈起，引出对于大数据和数据科学的定义和相关介绍。书中将纵论数据的前世今生，与当前国内对数据科用和研究情况。以丰富详实的案例为牵引，结合思想理念和技术手段，介绍随着数据科学的发展而涌现出来的新的科学技术手段，新的研究策略和方法，新的生活方式改变。后通过一些深刻的对于数据科学未来发展的讨论来引出全书的结语。

目录

部分 数 第1 章 数据 ··············· 003 1.1 序言 ··················· 003 1.2 数据的定义 ················ 003 第2 章 大数据与数据科学 ··············· 006 2.1 大数据的概念 ··············· 006 2.2 大数据的4 V 特 ············· 007 2.3 数据科学简述 ··············· 011 部分 说 第3 章 说古 ··················· 017 3.1 数据简史 ··············· 017 3.2 大数据简史 ················ 023 3.3 大数据时代来临的表现 ··········· 025 3.4 大数据的产生根源 ············· 026 第4 章 道今 ················· 029 4.1 篇··················· 029 4.2 企业篇···················· 034 第三部分 新 第5 章 新方法 ····················· 043 5.1 数据密集型研究方法 ············· 043 5.2 数据的获取和预处理 ············· 052 5.3 数据的存储与管理 ············· 076 5.4 数据的处理 ················ 088 5.5 数据的可视化 ·············· 095 第6 章 新策略 ············· 107 6.1 关联分析 ·············· 107 6.2 趋势预测 ··············· 132 6.3 决策支持 ··············· 153 6.4 模式创新 ··············· 162 第7 章 新生活 ·············· 175 7.1 智慧城市 ·············· 175 7.2 智慧 ·············· 196 第四部分 语 第8 章 结语 ········· 215 8.1 数据带来的挑战 ·········· 215 8.2 数据带来的机遇 ·········· 218 8.3 数据带来的误区 ········ 221 结语 ············· 225

摘要与插图

第l章数 ;据

pan>．pan>序言

中国古代《易传·系辞上传》有言：“是故，易有太极，是生两仪，两仪生四象，四象生八卦，八卦定吉凶，吉凶生大业。”从无诞生了有，有分阴阳，阴阳化四方，四方演八极，八极而定万物之吉凶，知过去与未来。似乎很玄，却不无道理。阴阳好比O、l，四方代表二面，八极是三维空间，加上时间，所有一切都有迹可循，如何不可通晓?这其中的核心是数据。有形的、无形的、天上的、地下的、过去的、未来的，何物何事何时，俱可归于数据。只要数据在手，无物可逃过你法眼。

谷歌的经济学家哈尔·瓦里安也说过：“与数据相关的能力—括获取数据、理解数据、处理数据、从数据中提取价值、用可视化方式展现数据、交流数据——将成为未来数十年间关重要的一项能力。不仅仅专业技术人员应该掌握它，即使是在我们的小学、中学和大学，也都应该传授相关的技巧。因为我们已入了大数据时代，数据无处不在、无孔不入。”

本书由“数”开篇，“说”古道今，推陈出“新”，结“语”收章。从数据的定义入手，探讨大数据和数据科学各自的含义，纵论数据的前世今生与当前国内对数据的运用和研究情况，分享数据的发展带给我们的新方法、新策略、新生活，后给出结语。 ;pan>．2数据的定义 ;pan>．2．pan>数据的定义 ;究竟什么是数据呢?一提到数据，首先闪过人们脑海的是一堆数字。的确，数据通常也简单的表现形式是数字。但数据可不是括数字。随着我国大数据战略的推广，“大数据”这个词这几年己全国。但凡了解过大数据的知道，所谓大数据，那可是囊括了文本、音频、、图像、网络日志、传感器信号，等等。也是说，这些都是数据(图pan>—1)。那数据究竟该怎么定义呢?

本书中，我们认为数据是指以定或者定量的方式来描述事物的符号记录，是可定义为意义的实体，它涉及事物的存在形式。

简单说，数据是人为创造的一种对事物的表示方式，是通过观察或实验得来的对现实世界中地方、事件、对象或概念的描述和反映。 ;这里有两个核心的点： ;1)数据是人创造的，不管是通过观察还是实验得到的，它是人的主观意志的表现，带有强烈的主观色彩，而并不是像我们认为的是事物的客观表现。

2)数据既可以是定的描述方式，也可以是定量的描述方式。数字只代表了一种简单的定量的对世界的刻画方式，还有许多种对世界的刻画方式，都属于数据。 ;pan>．2．2其他相关概念 ;数据、信息与知识这三个概念，在后面的学多次出现。这三个概念往往存在一些交叠，容易混淆，在这里先做一下区分。

这三个概念之间主要的区别是所考虑的抽象层次不同。数据是低层次的抽象，信息次之，知识则是高层次的抽象。数据是原始的、零散的，数据本身是没有意义的，数据经过处理依然是数据，只有经过解释和理解才有意义。从数据抽象到信息的过程，是对数据解读和释义的过程。

人们只有对数行解释和理解之后，才可以从数据中提取出有用的信息。只有对信行整合和呈现，才能够获得知识。例如，世界高峰珠穆朗玛峰的高度为8 844.43 m，这可以认为是“数据”：而一本关于珠穆朗玛峰地质特的书籍，含了“信息”；而一含了攀上珠穆朗玛峰佳路径信息的报告，是“知识”了。所以，数据是信息的载体，是形成知识的源泉，是智慧、决策以及价值创造的基石。

信息所涉及的范畴是广泛的，从日常生活到技术细节都可含在其中。通常而言，信息这个概念，一般是与约束、形式、指示、含义、样式、表达等紧密关联的。数据是一些符号的组合，而当这些符号被用来指示某个事物或者某件事情时，则成了信息。

而知识则是人们对某件物品或某种现象的理论或实践的理解，知识一般是形式化或系统化的。知识的获取，一般是通过传授或亲身经历。

比如一碗热汤摆在人们面前，要认识到它很烫这个特，或者说获取到它很烫这个知识，既可以由长辈告诉我们，也可以通过用手触摸自我感受得到。

数据科学所研究的正是从“数据”整合成“信息”而组织成“知识”的整个过程，其含了对数行采集、分类、录入、储存、处理、统计、分析、整合、呈现等一系列活动。

在数据科学中还有一些概念是人们需要用到的括：

>元数据——即数据的数据；

>元信息——即信息的信息；

>数据文件——指信息与元数据的集成，用以描述数据的各个方面。

为了加深对这些概念的理解，这里举两个例子来予以说明。

以岩石样本为例，数据是所收集的岩石样本的重量、形状、尺等；信息则是关于这些岩石样本的成分分析图像；知识指的则是由分析这些岩石样本所获取到的地质活动的相关证据；元数据则指的是这些岩石样本收集的时间、收集的地点等；数据文件则是一本出版了的实验室报告。

以天气为例，数据是当天的风速、风向、温度等；信息则是由这些数据制成的气象云图；知识则是从中获取到的如高气压系统的分布情况、天气的稳定等；元数据则指这些天气数据获取时所用的雷达类型、传感器类型等。

……