大数据精准挖掘

内容简介

本书以新兴的大数据时代用的技术为支撑，以广阔的科技视野和扎实的专业功底，全面介绍了大数据时代的由来和背景，阐述了与大数据分析相关的理论和数学模型。难能可贵的是，本书从蕴含大数据技术的精准数据挖掘工具入手，结合实际的成功案例，将数据精准挖掘的全过程和详细步骤，包括结果验证等方面内容，详详细细并专业地展现给读者。本书理论和实践密切结合，文字流畅，深入浅出，通俗易懂。
　　通过本书的学习，可以掌握当下大数据所涉及的主要数学分析模块的要点，并比较相互的特点。同时，能够学会实用的数据挖掘专门技术及经历数据挖掘的全过程。由于本书所介绍的技术与我国目前大数据运用的领军行业金融、保险、电信、电子商务等密切相连，故本书有很强的实用性，能达到学以致用、边学边用的效果。
　　本书适合我国IT业的科研机构、相关企业的专业技术人员的学习之用；本书还可以作为政府部门制定大数据发展战略时的参考。本书也适合全国高等院校的大学生和研究生学习使用；由于本书将理论与具体操作合二为一，故也能作为全国大专院校开设大数据实验课程的教材。

目录

第1篇基础篇
第1章大数据时代下的数据挖掘
1?1大数据的基础
1?1?1大数据呈现出了数据的新价值
1?1?2数据采集、存储与提取技术信息化
1?1?3数据挖掘技术是大数据时代质特征
1?2大数据的特点
1?2?1数据规模大
1?2?2数据类型多
1?2?3价值密度低，但总体的数据价值高
1?2?4数据处理有速度要求
1?3大数据的作用
1?3?1数据已渗透到社会每个角落
1?3?2数据成为竞争的新元素
1?3?3数据创造新价值
1?3?4大数据地位不断跃升
1?4大数据与数据挖掘
1?4?1数据挖掘技术是大数据时代的灵魂和核心
1?4?2数据挖掘技术涉及多种多类的知识节点
1?4?3选择的数据挖掘工具
1?5令人期待的大数据时代
1?6本章小结
第2章大数据与云计算
2?1大数据与云计算
2?1?1大数据与云计算关系
2?1?2大数据扩展了云计算服务类型
2?1?3云计算数据存储系统得到推广
2?1?4追求集成一体化技术
2?1?5大数据和云计算缺一不可
2?2云计算的定义与特点
2?2?1云计算的定义
2?2?2云计算的特点
2?3云计算的基本架构
2?3?1云计算架构的基本层次
2?3?2云计算架构的服务层次
2?4云计算的关键技术
2?4?1虚拟化技术
2?4?2数据存储技术
2?4?3资源管理技术
2?4?4云计算中的编程模型
2?4?5集成一体化技术
2?4?6自动化技术
2?5云计算的商业模式
2?5?1商业模式是云计算的基石
2?5?2云计算的市场规模
2?5?3云计算商业模式分析
2?6本章小结
第2篇理论篇
第3章数据挖掘的主要方法及工具
3?1数据挖掘主要方法
3?1?1决策树分类
3?1?2神经网络
3?1?3Logistic回归方法
3?1?4聚类分析
3?1?5数据挖掘方法比较
3?1?6分类器的评估与选择
3?2流行数据分析平台及数据挖掘工具介绍
3?3本章小结
第4章Logistic回归模型
4?1多元线性回归模型
4?2Logistic回归模型
4?3Logistic回归模型的参数估计
4?4Logistic回归模型中回归系数的意义
4?5Logistic回归模型的拟合优度
4?6Logistic回归系数的显著性检验
4?7Logistic回归模型的预测准确性
4?8回归变量的选择与逐步回归
4?9本章小结
第5章数据挖掘建模过程
5?1CRISP?DM
5?2SAS数据挖掘方法论——SEMMA
5?3数据挖掘经验谈
5?4本章小结
第3篇应用篇
第6章金融行业应用1——信用评分
6?1国内信用卡业务现状
6?2信用评分模型的起源、类别和发展
6?3信用评分的步骤
6?4实例演示
6?4?1二元变量预测建模
6?4?2图形版建模输出讲解1——效果评价
6?4?3图形版建模输出讲解2——评分卡文件
6?5本章小结
第7章金融行业应用2——信用卡催收评分
7?1信用卡催收评分模型背景介绍
7?2实例演示
7?2?1图形版连续变量预测建模
7?2?2图形版建模输出
7?3本章小结
第8章保险电销应用——寻找目标客户
8?1背景介绍
8?2案例数据展示及分析
8?2?1业务目标
8?2?2数据展示
8?3数据挖掘与分析过程
8?3?1数据预处理
8?3?2造变量
8?3?3生成挖掘表
8?3?4建立响应模型
8?3?5建模结果分析
8?4数据挖掘结果的运用
8?5本章小结
第9章电信行业应用——客户流失预测
9?1背景介绍
9?2案例数据展示及分析
9?2?1商业理解
9?2?2数据理解
9?2?3数据准备
9?3建立打分模型
9?4分析建模结果
9?5数据挖掘结果的运用
9?6本章小结
第10章商品行业应用——购物篮分析
10?1某连锁公司的背景介绍
10?2购物篮分析的基本内容
10?2?1同次购买的基本概念
10?2?2同次购买的关联

摘要与插图

第6章主要讲解在金融行业信用卡业务中，国内信用卡业务现状，以及信用评分的起源和发展。
　　6.3讲解了业内人士总结的信用评分的6个步骤，商业理解、数据理解、数据准备、建立模型、模型评估、决策实施。
　　6.4节演示了一个信用卡评分的实例，建模工具为数据1号图形命令版的二元变量预测模块。其中详细讲述了怎样利用数据1号连接数据集，怎样设置自变量应变量，运行程序完毕后怎样查看结果、怎样查看评分卡等等。
　　银行信用卡评分业务中，涉及的是否坏账是一个二元因变量问题。在银行中，也会涉及连续型因变量的问题，第7章信用卡催收评分就涉及此类。
　　第7章主要涉及银行信用卡行业的信用催收评分，目标是为持卡人逾期还款金额进行风险评估。建模所利用的信息包括两部分，持卡人基本信息和持卡人在持卡期间的消费记录和还款记录，若条件允许，可以向机构购买此人的信用情况。建模的工具选择的数据1号图形版。
　　利用建好的模型，可对持卡人逾期还款金额进行风险评估。依据评估的结果，银行可以预估哪些持卡人的逾期未还款通过自己的催收员能够收到还款，能够收到多少还款。而对于那些不易收取还款的信用卡持卡人，银行将其外包给第三方业务公司。
　　信用评分和信用卡催收评分作为风险评估工具，在银行业应用普遍。对于这两类模型，对模型的稳定性和精准度要求相对较高，模型的精准度差一点点，就会牵涉几千万甚至几亿资产。银行选取的建模工具必然要求较高的稳定性和精准性。
　　第8章主要讲解数据挖掘在保险电销行业寻找目标客户中的应用。很多领域都涉及电话营销渠道，是保险行业。从茫茫人海中找到对保险有需求的客户不是一件容易的事情，现在一些大的保险公司走的路线是先向客户推广免费的赠险，然后再向赠险客户推广消费险。而YBB正是这样的一家外包公司。
　　通过对其海量数据的分析，以及业务现状的了解，为其制定了寻找目标客户的方案。通过建模，得到每位赠险客户买消费险的概率。YBB拿到这份名单，选取其中概率较高的70%的客户营销，达到的效果是原来的96%。节省的这30%的人力成本是一笔巨额的开支，随着数据的采集和收集进一步优化，相信建模的效果越来越好。
　　各个行业的电话营销都可以通过数据挖掘来筛选客户，优先选取优质客户进行营销，节省人力成本，提高销售效果。在人力成本越来越贵的今天，数据挖掘可以让每个人的效率更高，使企业盈利得到质的飞跃。