Python数据建模指南：从数据到模型要怎么做，炼丹师的心路历程

本文将会按照以下四个部分来讲述如何从业务数据中分析数据,建立模型,希望对大家有所帮助!

• 数据从哪来
• 如何分析数据
• 机器学习算法简介
• 预测效果评估

Part1: 数据从哪来

你眼中的大数据分析和实际的大数据分析实际上是非常不一样的

你眼中的大数据分析和实际的大数据分析

一般来说,实际业务的数据都是无法直接拿来进行数据建模的,我们需要进行一系列的分析和转化,才能够得到建模所需要的数据.

数据分析项目中数据分准备工作需要花费整个项目60%~70%的时间,而建模可能恰恰是数据分析项目中最(相对)轻松的事情

试想一下,如果你的leader让你去分析某一个业务数据,对你而言你仅仅只是知道这部分数据叫什么名字,你会怎么做?会有哪些问题? 数据安全,权限,部门沟通,业务理解,每一个环节都是一个"坑"!

常见的数据准备的工作:

• 理清业务逻辑: 理清业务表的字段含义,关联逻辑, 跨部门,跨职级,理解的差异
• 设定训练目标: 了解业务目标,根据实际数据确定模型训练的目标
• 数据样本评估: 极端值,,数据分布,方差,信息熵
• 特征工程: 用数据去表达数据,建立建模所需的大宽表
• 建模: 建模是最轻松的事情?

Part2: 如何分析数据

从传统的统计学角度,我们可以对数据进行一系列的探索

Part3: 机器学习算法简介

在进行建模之前我们需要搞懂一个最最简单,也是最最基础的问题,什么是预测: 用数据和统计科学做预测,不仅做量化推断,还量化推断的确定性/不确定性

除此之外,为了能够更好地理解模型,我们还需要知道一些建模的术语比如: 损失函数,梯度下降等