深度学习炼丹清单：从“入坑”到“放弃”
随着人工智能的火热，越来越多朋友想要进入深度学习领域，但是总会遇到一个问题：想要系统的入门，但是身边的资料铺天盖地，不知道该从哪里入手。因此，本文想通过自己的一些学习经历和平时收集的一些资料，为大家提供一个深度学习的炼丹清单，以期望帮助大家对深度学习有一个更详细而全面的学习。
一、数学篇
1.1 知识要点
1.1.1 线性代数
标量、向量、矩阵、张量、范数、特征分解、奇异值分解、距离
1.1.2 概率论
随机变量、概率分布、条件概率、贝叶斯公式、期望、方差、常见分布函数、Lagrange乘子法、最大似然估计
1.1.3 微积分
极限、导数、微分、向量微积分、泰勒展开式、离散性和连续性变量
1.1.4 数值计算
上溢和下溢、复杂性与NP问题、数值计算
1.1.5 信息论
熵、联合熵、条件熵、相对熵、互信息、最大熵模型
1.1.6 最优化理论
最优化理论、最优化问题的数学描述、凸集与凸集分离定理、梯度下降算法、随机梯度下降算法、牛顿法、阻尼牛顿法、拟牛顿法
1.2 课程推荐
网易公开课 麻省理工公开课：线性代数讲师：Gilbert Strang
1.3 书籍推荐
《Convex Optimization》(豆瓣),Stephen Boyd
《Introduction to Linear Algebra, 4th edition 》(豆瓣),GILBERT STRANG
二、算法篇
2.1 知识要点
2.1.1机器学习
正则化算法（Regularization Algorithms）
集成算法（Ensemble Algorithms）
决策树算法（Decision Tree Algorithm）
回归（Regression）
人工神经网络（Artificial Neural Network）
深度学习（Deep Learning）
支持向量机（Support Vector Machine）
降维算法（Dimensionality Reduction Algorithms）
聚类算法（Clustering Algorithms）
基于实例的算法（Instance-based Algorithms）
贝叶斯算法（Bayesian Algorithms）
关联规则学习算法（Association Rule Learning Algorithms）
图模型（Graphical Models）
2.1.2深度学习
卷积神经网络（convolutional neural network）， 这种算法在图像识别中应用广泛。
Recursive neural network， 这种算法主要用在时序数据集中，比如语音。
neural autoregressive topic model， 这种算法主要用在自然语言处理（主题模型）中。
基于autoencoder, restricted Boltzmann machine的深层模型。
sum-product network，这种模型是基于和积运算的。
2.2 课程推荐
《Machine Learning》，Andrew Ng
《Deep Learning》，Andrew Ng
《机器学习基石》和《机器学习技法》，林轩田
《优达学城纳米学位：机器学习工程师》
《优达学城纳米学位：深度学习》
斯坦度CS231n：面向视觉识别的卷积神经网络，入门深度学习利器
2.3 书籍推荐
《统计学习方法》(豆瓣)作者: 李航
《集体智慧编程》(豆瓣)作者: Toby Segaran
《机器学习实践》(豆瓣)作者: Peter Harrington
《机器学习》(豆瓣)作者: 周志华
《深度学习》(豆瓣)作者: [美] 伊恩·古德费洛 / [加] 约书亚·本吉奥 / [加] 亚伦·库维尔
《1天搞懂深度学习》，李宏毅
2.4 论文推荐
RedditSota
arXiv
paperweekly
三、工具篇
3.1 知识要点
3.1.1Github
平时可以将自己的学习笔记和代码放在Github上，同时Github上也有不少好资源
3.1.2 Python库
numpy
matplotlib
pandas
sklearn
tensorflow
3.1.3 R
3.2 课程推荐
阿里云机器学习PAI系列课程
3.3 书籍推荐
《R语言实战》(豆瓣)
四、其他篇
4.1 相关会议
ICML 是 International Conference on Machine Learning的缩写，即国际机器学习大会。ICML如今已发展为由国际机器学习学会（IMLS）主办的年度机器学习国际顶级会议。
NIPS 全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems)，是一个关于机器学习和计算神经科学的国际会议。该会议固定在每年的12月举行,由NIPS基金会主办。NIPS是机器学习领域的顶级会议。在中国计算机学会的国际学术会议排名中，NIPS为人工智能领域的A类会议
KDD Knowledge Discovery and Data Mining，知识发现与数据挖掘）
AAAI美国人工智能协会（American Association for Artificial Intelligence）美国人工智能协会是人工智能领域的主要学术组织之一。该协会主办的年会（AAAI, The National Conference on Artificial Intelligence）是一个主要的人工智能学术会议。
IJCAI国际人工智能联合会议（International Joint Conference on Artificial Intelligence, 简称为IJCAI）是人工智能领域中最主要的学术会议之一，在单数年召开。
4.2 相关竞赛
天池，目前有正在进行的有《未来已来——气象数据领航无人飞行器线路优化大赛》、《商场中精确定位用户所在店铺》等比赛
Kaggle
KDD CUP
滴滴Di-Tech算法大赛
京东JDATA算法大赛
4.3 技术社区
云栖社区
天池技术圈
Stack Overflow
推酷
对于深度学习而言，除了对数学、算法理论基础的深入理解和工具的熟练使用外，实践尤为重要。所以在学习中，最好边学习边实践，结合实际项目、竞赛进行学习是技能成长最快的时候，平时可以多关注一些最新的消息动态，多和他人学习交流分享经验，愿大家好好炼丹，早日入坑。
（PS：如有不足之处，恳请指点）
作者：程序媛-海洋的云