CCF-GAIR 2020
您正在使用IE低版浏览器,为了您的雷锋网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
人工智能 正文
发私信给AI研习社
发送

0

资料 | 1800页33章数学方法精要笔记 —深入数学建模, 机器学习和深度学习的数学基础

本文作者:AI研习社 2020-07-09 10:10
导语:相信有许多所有对数学建模,机器学习和深度学习深感兴趣的小伙伴,有一定的基础却常常被繁杂的定理和错综的模型所困 —— 那么这本书就是一部可供随时查阅的宝典

本文转载自:https://zhuanlan.zhihu.com/p/154059915

书籍免费下载地址:https://www.yanxishe.com/resourceDetail/1919?from=leiphonecolumn_res0709

1 书籍介绍  · · · · · ·

在信息爆炸的当今,大到企业巨头的经营方向, 小到和日常生活相关的人工驾驶等领域,数学建模和人工智能都对信息数据的收集、处理、解释以及做出决策将起到至关重要的作用。负责开发模型和算法的一线科学家和工程师, 都需要有坚实的数学基础。相信有许多所有对数学建模,机器学习和深度学习深感兴趣的小伙伴,有一定的基础却常常被繁杂的定理和错综的模型所困 —— 那么这本书就是一部可供随时查阅,帮助大家融会贯通的宝典。

本书有以下几大亮点:

  • 理论与实践相结合,学以致用。内容详尽,涵盖范围广。

a. 全书干货多覆盖范围广, 包含~100 个核心算法, 约 300 个示意图。例子丰富,且绝大部分定理都有证明。

b. 本书凝聚了作者多年数学建模和机器学习研究和实战经验。根据应用领域, 本书总结并深入讲述传统方法到前沿的深度学习和强化学习算法,帮助读者迅速抓住重点,减少弯路。

  • 便于学习查找,由浅入深,步步为营,多用示意图以助读者理解

a. 本书的算法和定理证明中常常引用相关的其他章节,循序渐进,有助于读者建立树状知识脉络,一网打尽相关知识点。

b. 本书例子详实并多伴有示意图,清晰易懂。作者基于多年实践,总结并对易混淆的概念进行比对,帮助读者更加扎实掌握相关内容。

全书 GitHub 地址:https://github.com/yangyutu/EssentialMath

全书总共 33 章分成六个部分:

  • Mathematical Foundations(数学基础)

  • Mathematical Optimization Methods(数学优化方法)

  • Classical Statistical Methods(经典统计方法)

  • Dynamics Modeling Methods(动力系统建模方法)

  • Statistical Learning Methods(统计学习方法)

  • Optimal Control and Reinforcement Learning Methods(最优控制和强化学习方法)

作者对一些热门章节进行章节归类打包下载

  • Linear Algebra and Matrix Analysis

  • Mathematical Optimization

  • Probability and Statistical Estimation

  • Stochastic Process

  • Markov Chain and Random Walk

  • Linear Regression Analysis

  • Statistical Learning

  • Neural Network and Deep Learning

  • (Deep) Reinforcement Learning

整体目录如下:

I Mathematical Foundations

  • Sets, Sequences and Series

  • Metric Space

  • Advanced Calculus

  • Linear Algebra and Matrix Analysis

  • Function Sequences, Series and Approximation

  • Basic Functional Analysis

II Mathematical Optimization Methods

  • Unconstrained Nonlinear Optimization

  • Constrained Nonlinear Optimization

  • Linear Optimization

  • Convex Analysis and Convex Optimization

  • Basic Game Theory

III Classical Statistical Methods

  • Probability Theory

  • Statistical Distributions

  • Statistical Estimation Theory

  • Multivariate Statistical Methods

  • Linear Regression Analysis

  • Monte Carlo Methods

IV Dynamics Modeling Methods

  • Models and estimation in linear systems

  • Stochastic Process

  • Stochastic Calculus

  • Markov Chain and Random Walk

  • Time Series Analysis

V Statistical Learning Methods

  • Supervised Learning Principles and Methods

  • Linear Models for Regression

  • Linear Models for Classification

  • Generative Models

  • K Nearest Neighbors

  • Tree Methods

  • Ensemble and Boosting Methods

  • Unsupervised Statistical Learning

  • Neural Network and Deep Learning

VI Optimal Control and Reinforcement Learning Methods

  • Classical Optimal Control Theory

  • Reinforcement Learning

  • Appendix: Supplemental Mathematical Facts


2 内容展示  · · · · · ·

2.1 线性代数篇

SVD (矩阵奇异值分解) 是线性代数中最重要工具之一, 经常在各类统计以及重要机器学习方法中出现。作者用如下图示和定理对 SVD 的性质进行总结和证明。该证明简洁扼要,且所用到的其它辅助定理与证明都在本书中 。作者使用一个图示来分别指出 complete form SVD 和 compact form SVD 的结果和原矩阵的关系。

资料 | 1800页33章数学方法精要笔记 —深入数学建模, 机器学习和深度学习的数学基础资料 | 1800页33章数学方法精要笔记 —深入数学建模, 机器学习和深度学习的数学基础

作者同时指出新手常混淆的一个知识点:

资料 | 1800页33章数学方法精要笔记 —深入数学建模, 机器学习和深度学习的数学基础


2.2 统计篇

多元高斯随机变量 (multivariate random variable) 的 affine transformation 经常被用于证明高斯随机变量的一系列重要性质(比如加和, 条件等)。本书首先给出用矩函数对此定理的证明。

资料 | 1800页33章数学方法精要笔记 —深入数学建模, 机器学习和深度学习的数学基础

然后本书给出此定理在多元高斯随机变量加和中的应用。值得一提的是, 作者用脚注强调 jointly normal 这一重要条件。

资料 | 1800页33章数学方法精要笔记 —深入数学建模, 机器学习和深度学习的数学基础


2.3 机器学习篇

在机器学习的线性分类模型中,三种常见模型 SVM, logistic regression 和 Perceptron learning 可以统一在同一个数学优化框架下,每种方法对应不同的 loss function。作者对如何把这三种模型转化成同一个框架进行了详细的阐述和证明。

资料 | 1800页33章数学方法精要笔记 —深入数学建模, 机器学习和深度学习的数学基础


2.4 强化学习篇

Value iteration 值迭代是强化学习的基石型定理之一,然而目前很多教材资料中并没有给出证明。

本书通过 contraction mapping 和 fixed point theorem 得出简明的证明。contraction mapping 和 fixed point theorem 的知识点则在在本书 Part I 有详细介绍。

资料 | 1800页33章数学方法精要笔记 —深入数学建模, 机器学习和深度学习的数学基础

之后作者给出基于 value iteration 的算法。

资料 | 1800页33章数学方法精要笔记 —深入数学建模, 机器学习和深度学习的数学基础


3 作者心得体会  · · · · · ·

这本书来源于我在美国攻读博士期间上的上课笔记。当时为了解决科研中 一些难题, 上了大量计算机和数学课。笔记由一开始的零零散散,到后来渐成规模。我真正开始系统性地整理成书是受到如下一句话的启发:

If you want to learn something, read about it. If you want to understand something, write about it. If you want to master something, teach it.

我逐渐搭建本书的框架,将学习笔记的内容在框架下进行整合,把最核心的知识点提炼出来。随着我的科研领域从最初的计算物理建模到现在的微型机器人系统的多智体强化学习,本书的内容也从传统应用数学和统计扩展到前沿的深度学习和人工智能方法 。在写书的过程中,我能感受到自己的知识体系越发完备,且系统性的学习和研究对于理论难点的掌握,以及跨领域的应用都有着至关重要的作用。


我希望将自己的书和心得体会分享给大家。无论是能够为志同道合的小伙伴们解答一些疑惑,还是帮助希望入门的朋友” 打通任督二脉 “,或者是给同在科研战线上奋斗的同志一些灵感,我都会非常开心。

开源项目地址:https://github.com/yangyutu/EssentialMath

开源项目作者:Yuguang Yang


补充说明  · · · · · ·

本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。如需删除,请联系 kefu@yanxishe.com


AI 研习社已经和阿里大文娱、旷视、搜狗搜索、小米等知名公司达成联系,帮助大家更好地求职找工作,一键投递简历至 HR 后台,准备了一些内推渠道群。

欢迎大家添加研习社小学妹微信(aiyanxishe),小学妹拉你加入(备注求职)。

资料 | 1800页33章数学方法精要笔记 —深入数学建模, 机器学习和深度学习的数学基础

雷锋网雷锋网雷锋网(公众号:雷锋网)


相关文章:

资料 | 算法(第4版)【图灵程序设计丛书】算法领域的经典参考书

资料 |世界著名计算机教材精选:数据挖掘十大算法(中文版)

资料 | 树莓派Python编程入门与实战

资料 | 最优化理论与算法(第2版)

资料 | 《人工智能编程范式:通用Lisp中的案例研究》1048页PDF免费下载

资料 | Yann LeCun「人工智能发展的挑战在于无监督学习」原版演讲PPT

资料 | 算法图解:像小说一样有趣的算法入门书

资料 | 【复旦大学邱锡鹏老师】面向自然语言处理的深度学习基础,199页ppt

资料 | Python语言程序设计基础(第2版)

资料 | Python 神经网络编程

资料 | 神经网络与深度学习(邱锡鹏)

资料 | 科技之巅:《麻省理工科技评论》50大全球突破性技术深度剖析

资料 | 解析深度学习:卷积神经网络原理与视觉实践

资料 | 谷歌的故事

资料 | Python学习手册(第4版)

资料 | 深度学习之美:AI时代的数据处理与最佳实践

资料 | CVPR 2020 论文合集,共1466篇!

资料 | Python数据结构与算法分析(第2版)

资料 | 基于深度学习的自然语言处理

资料 | 我的第一本算法书

雷锋网版权文章,未经授权禁止转载。详情见转载须知

资料 | 1800页33章数学方法精要笔记 —深入数学建模, 机器学习和深度学习的数学基础

分享:
相关文章

文章点评:

表情
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说