Skip to content

Commit

Permalink
Fix some typos reported in #79.
Browse files Browse the repository at this point in the history
  • Loading branch information
zhanggyb committed Feb 11, 2018
1 parent 6d98b19 commit 440dde6
Show file tree
Hide file tree
Showing 5 changed files with 11 additions and 12 deletions.
6 changes: 3 additions & 3 deletions chap3.tex
Original file line number Diff line number Diff line change
Expand Up @@ -1130,7 +1130,7 @@ \subsection{为何正则化可以帮助减轻过度拟合}

让我介绍两个说明复杂正确的例子。在 1940 年代,物理学家 Marcel Schein 发布了一个发
现新粒子的声明。而他工作的公司,GE,非常欢喜,就广泛地推广这个发现。但是物理学
Hans Bethe 就有怀疑。Bethe 访问了 Schein,看着那些展示 Schein 的新粒子的轨迹的
Hans Bethe 就有怀疑。Bethe 访问了 Schein,看着那些展示 Schein 的新粒子的轨迹的
盘子。但是在每个 plate 上,Bethe 都发现了某个说明数据需要被去除的问题。最
后 Schein 展示给 Bethe 一个看起来很好的 plate。Bethe 说这可能就是一个统计上的侥
幸。Schein 说,“是的,但是这个可能就是统计学,甚至是根据你自己的公式,也就
Expand Down Expand Up @@ -1360,7 +1360,7 @@ \subsection{正则化的其他技术}
\includegraphics[height=32pt]{more_data_rotated_5}
\end{center}

这还是会被设别为同样的数字的。但是在像素层级这和任何一幅在 MNIST 训练数据中的图
这还是会被识别为同样的数字的。但是在像素层级这和任何一幅在 MNIST 训练数据中的图
像都不相同。所以将这样的样本加入到训练数据中是很可能帮助我们的网络学会更多如何分
类数字。而且,显然我们不限于只增加这幅图像。我们可以在\textbf{所有的} MNIST训练
样本上通过\textbf{很多}小的旋转扩展训练数据,然后使用扩展后的训练数据来提升我们
Expand All @@ -1373,7 +1373,7 @@ \subsection{正则化的其他技术}
中,作者在 MNIST 上使用了几个这种想法的变化方式。其中一种他们考虑的网络结构其
实和我们已经使用过的类似~——~一个拥有 800 个隐藏元的前馈神经网络,使用了交叉熵代
价函数。在标准的 MNIST 训练数据上运行这个网络,得到了 98.4\% 的分类准确率。他们
不只旋转,还转换和扭曲图像来扩展训练数据。通过在这个扩展后的数据集上的训练,他们
不只旋转,还平移和扭曲图像来扩展训练数据。通过在这个扩展后的数据集上的训练,他们
提升到了 98.9\% 的准确率。然后还在“弹性扭曲”的数据上进行了实验,这是一种特殊的
为了模仿手部肌肉的随机抖动的图像扭曲方法。通过使用弹性扭曲扩展的数据,他们最终达
到了 99.3\% 的分类准确率。他们通过展示训练数据的所有类型的变化形式来扩展网络的经
Expand Down
2 changes: 1 addition & 1 deletion chap4.tex
Original file line number Diff line number Diff line change
Expand Up @@ -440,7 +440,7 @@ \section{多个输入变量}
\includegraphics{tower}
\end{center}

如果我们能构建这样的塔型函数,那么我们能使用它们来近似任意的函数,仅仅通过在不通
如果我们能构建这样的塔型函数,那么我们能使用它们来近似任意的函数,仅仅通过在不同
位置累加许多不同高度的塔:
\begin{center}
\includegraphics{many_towers}
Expand Down
4 changes: 2 additions & 2 deletions chap5.tex
Original file line number Diff line number Diff line change
Expand Up @@ -39,7 +39,7 @@ \chapter{深度神经网络为何很难训练}
考。看看 Johan
Håstad 的 2012 论文 \href{http://eccc.hpi-web.de/report/2012/137/}{On the
correlation of parity and small-depth circuits} 来了解一些早期的历史和参考。}已
经给出了计算比特的集合的奇偶性通过浅的线路来计算需要指数级的门。另一当面,如果你
经给出了计算比特的集合的奇偶性通过浅的线路来计算需要指数级的门。另一方面,如果你
使用更深的线路,那么可以使用规模很小的线路来计算奇偶性:仅仅需要计算比特的对的奇
偶性,然后使用这些结果来计算比特对的对的奇偶性,以此类推,构建出总共的奇偶性。深
度线路这样就能从本质上获得超过浅线路的更强的能力。
Expand Down Expand Up @@ -448,7 +448,7 @@ \subsection*{问题}
只有在 $|w| >= 4$ 的时候才会出现。(2)假设 $|w| >= 4$,考虑那些满
$|w\sigma'(wa+b)| >= 1$ 的输入激活 $a$ 集合。证明:满足上述条件的该集合能够
充满一个不超过 $\frac{2}{|w|}\ln(\frac{|w|(1+\sqrt{1-4/|w|})}{2}-1)$ 宽度的区间。
(3)数值上说明上述表达式在 $|w| ~= 6.9$ 时候去的最高值约
(3)数值上说明上述表达式在 $|w| ~= 6.9$ 时候取得最高值约
$0.45$。所以即使每个条件都满足,我们仍然有一个狭窄的输入激活区间,这样来避免消
失的梯度问题。
\item \textbf{幺神经元:}\label{identity_neuron} 考虑一个单一输入的神经元,$x$
Expand Down
9 changes: 4 additions & 5 deletions chap6.tex
Original file line number Diff line number Diff line change
Expand Up @@ -53,8 +53,7 @@ \chapter{深度学习}
深度神经网络背后核心的原理,并将这些原理用在一个 MNIST 问题的解决中,方便我们的
理解。换句话说,本章目标不是将最前沿的神经网络展示给你看。包括前面的章节,我们都
是聚焦在基础上,这样读者就能够做好充分的准备来掌握众多的不断涌现的深度学习领域最
新工作。本章仍然在Beta版。期望读者指出笔误,bug,小错和主要的误解。如果你发现了
可疑的地方,请直接联系 [email protected]
新工作。

\section{介绍卷积网络}
\label{sec:convolutional_networks}
Expand Down Expand Up @@ -776,13 +775,13 @@ \subsection*{问题}
学习变得非常容易!\\

\textbf{这些网络有多深?} 把卷积--\gls*{pooling}层算作一个层,我们最终的架构有 $4$\gls*{hidden-layer}。
这样的一个真的应该被称为一个深度网络吗?当然,$4$\gls*{hidden-layer}远远多于我们前面学习的
这样的一个网络真的应该被称为一个深度网络吗?当然,$4$\gls*{hidden-layer}远远多于我们前面学习的
浅层网络。那些网络大部分只有一个\gls*{hidden-layer},或者偶尔有 $2$\gls*{hidden-layer}。另一方面,2015年
使用最先进技术的深度网络有时候有几十个\gls*{hidden-layer}。我偶尔听到有人采取“更比你更深”的
态度,认为如果你没有跟上在隐层数目方面的攀比,那么你真的没有在做深度学习。我不赞
同这样的态度,部分因为它使得深度学习的定义像是时刻就有结果的事。深度学习中实际的
突破是认识到它超过浅的 $1$$2$ 层的网络是切实可行的,这样的浅层网络直到 2000 年
中都占据优势。这确实是一个重大的突破,开启了更多有特殊意义的模型的探索。但除这之
突破是认识到它超过浅的 $1$$2$ 层的网络是切实可行的,这样的浅层网络直到 00 年代
中期都占据优势。这确实是一个重大的突破,开启了更多有特殊意义的模型的探索。但除这之
外,层的数目并不是主要的基本利益关系。更确切地说,使用更深层的网络是一种用来帮助
实现其他目标工具~——~例如更好的分类精确率。
\\
Expand Down
2 changes: 1 addition & 1 deletion glossaries.tex
Original file line number Diff line number Diff line change
Expand Up @@ -656,7 +656,7 @@
}

\newglossaryentry{overfitting}{
name={过度拟合},
name={过拟合},
description={\emph{Overfitting},过度拟合,过拟合,过适}
}

Expand Down

0 comments on commit 440dde6

Please sign in to comment.