From 109cd93bba7567a87ab9d578ecf7a0c69cbf8fe8 Mon Sep 17 00:00:00 2001 From: Freeman Zhang Date: Sat, 3 Jun 2017 23:14:31 +0800 Subject: [PATCH] Bug fix. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Remove wrong use of Roboto font which cause compile error if no Roboto font found in system. Fix issue #68: "Regularization" --> "正则化". --- chap3.tex | 8 ++++---- chap5.tex | 2 +- glossaries.tex | 4 ++-- images/basic_manipulation.tex | 2 +- images/circuit_multiplication.tex | 2 +- images/initial_gradient.tex | 4 ++-- images/shallow_circuit.tex | 2 +- 7 files changed, 12 insertions(+), 12 deletions(-) diff --git a/chap3.tex b/chap3.tex index 183de7f..1f0da52 100644 --- a/chap3.tex +++ b/chap3.tex @@ -667,7 +667,7 @@ \subsection*{问题} 使用这个表达式,我们可以在使用柔性最大值层和对数似然代价的网络上应用\gls*{bp}。 \end{itemize} -\section{过度拟合和规范化} +\section{过度拟合和正则化} \label{sec:overfitting_and_regularization} 诺贝尔奖获得者,物理学家恩里科·费米有一次被问到他对一些同僚提出的一个数学模型的 @@ -843,7 +843,7 @@ \section{过度拟合和规范化} 易\gls*{overfitting}。不幸的是,训练数据其实是很难或者很昂贵的资源,所以这不是一种太切实际的 选择。 -\subsection{规范化} +\subsection{正则化} 增加训练样本的数量是一种减轻\gls*{overfitting}的方法。还有其他的方法能够减轻\gls*{overfitting}的程度 吗?一种可行的方式就是降低网络的规模。然而,大的网络拥有一种比小网络更强的潜力, @@ -1031,7 +1031,7 @@ \subsection{规范化} 仅会引起在那个方向发生微小的变化。我相信这个现象让我们的学习算法更难有效地探索权 重空间,最终导致很难找到\gls*{cost-func}的最优值。 -\subsection{为何规范化可以帮助减轻过度拟合} +\subsection{为何正则化可以帮助减轻过度拟合} % I produce the 3 graphs in MATLAB: % @@ -1205,7 +1205,7 @@ \subsection{为何规范化可以帮助减轻过度拟合} 络更加灵活~——~因为,大的\gls*{bias}让神经元更加容易饱和,这有时候是我们所要达到的效果。所 以,我们通常不会对\gls*{bias}进行\gls*{regularization}。 -\subsection{规范化的其他技术} +\subsection{正则化的其他技术} 除了 L2 外还有很多\gls*{regularization}技术。实际上,正是由于数量众多,我这里也不会将所有的都列 举出来。在本节,我简要地给出三种减轻\gls*{overfitting}的其他的方法:L1 \gls*{regularization}、\gls*{dropout}和人为 diff --git a/chap5.tex b/chap5.tex index 2f9a0cb..b5c9b90 100644 --- a/chap5.tex +++ b/chap5.tex @@ -128,7 +128,7 @@ \section{消失的梯度问题} ('0', '1', '2', ..., 9)。 让我们训练 30 个完整的\gls*{epoch},使用\gls*{mini-batch}大小为 10, 学习率 $\eta = 0.1$, -规范化参数 $\lambda = 5.0$。在训练时,我们也会在 \lstinline!validation_data! 上监 +\gls*{regularization}参数 $\lambda = 5.0$。在训练时,我们也会在 \lstinline!validation_data! 上监 控分类的准确度\footnote{注意网络可能需要花费几分钟来训练,要看你机器的速度。所以 如果你正在运行代码,你可能愿意继续阅读并稍后回来,而不是等待代码完成执行。}: \begin{lstlisting}[language=Python] diff --git a/glossaries.tex b/glossaries.tex index 5d6302d..6f29792 100644 --- a/glossaries.tex +++ b/glossaries.tex @@ -118,7 +118,7 @@ } \newglossaryentry{regularization}{ - name={规范化}, + name={正则化}, description={\emph{Regularization}} } @@ -128,7 +128,7 @@ } \newglossaryentry{regularization-term}{ - name={规范化项}, + name={正则化项}, description={\emph{Regularization Term}} } diff --git a/images/basic_manipulation.tex b/images/basic_manipulation.tex index e35fe86..01d6467 100644 --- a/images/basic_manipulation.tex +++ b/images/basic_manipulation.tex @@ -11,6 +11,6 @@ \begin{document} \manipulateSingleHiddenNeuron{8}{-4}{ - \RobotoLight 顶部隐藏神经元的输出 + 顶部隐藏神经元的输出 } \end{document} diff --git a/images/circuit_multiplication.tex b/images/circuit_multiplication.tex index 2d685a7..8d6233f 100644 --- a/images/circuit_multiplication.tex +++ b/images/circuit_multiplication.tex @@ -8,7 +8,7 @@ \input{../westernfonts} \begin{document} - \begin{tikzpicture}[font={\RobotoLight}] + \begin{tikzpicture} \foreach \x in {0,...,26} \coordinate (p\x) at (\x * 0.4,0); diff --git a/images/initial_gradient.tex b/images/initial_gradient.tex index e892f5e..2584556 100644 --- a/images/initial_gradient.tex +++ b/images/initial_gradient.tex @@ -18,8 +18,8 @@ \node(r\x) [neuron] at (7, 2.2 * \x) {}; } - \node [above] at (l5.north) {\RobotoLight hidden layer 1}; - \node [above] at (r5.north) {\RobotoLight hidden layer 2}; + \node [above] at (l5.north) {hidden layer 1}; + \node [above] at (r5.north) {hidden layer 2}; \foreach \x in {0,...,5} \foreach \y in {0,...,5} diff --git a/images/shallow_circuit.tex b/images/shallow_circuit.tex index fcb35e0..9b6e97f 100644 --- a/images/shallow_circuit.tex +++ b/images/shallow_circuit.tex @@ -8,7 +8,7 @@ \input{../westernfonts} \begin{document} - \begin{tikzpicture}[font={\RobotoLight}] + \begin{tikzpicture} \foreach \x in {0,...,26} \draw (\x * 0.4,0) -- (\x * 0.4, 1);