modify :feedforward network

modify latex corectly

_includes/mathjax_support.html

@@ -20,5 +20,5 @@
 </script>
 
 <script type="text/javascript" async
-    src="https://cdnjs.cloudflare.com/ajax/libs/mathjax/2.7.2/MathJax.js?config=TeX-MML-AM_CHTML">
+    src="https://cdn.mathjax.org/mathjax/latest/MathJax.js?config=TeX-MML-AM_CHTML">
 </script>

_posts/DeepLearning/Architecture/2023-11-23-Feed-Forward-Network.md

@@ -12,6 +12,7 @@ tags:
 # classes : wide
 toc: true
 toc_sticky: true
+usemathjax : true
 ---
 
 
@@ -42,20 +43,19 @@ NeuralNetwork를 인간이 이해할 수 있는 logic으로 표현하는 방법
 
 다른 교육자료들을 보면 쉽게 설명하기 위해서 3개의 node로 한정짓거나 하는 방식으로 설명을 하게 됩니다. 하지만, 여기서는 일반식을 정의하기 위해서 $$ n^{[l]}$$개의 node의 대해서 설명을 하겠습니다. (bias는 그림에서만 생략하였습니다 . )
 
-여기서 , $$z_{k,i}^{[l]}$$ 에는 $$ n^{[l-1]} $$개의 node가 연결되어 있습니다.    
+여기서 , $$z_{k,i}^{[l]}$$ 에는 $$ n^{[l-1]} $$ 개의 node가 연결되어 있습니다.    
 따라서 ,   
 
 $$ 
-\begin{equation}
+\begin{align}
 z_{j,i}^{[l]} = \sum_{k=0}^{n^{[l-1]}}  w_{j,k}^{[l]} \cdot a_{k,i}^{[l-1]} + b_{j}^{[l]} 
-\label{eq:z_j_i} 
-\end{equation} 
+\label{eqzji}
+\end{align}
 $$  
 
+vector space는 다음과 같이 정의됩니다.  $$ \vec{a}_{:, i}^{[l-1]} \in \mathbb{R}^ {n \times {n^{[l-1]}} }, \vec{w}_{j, :}^{[l]} \in \mathbb{R}^ {n \times {n^{[l-1]}}}  $$  .  
 
-딥러닝에서는 이러한 multiplication을 sequential하게 하는것이 아닌 parallell 하게 진행합니다.(ex.Numpy) 따라서, 우리는 [(1)](#eq:z_j_i) 을 vectorization 해야 합니다 .  
-
-위 식은 sum을 나타내지만 , 이는 vector $$ w_{j,:}^{[l]} $$ 와 vector $$ a_{:,i}^{[l-1]}$$  의 multiplication이라 볼 수 있습니다. $$\vec{a}_{:, i}^{[l-1]} \in \R^{n^{[l-1]}} , \vec{w}_{j, :}^{[l]} \in \R^{n^{[l-1]}}$$ . (n^{[l-1]} ,1) . 위 식에서 변수 j의 범위는 $$ 0<= j <=n^{[l]} $$ 입니다.  따라서 , 이를 확장하면 아래와 같이 vectorize할 수 있습니다.
+딥러닝에서는 이러한 multiplication을 sequential하게 하는것이 아닌 parallell 하게 진행합니다.(ex.Numpy) 따라서, 우리는 $$\eqref{eqzji} $$ 을 vectorization 해야 합니다 .  위 식은 sum을 나타내지만 , 이는 vector $$ w_{j,:}^{[l]} $$ 와 vector $$ a_{:,i}^{[l-1]}$$  의 multiplication이라 볼 수 있습니다. 위 식에서 변수 j의 범위는 $$ 0<= j <=n^{[l]} $$ 입니다.  따라서 , 이를 확장하면 아래와 같이 vectorize할 수 있습니다.
 
 
 $$
@@ -92,9 +92,10 @@ b_{n^{[l]}}^{[l]}
 $$  
 
 이를 수식으로 표현하면 다음과 같이 적을 수 있습니다.  
-$$\vec{z}_{:, i}^{[l]} = \vec{W}^{[l]} \vec{a}_{:, i}^{[l - 1]} + \vec{b}^{[l]}, \label{eq:z} $$ 
 
-$$ \vec{z}_{:, i}^{[l]} \in \R^{n^{[l]}} , \vec{W}^{[l]} \in \R^{n^{[l]} \times n^{[l - 1]}} , \vec{b}^{[l]} \in \R^{n^{[l]}} , \vec{a}_{:, i}^{[l - 1]} \in \R^{n^{[l - 1]}} $$  
+$$\vec{z}_{:, i}^{[l]} = \vec{W}^{[l]} \vec{a}_{:, i}^{[l - 1]} + \vec{b}^{[l]} $$ 
+
+vector space는 다음과 같이 정의됩니다 .$$ \vec{z}_{:, i}^{[l]} \in \mathbb{R}^{n \times {n^{[l]}}} , \vec{W}^{[l]} \in \mathbb{R}{n^{n^{[l]} \times n^{[l - 1]}}}  , \vec{b}^{[l]} \in \mathbb{R}^{n \times {n^{[l]}}} , \vec{a}_{:, i}^{[l - 1]} \in \mathbb{R}^{n \times {n^{[l - 1]}}}  $$  
 
 이는 1개의 training data에 대한  math expression입니다. 이를 이제 $$ m $$개의 batch data의 size로 확장하여 vectorize를 해보겠습니다.   
 
@@ -103,39 +104,36 @@ $$
 \vec{Z}^{[l]} &=
 \begin{bmatrix}
 \vec{z}_{:, 1}^{[l]} & \dots & \vec{z}_{:, i}^{[l]} & \dots & \vec{z}_{:, m}^{[l]}
-\end{bmatrix} \label{eq:Z} \\
+\end{bmatrix}  \\
 &= \vec{W}^{[l]}
 \begin{bmatrix}
 \vec{a}_{:, 1}^{[l - 1]} & \dots & \vec{a}_{:, i}^{[l - 1]} & \dots & \vec{a}_{:, m}^{[l - 1]}
 \end{bmatrix} +
 \begin{bmatrix}
 \vec{b}^{[l]} & \dots & \vec{b}^{[l]} & \dots & \vec{b}^{[l]}
 \end{bmatrix} \notag \\
-&= \vec{W}^{[l]} \vec{A}^{[l - 1]} + \broadcast(\vec{b}^{[l]}), \notag \\
-\vec{A}^{[l]} &=
-\begin{bmatrix}
-\vec{a}_{:, 1}^{[l]} & \dots & \vec{a}_{:, i}^{[l]} & \dots & \vec{a}_{:, m}^{[l]}
-\end{bmatrix}, \label{eq:A}
+&= \vec{W}^{[l]} \vec{A}^{[l - 1]} + broadcast(\vec{b}^{[l]}), \notag \\
 \end{align}
 $$  
 
-$$ \vec{Z}^{[l]} \in \R^{n^{[l]} \times m} , \vec{A}^{[l - 1]} \in \R^{n^{[l - 1]} \times m}$$
+vector space는 다음과 같이 정의된다 .$$ \vec{Z}^{[l]} \in \mathbb{R}^{n^{[l]} \times m} , \vec{A}^{[l - 1]} \in \mathbb{R}^{n^{[l - 1]} \times m}$$
+
 
 ### output a 
 
 
 $$ Z^{[l]}$$ 을 계산하게 되면, 이를 $$g_{j}^{[l]}$$ 에 parameter로 넘겨주어 계산하게 됩니다. 아래와 같은 식으로 표현할 수 있습니다.  
 
 $$ 
-\begin{equation}
+\begin{align}
 a_{j, i}^{[l]} &= g_j^{[l]}(z_{1, i}^{[l]}, \dots, z_{j, i}^{[l]}, \dots, z_{n^{[l]}, i}^{[l]}). 
 \label{eq:a_scalar}
-\end{equation}
+\end{align}
 $$
 
 마찬가지로, sequential하게 하는것이 아닌 parallell 하게 진행되기 때문에 [(2)](#eq:a_scalar)를 vectorize 해보도록 하겠습니다.  
-
 $$
+\begin{align*}
 \begin{bmatrix}
 a_{1, i}^{[l]} \\
 \vdots \\
@@ -150,33 +148,37 @@ g_j^{[l]}(z_{1, i}^{[l]}, \dots, z_{j, i}^{[l]}, \dots, z_{n^{[l]}, i}^{[l]}) \\
 \vdots \\
 g_{n^{[l]}}^{[l]}(z_{1, i}^{[l]}, \dots, z_{j, i}^{[l]}, \dots, z_{n^{[l]}, i}^{[l]}) \\
 \end{bmatrix}
+\end{align*}
 $$
 
 이를 수식으로 표현하면   
+
 $$
-\vec{a}_{:, i}^{[l]} &= \vec{g}^{[l]}(\vec{z}_{:, i}^{[l]}), \label{eq:a}
-$$
-$$ \vec{a}_{:, i}^{[l]} \in \R^{n^{[l]}} $$  
+\vec{a}_{:, i}^{[l]} = \vec{g}^{[l]}(\vec{z}_{:, i}^{[l]})
+$$  
+
+vector space는 다음과 같이 정의된다 .$$ \vec{a}_{:, i}^{[l]} \in R^{n^{[l]}} $$  
 
 위의 수식은  전체 activation 중 1개의 node를 의미합니다. 이를 전체 activation에 대해 확장해보도록 하겠습니다 . 
 
 $$
-\vec{A}^{[l]} &=
+\vec{A}^{[l]} =
 \begin{bmatrix}
 \vec{a}_{:, 1}^{[l]} & \dots & \vec{a}_{:, i}^{[l]} & \dots & \vec{a}_{:, m}^{[l]}
-\end{bmatrix}, \label{eq:A}
+\end{bmatrix},
 $$  
 
-$$ \vec{A}^{[l]} \in \R^{n^{[l]} \times m} $$  
+vector space는 다음과 같이 정의된다. $$ \vec{A}^{[l]} \in R^{n^{[l]} \times m} $$  
 
 ## Conclusion
 전체 feedforward network에 대한 math expression을 정의하였습니다. 이를 , 모든 일반적인 feedforward network에 적용할 수 있습니다. 전체적으로 feedforward network가 아니더라도 , 부분부분 feedforward network가 사용되어 집니다. 이를 직접 implementation 할 때 , 수식을 알고 있다면 큰 도움이 될 것입니다 . 
-## Reference
 
 
 
 
 
+## Reference
+
 1.  [feedforward-neural-networks-part-1/journalsim From Jonas Lalin ](https://jonaslalin.com/2021/12/10/feedforward-neural-networks-part-1/)    
 
 2. [wikiepdia](https://en.wikipedia.org/wiki/Feedforward_neural_network)

_site/feed.xml

@@ -1,6 +1,4 @@
-<?xml version="1.0" encoding="utf-8"?><feed xmlns="http://www.w3.org/2005/Atom" ><generator uri="https://jekyllrb.com/" version="4.2.1">Jekyll</generator><link href="http://localhost:4000/feed.xml" rel="self" type="application/atom+xml" /><link href="http://localhost:4000/" rel="alternate" type="text/html" /><updated>2023-12-29T16:23:18+09:00</updated><id>http://localhost:4000/feed.xml</id><title type="html">Woongjoon_AI</title><subtitle>AMazing developer</subtitle><author><name>Choi Woongjoon</name></author><entry><title type="html">일반적인 FeedForward Network를 수식으로 알아보자</title><link href="http://localhost:4000/dlarchitecture/Feed-Forward-Network/" rel="alternate" type="text/html" title="일반적인 FeedForward Network를 수식으로 알아보자" /><published>2023-11-23T00:00:00+09:00</published><updated>2023-11-23T00:00:00+09:00</updated><id>http://localhost:4000/dlarchitecture/Feed-Forward-Network</id><content type="html" xml:base="http://localhost:4000/dlarchitecture/Feed-Forward-Network/">&lt;p&gt;작성중-23.11.13&lt;/p&gt;
-
-&lt;h2 id=&quot;why-we-need-understand-neural-network-in-mathmatical-view&quot;&gt;Why we need understand Neural Network in Mathmatical view?&lt;/h2&gt;
+<?xml version="1.0" encoding="utf-8"?><feed xmlns="http://www.w3.org/2005/Atom" ><generator uri="https://jekyllrb.com/" version="4.2.1">Jekyll</generator><link href="http://localhost:4000/feed.xml" rel="self" type="application/atom+xml" /><link href="http://localhost:4000/" rel="alternate" type="text/html" /><updated>2023-12-29T19:10:23+09:00</updated><id>http://localhost:4000/feed.xml</id><title type="html">Woongjoon_AI</title><subtitle>AMazing developer</subtitle><author><name>Choi Woongjoon</name></author><entry><title type="html">일반적인 FeedForward Network를 수식으로 알아보자</title><link href="http://localhost:4000/dlarchitecture/Feed-Forward-Network/" rel="alternate" type="text/html" title="일반적인 FeedForward Network를 수식으로 알아보자" /><published>2023-11-23T00:00:00+09:00</published><updated>2023-11-23T00:00:00+09:00</updated><id>http://localhost:4000/dlarchitecture/Feed-Forward-Network</id><content type="html" xml:base="http://localhost:4000/dlarchitecture/Feed-Forward-Network/">&lt;h2 id=&quot;why-we-need-understand-neural-network-in-mathmatical-view&quot;&gt;Why we need understand Neural Network in Mathmatical view?&lt;/h2&gt;
 &lt;p&gt;NeuralNetwork를 인간이 이해할 수 있는 logic으로 표현하는 방법중 하나는 바로 수식입니다. 수식으로 표현하는 방법을 알아야만 하는 이유로 크게 몇가지 있다고 생각합니다.
 첫번째로 , Neural Network를 공부하는 이유는 이 neural Network를 컴퓨터로 구현하여 사용하기 위함입니다. 컴퓨터로 구현한다는 것은  머릿속의 로직을 코딩함을 의미합니다.&lt;/p&gt;
 &lt;h2 id=&quot;term-definition&quot;&gt;Term Definition&lt;/h2&gt;
@@ -68,17 +66,17 @@
 
 &lt;p&gt;다른 교육자료들을 보면 쉽게 설명하기 위해서 3개의 node로 한정짓거나 하는 방식으로 설명을 하게 됩니다. 하지만, 여기서는 일반식을 정의하기 위해서 \(n^{[l]}\)개의 node의 대해서 설명을 하겠습니다. (bias는 그림에서만 생략하였습니다 . )&lt;/p&gt;
 
-&lt;p&gt;여기서 , \(z_{k,i}^{[l]}\) 에는 \(n^{[l-1]}\)개의 node가 연결되어 있습니다.  &lt;br /&gt;
+&lt;p&gt;여기서 , \(z_{k,i}^{[l]}\) 에는 \(n^{[l-1]}\) 개의 node가 연결되어 있습니다.  &lt;br /&gt;
 따라서 ,&lt;/p&gt;
 
-\[\begin{equation}
+\[\begin{align}
 z_{j,i}^{[l]} = \sum_{k=0}^{n^{[l-1]}}  w_{j,k}^{[l]} \cdot a_{k,i}^{[l-1]} + b_{j}^{[l]} 
-\label{eq:z_j_i} 
-\end{equation}\]
+\label{eqzji}
+\end{align}\]
 
-&lt;p&gt;딥러닝에서는 이러한 multiplication을 sequential하게 하는것이 아닌 parallell 하게 진행합니다.(ex.Numpy) 따라서, 우리는 &lt;a href=&quot;#eq:z_j_i&quot;&gt;(1)&lt;/a&gt; 을 vectorization 해야 합니다 .&lt;/p&gt;
+&lt;p&gt;vector space는 다음과 같이 정의됩니다.  \(\vec{a}_{:, i}^{[l-1]} \in \mathbb{R}^ {n \times {n^{[l-1]}} }, \vec{w}_{j, :}^{[l]} \in \mathbb{R}^ {n \times {n^{[l-1]}}}\)  .&lt;/p&gt;
 
-&lt;p&gt;위 식은 sum을 나타내지만 , 이는 vector \(w_{j,:}^{[l]}\) 와 vector \(a_{:,i}^{[l-1]}\)  의 multiplication이라 볼 수 있습니다. \(\vec{a}_{:, i}^{[l-1]} \in \R^{n^{[l-1]}} , \vec{w}_{j, :}^{[l]} \in \R^{n^{[l-1]}}\) . (n^{[l-1]} ,1) . 위 식에서 변수 j의 범위는 \(0&amp;lt;= j &amp;lt;=n^{[l]}\) 입니다.  따라서 , 이를 확장하면 아래와 같이 vectorize할 수 있습니다.&lt;/p&gt;
+&lt;p&gt;딥러닝에서는 이러한 multiplication을 sequential하게 하는것이 아닌 parallell 하게 진행합니다.(ex.Numpy) 따라서, 우리는 \(\eqref{eqzji}\) 을 vectorization 해야 합니다 .  위 식은 sum을 나타내지만 , 이는 vector \(w_{j,:}^{[l]}\) 와 vector \(a_{:,i}^{[l-1]}\)  의 multiplication이라 볼 수 있습니다. 위 식에서 변수 j의 범위는 \(0&amp;lt;= j &amp;lt;=n^{[l]}\) 입니다.  따라서 , 이를 확장하면 아래와 같이 vectorize할 수 있습니다.&lt;/p&gt;
 
 \[\begin{align*}
 \begin{bmatrix}
@@ -111,46 +109,43 @@ b_{n^{[l]}}^{[l]}
 \end{bmatrix},
 \end{align*}\]
 
-&lt;p&gt;이를 수식으로 표현하면 다음과 같이 적을 수 있습니다.&lt;br /&gt;
-\(\vec{z}_{:, i}^{[l]} = \vec{W}^{[l]} \vec{a}_{:, i}^{[l - 1]} + \vec{b}^{[l]}, \label{eq:z}\)&lt;/p&gt;
+&lt;p&gt;이를 수식으로 표현하면 다음과 같이 적을 수 있습니다.&lt;/p&gt;
+
+\[\vec{z}_{:, i}^{[l]} = \vec{W}^{[l]} \vec{a}_{:, i}^{[l - 1]} + \vec{b}^{[l]}\]
 
-\[\vec{z}_{:, i}^{[l]} \in \R^{n^{[l]}} , \vec{W}^{[l]} \in \R^{n^{[l]} \times n^{[l - 1]}} , \vec{b}^{[l]} \in \R^{n^{[l]}} , \vec{a}_{:, i}^{[l - 1]} \in \R^{n^{[l - 1]}}\]
+&lt;p&gt;vector space는 다음과 같이 정의됩니다 .\(\vec{z}_{:, i}^{[l]} \in \mathbb{R}^{n \times {n^{[l]}}} , \vec{W}^{[l]} \in \mathbb{R}{n^{n^{[l]} \times n^{[l - 1]}}}  , \vec{b}^{[l]} \in \mathbb{R}^{n \times {n^{[l]}}} , \vec{a}_{:, i}^{[l - 1]} \in \mathbb{R}^{n \times {n^{[l - 1]}}}\)&lt;/p&gt;
 
 &lt;p&gt;이는 1개의 training data에 대한  math expression입니다. 이를 이제 \(m\)개의 batch data의 size로 확장하여 vectorize를 해보겠습니다.&lt;/p&gt;
 
 \[\begin{align}
 \vec{Z}^{[l]} &amp;amp;=
 \begin{bmatrix}
 \vec{z}_{:, 1}^{[l]} &amp;amp; \dots &amp;amp; \vec{z}_{:, i}^{[l]} &amp;amp; \dots &amp;amp; \vec{z}_{:, m}^{[l]}
-\end{bmatrix} \label{eq:Z} \\
+\end{bmatrix}  \\
 &amp;amp;= \vec{W}^{[l]}
 \begin{bmatrix}
 \vec{a}_{:, 1}^{[l - 1]} &amp;amp; \dots &amp;amp; \vec{a}_{:, i}^{[l - 1]} &amp;amp; \dots &amp;amp; \vec{a}_{:, m}^{[l - 1]}
 \end{bmatrix} +
 \begin{bmatrix}
 \vec{b}^{[l]} &amp;amp; \dots &amp;amp; \vec{b}^{[l]} &amp;amp; \dots &amp;amp; \vec{b}^{[l]}
 \end{bmatrix} \notag \\
-&amp;amp;= \vec{W}^{[l]} \vec{A}^{[l - 1]} + \broadcast(\vec{b}^{[l]}), \notag \\
-\vec{A}^{[l]} &amp;amp;=
-\begin{bmatrix}
-\vec{a}_{:, 1}^{[l]} &amp;amp; \dots &amp;amp; \vec{a}_{:, i}^{[l]} &amp;amp; \dots &amp;amp; \vec{a}_{:, m}^{[l]}
-\end{bmatrix}, \label{eq:A}
+&amp;amp;= \vec{W}^{[l]} \vec{A}^{[l - 1]} + broadcast(\vec{b}^{[l]}), \notag \\
 \end{align}\]
 
-\[\vec{Z}^{[l]} \in \R^{n^{[l]} \times m} , \vec{A}^{[l - 1]} \in \R^{n^{[l - 1]} \times m}\]
+&lt;p&gt;vector space는 다음과 같이 정의된다 .\(\vec{Z}^{[l]} \in \mathbb{R}^{n^{[l]} \times m} , \vec{A}^{[l - 1]} \in \mathbb{R}^{n^{[l - 1]} \times m}\)&lt;/p&gt;
 
 &lt;h3 id=&quot;output-a&quot;&gt;output a&lt;/h3&gt;
 
 &lt;p&gt;\(Z^{[l]}\) 을 계산하게 되면, 이를 \(g_{j}^{[l]}\) 에 parameter로 넘겨주어 계산하게 됩니다. 아래와 같은 식으로 표현할 수 있습니다.&lt;/p&gt;
 
-\[\begin{equation}
+\[\begin{align}
 a_{j, i}^{[l]} &amp;amp;= g_j^{[l]}(z_{1, i}^{[l]}, \dots, z_{j, i}^{[l]}, \dots, z_{n^{[l]}, i}^{[l]}). 
 \label{eq:a_scalar}
-\end{equation}\]
-
-&lt;p&gt;마찬가지로, sequential하게 하는것이 아닌 parallell 하게 진행되기 때문에 &lt;a href=&quot;#eq:a_scalar&quot;&gt;(2)&lt;/a&gt;를 vectorize 해보도록 하겠습니다.&lt;/p&gt;
+\end{align}\]
 
-\[\begin{bmatrix}
+&lt;p&gt;마찬가지로, sequential하게 하는것이 아닌 parallell 하게 진행되기 때문에 &lt;a href=&quot;#eq:a_scalar&quot;&gt;(2)&lt;/a&gt;를 vectorize 해보도록 하겠습니다.&lt;br /&gt;
+\(\begin{align*}
+\begin{bmatrix}
 a_{1, i}^{[l]} \\
 \vdots \\
 a_{j, i}^{[l]} \\
@@ -163,23 +158,27 @@ g_1^{[l]}(z_{1, i}^{[l]}, \dots, z_{j, i}^{[l]}, \dots, z_{n^{[l]}, i}^{[l]}) \\
 g_j^{[l]}(z_{1, i}^{[l]}, \dots, z_{j, i}^{[l]}, \dots, z_{n^{[l]}, i}^{[l]}) \\
 \vdots \\
 g_{n^{[l]}}^{[l]}(z_{1, i}^{[l]}, \dots, z_{j, i}^{[l]}, \dots, z_{n^{[l]}, i}^{[l]}) \\
-\end{bmatrix}\]
+\end{bmatrix}
+\end{align*}\)&lt;/p&gt;
 
-&lt;p&gt;이를 수식으로 표현하면 &lt;br /&gt;
-\(\vec{a}_{:, i}^{[l]} &amp;amp;= \vec{g}^{[l]}(\vec{z}_{:, i}^{[l]}), \label{eq:a}\)
-\(\vec{a}_{:, i}^{[l]} \in \R^{n^{[l]}}\)&lt;/p&gt;
+&lt;p&gt;이를 수식으로 표현하면&lt;/p&gt;
+
+\[\vec{a}_{:, i}^{[l]} = \vec{g}^{[l]}(\vec{z}_{:, i}^{[l]})\]
+
+&lt;p&gt;vector space는 다음과 같이 정의된다 .\(\vec{a}_{:, i}^{[l]} \in R^{n^{[l]}}\)&lt;/p&gt;
 
 &lt;p&gt;위의 수식은  전체 activation 중 1개의 node를 의미합니다. 이를 전체 activation에 대해 확장해보도록 하겠습니다 .&lt;/p&gt;
 
-\[\vec{A}^{[l]} &amp;amp;=
+\[\vec{A}^{[l]} =
 \begin{bmatrix}
 \vec{a}_{:, 1}^{[l]} &amp;amp; \dots &amp;amp; \vec{a}_{:, i}^{[l]} &amp;amp; \dots &amp;amp; \vec{a}_{:, m}^{[l]}
-\end{bmatrix}, \label{eq:A}\]
+\end{bmatrix},\]
 
-\[\vec{A}^{[l]} \in \R^{n^{[l]} \times m}\]
+&lt;p&gt;vector space는 다음과 같이 정의된다. \(\vec{A}^{[l]} \in R^{n^{[l]} \times m}\)&lt;/p&gt;
 
 &lt;h2 id=&quot;conclusion&quot;&gt;Conclusion&lt;/h2&gt;
 &lt;p&gt;전체 feedforward network에 대한 math expression을 정의하였습니다. 이를 , 모든 일반적인 feedforward network에 적용할 수 있습니다. 전체적으로 feedforward network가 아니더라도 , 부분부분 feedforward network가 사용되어 집니다. 이를 직접 implementation 할 때 , 수식을 알고 있다면 큰 도움이 될 것입니다 .&lt;/p&gt;
+
 &lt;h2 id=&quot;reference&quot;&gt;Reference&lt;/h2&gt;
 
 &lt;ol&gt;