Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Update branch #4701

Closed
wants to merge 10 commits into from
Closed
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension


Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
3 changes: 2 additions & 1 deletion Gemfile
Original file line number Diff line number Diff line change
@@ -1,2 +1,3 @@
source "https://rubygems.org"
gemspec

gem "jekyll"
66 changes: 35 additions & 31 deletions _config.yml
Original file line number Diff line number Diff line change
Expand Up @@ -12,21 +12,21 @@

# theme : "minimal-mistakes-jekyll"
# remote_theme : "mmistakes/minimal-mistakes"
minimal_mistakes_skin : "default" # "air", "aqua", "contrast", "dark", "dirt", "neon", "mint", "plum", "sunrise"
minimal_mistakes_skin : "aqua" # "default" # "air", , "contrast", "dark", "dirt", "neon", "mint", "plum", "sunrise"

# Site Settings
locale : "en-US"
title : "Site Title"
title_separator : "-"
subtitle : # site tagline that appears below site title in masthead
name : "Your Name"
description : "An amazing website."
url : # the base hostname & protocol for your site e.g. "https://mmistakes.github.io"
locale : "ko-KR"
title : "BlackApple Note"
title_separator : "/"
subtitle : "Subtitle"
name : "SeokHwan Hong"
description : "Description."
url : "https://SeokHwanHong.github.io"
baseurl : # the subpath of your site, e.g. "/blog"
repository : # GitHub username/repo-name e.g. "mmistakes/minimal-mistakes"
teaser : # path of fallback teaser image, e.g. "/assets/images/500x300.png"
logo : # path of logo image to display in the masthead, e.g. "/assets/images/88x88.png"
masthead_title : # overrides the website title displayed in the masthead, use " " for no title
masthead_title : # overrid es the website title displayed in the masthead, use " " for no title
# breadcrumbs : false # true, false (default)
words_per_minute : 200
comments:
Expand Down Expand Up @@ -104,10 +104,10 @@ analytics:

# Site Author
author:
name : "Your Name"
name : "SeokHwan Hong"
avatar : # path of avatar image, e.g. "/assets/images/bio-photo.jpg"
bio : "I am an **amazing** person."
location : "Somewhere"
bio : "Blog"
location : "Location"
email :
links:
- label: "Email"
Expand All @@ -132,11 +132,11 @@ author:
# Site Footer
footer:
links:
- label: "Twitter"
icon: "fab fa-fw fa-twitter-square"
# url:
- label: "Facebook"
icon: "fab fa-fw fa-facebook-square"
# - label: "Twitter"
# icon: "fab fa-fw fa-twitter-square"
# # url:
# - label: "Facebook"
# icon: "fab fa-fw fa-facebook-square"
# url:
- label: "GitHub"
icon: "fab fa-fw fa-github"
Expand All @@ -147,8 +147,8 @@ footer:
- label: "Bitbucket"
icon: "fab fa-fw fa-bitbucket"
# url:
- label: "Instagram"
icon: "fab fa-fw fa-instagram"
# - label: "Instagram"
# icon: "fab fa-fw fa-instagram"
# url:


Expand Down Expand Up @@ -218,9 +218,9 @@ sass:

# Outputting
permalink: /:categories/:title/
paginate: 5 # amount of posts to show
paginate: 10 # amount of posts to show
paginate_path: /page:num/
timezone: # https://en.wikipedia.org/wiki/List_of_tz_database_time_zones
timezone: Aisa/Seoul


# Plugins (previously gems:)
Expand Down Expand Up @@ -257,16 +257,16 @@ tag_archive:
type: liquid
path: /tags/
# https://github.com/jekyll/jekyll-archives
# jekyll-archives:
# enabled:
# - categories
# - tags
# layouts:
# category: archive-taxonomy
# tag: archive-taxonomy
# permalinks:
# category: /categories/:name/
# tag: /tags/:name/
jekyll-archives:
enabled:
- categories
- tags
layouts:
category: archive-taxonomy
tag: archive-taxonomy
permalinks:
category: /categories/:name/
tag: /tags/:name/


# HTML Compression
Expand All @@ -290,3 +290,7 @@ defaults:
comments: # true
share: true
related: true
show_date: true


date_format: "%Y-%m-%d"
42 changes: 40 additions & 2 deletions _data/navigation.yml
Original file line number Diff line number Diff line change
@@ -1,7 +1,45 @@
# main links
main:
- title: "Quick-Start Guide"
url: https://mmistakes.github.io/minimal-mistakes/docs/quick-start-guide/
- title: "Category"
url: /categories/
- title: "Search"
url: /search/
docs:
- title: "Statistics"
children:
- title: "Definition"
url: /categories/stats/def
- title: "Stats1"
ulr: /categories/sats/stats1

- title: "Statistical Learning"
children:
- title: "Definition"
url: /categories/sl/def

- title: "Machine Learning"
children:
- title: "Definition"
url: /categories/ml/def

- title: "Deep Learning"
children:
- title: "Definition"
url: /categories/dl/def/
children:
- title: "NLP"
url: /categories/dl/nlp
children:
- title: "Segmentation"
url: /categories/dl/segmentation/








# - title: "About"
# url: https://mmistakes.github.io/minimal-mistakes/about/
# - title: "Sample Posts"
Expand Down
7 changes: 7 additions & 0 deletions _pages/category-archive.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,7 @@
---
title: "Category"
layout: categories
permalink: /categories/
author_profile: true
sidebar_main: true
---
4 changes: 4 additions & 0 deletions _pages/search.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,4 @@
---
title: Seearch
layout: search
permalink: /search/search
1 change: 1 addition & 0 deletions _posts/2024-02-05-first.md
Original file line number Diff line number Diff line change
@@ -0,0 +1 @@
first post
35 changes: 35 additions & 0 deletions _posts/2024-02-22-Attention is all you need.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,35 @@
---
layout: single # 문서 형식
title: 'Attention is all you need 리뷰' # 제목
categories: Natural Language Processing # 카테고리
toc: true # 글 목차
author_profiel: false # 홈페이지 프로필이 다른 페이지에도 뜨는지 여부
sidebar: # 페이지 왼쪽에 카테고리 지정
nav: "docs" # sidebar의 주소 지정
#search: false # 블로그 내 검색 비활성화
---

# Abstract


# 1. Intorduction


# 2. Background


# 3. Model Architecture
## 3.1. Encoder & Decoder Stacks
### Encoder
### Decoder

## 3.2. Attention
### Scaled Dot-Product Attention
### Multi-Head Attention
### Applications of Attention in our Model

## 3.3. Position-wise Feed-Forward Networks
## 3.4. Embeddings and Softmax
## 3.5. Positional Encoding

# 4. Why Self-Attention
31 changes: 31 additions & 0 deletions _posts/2024-02-22-BackPropagation.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,31 @@
---
layout: single # 문서 형식
title: Propagation # 제목
categories: Deep Learning # 카테고리
toc: true # 글 목차
author_profiel: false # 홈페이지 프로필이 다른 페이지에도 뜨는지 여부
sidebar: # 페이지 왼쪽에 카테고리 지정
nav: "docs" # sidebar의 주소 지정
#search: false # 블로그 내 검색 비활성화
---

# 1. Loss Function
손실함수는 실제값과 예측값 사이의 차이를 표현한 것입니다. 주로 사용하는 손실함수로는 LogLoss, L2-Error, CrossEntropy, KL Divergence 등이 있습니다.

# 2. Forward Propagation
입력층에서 출력층 방향으로 오차를 전파시키며 각 층의 가중치를 업데이트하는 방법입니다.

![alt text](순전파-1.jpg)


위 그림에서 확인할 수 있듯이, 입력층에서 출력층으로 연산을 진행하며 가중치와 기울기를 계산합니다. 이 과정에서 Hidden layer의 수가 증가하면 할수록 필요한 연산의 수는 기하급수적으로 증가합니다.

# 3. BackPropagation
Forward Propagation과 반대 반향으로 오차를 전파시키며 각 층의 가중치를 업데이트하는 방법입니다.

![alt text](역전파.jpg)
Forward Propagation에서 계산한 오차 $(L(y_1-\widehat{y}_1))$를 기반으로, 출력층에서 입력층으로 오차에 대한 기울기를 연쇄 법칙으로 계산함으로써 모든 가중치를 업데이트합니다. 이러한 방법으로 모든 데이터에 대해 학습을 진행합니다. 이 과정을 반복해 손실 함수를 통해 계산되는 손실 점수를 최소화하는 가중치를 탐색합니다.

# 참고
https://www.philgineer.com/2021/09/27-5.html
https://davinci-ai.tistory.com/20
40 changes: 40 additions & 0 deletions _posts/2024-02-22-E2E Memory Networks.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,40 @@
---
layout: single # 문서 형식
title: End to End Memory Netwroks # 제목
categories: Deep Learning # 카테고리
toc: true # 글 목차
author_profiel: false # 홈페이지 프로필이 다른 페이지에도 뜨는지 여부
sidebar: # 페이지 왼쪽에 카테고리 지정
nav: "docs" # sidebar의 주소 지정
#search: false # 블로그 내 검색 비활성화
---

# 1. Definition
직역하면 "완전 연결 계층". 본 단어의 의미는 한 층(layer)의 모든 뉴런이 그 다음 층의 모든 뉴런과 연결된 상태를 의미.
1차원 배열의 형태로 평탄화된 행렬을 통해 이미지를 분류하는데 사용하는 계층


# 1. Intorduction


# 2. Background


# 3. Model Architecture
## 3.1. Encoder & Decoder Stacks
### Encoder
### Decoder

## 3.2. Attention
### Scaled Dot-Product Attention
### Multi-Head Attention
### Applications of Attention in our Model

## 3.3. Position-wise Feed-Forward Networks
## 3.4. Embeddings and Softmax
## 3.5. Positional Encoding

# 4. Why Self-Attention

# 참고
https://velog.io/@grovy52/Fully-Connected-Layer-FCL-%EC%99%84%EC%A0%84-%EC%97%B0%EA%B2%B0-%EA%B3%84%EC%B8%B5
40 changes: 40 additions & 0 deletions _posts/2024-02-22-Layer Normalization.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,40 @@
---
layout: single # 문서 형식
title: Layer Normalization # 제목
categories: Deep Learning # 카테고리
toc: true # 글 목차
author_profiel: false # 홈페이지 프로필이 다른 페이지에도 뜨는지 여부
sidebar: # 페이지 왼쪽에 카테고리 지정
nav: "docs" # sidebar의 주소 지정
#search: false # 블로그 내 검색 비활성화
---

# 1. Definition
직역하면 "완전 연결 계층". 본 단어의 의미는 한 층(layer)의 모든 뉴런이 그 다음 층의 모든 뉴런과 연결된 상태를 의미.
1차원 배열의 형태로 평탄화된 행렬을 통해 이미지를 분류하는데 사용하는 계층


# 2. Properties


# 2. Background


# 3. Model Architecture
## 3.1. Encoder & Decoder Stacks
### Encoder
### Decoder

## 3.2. Attention
### Scaled Dot-Product Attention
### Multi-Head Attention
### Applications of Attention in our Model

## 3.3. Position-wise Feed-Forward Networks
## 3.4. Embeddings and Softmax
## 3.5. Positional Encoding

# 4. Why Self-Attention

# 참고
https://velog.io/@grovy52/Fully-Connected-Layer-FCL-%EC%99%84%EC%A0%84-%EC%97%B0%EA%B2%B0-%EA%B3%84%EC%B8%B5
40 changes: 40 additions & 0 deletions _posts/2024-02-22-Multi Layer Perceptron.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,40 @@
---
layout: single # 문서 형식
title: Multi-Layer Perceptron (MLP) # 제목
categories: DL # 카테고리
toc: true # 글 목차
author_profiel: false # 홈페이지 프로필이 다른 페이지에도 뜨는지 여부
sidebar: # 페이지 왼쪽에 카테고리 지정
nav: "docs" # sidebar의 주소 지정
#search: false # 블로그 내 검색 비활성화
---

# 1. Neuron
### In Biology
전기적 및 화학적 신호를 통해 정보를 처리하고 전송하는 전기적으로 흥분시키는 세포입니다. 뉴런 사이의 신호는 다른 세포와의 특별하게 연결된 시냅스에서 발생합니다. 뉴런은 신경망을 형성할 수 있도록 끝과 끝이 연결 가능합니다.
![alt text](생물학뉴런.png)

### In Deep Learning
생물학적인 뉴런의 개념에 기조한 수학적인 함수를 의미합니다. 뉴런의 활성화 유무에 따라 활성함수가 결정됩니다. 이 때, 해당 뉴런의 결과가 0이라면, 신호를 주고받지 않는 비활성화 상태임을 알 수 있습니다.
![alt text](딥러닝뉴런.png)


# 2. Perceptron
퍼셉트론은 인공신경망의 기본 구성 단위로 정보를 전파하는 역할을 합니다. 이는 생물학의 percept + neuron의 합성어로 학습 가능한 초창기 신경망 모델로 노드, 가중치, 층 등의 개념들이 도입되어 딥러닝을 포함한 현대 신경망들의 중요한 구성요소들을 이해하는데 의미가 있습니다. 여기서 활성함수 $\sigma$는 특정 퍼셉트론으로 들어오는 입력값이 일정 수준의 threshold를 넘어서면 일정값을 전파하고, 그렇지 않으면 어떠한 값도 전파하지 않습니다.
![alt text](image.png)


# 3. Multi-Layer Perceptron
다층 퍼셉트론(Multi-Layer Perceptron, MLP)은 층이 2개 이상 존재하는 신경망입니다. 이 때, 입력층(input layre)과 출력층(output layer)을 제외한 층을 은닉층(hidden layer)라고 합니다. 이 층이 1개일 경우 얕은 신경망(shallow neural network), 다수일 경우 깊은 신경망(deep neural network)이라고 합니다. 다층 퍼셉트론의 구성을 보면, 같은 층 내의 뉴런 간에는 연결되어 있지 않고 다른 층의 뉴런들과 모두 연결되어 있습니다.(Fully Connected Layer, FC Layer)
![alt text](다층퍼셉트론.png)

# 4. Role of Hidden Layer
다층 퍼셉트론은 단층 퍼셉트론과 달리 비선형으로 분포하는 데이터에 대해 학습이 가능합니다. 이 과정에서 가중치에 대해 선형 방정식을 계산하기 때문에 층과 층 사이에 선형으로 표현된 데이터를 활성화함수를 이용해 비선형으로 변환해 연산합니다.



# 참고
http://kbrain.co.kr/board_FXki69/890
https://davinci-ai.tistory.com/20
https://yhyun225.tistory.com/21
https://compmath.korea.ac.kr/deeplearning/Perceptron.html
Loading
Loading