Update README.md
Browse files
README.md
CHANGED
|
@@ -14,9 +14,9 @@ Accuracy: 0.727
|
|
| 14 |
|
| 15 |
#๋๋ฒ์งธ ์๋
|
| 16 |
- ์คํ ๋ด์ฉ:
|
| 17 |
-
์ด์ ํ๋ก์ ํธ๋ฅผ ์งํํ๋ค๋ณด๋ฉด ๋ณดํต epoch ์๋ฅผ ๋๋ฆฌ๋ฉด ์ฑ๋ฅ์ด ์ข์์ง์ ํ์ธํ ์ ์์๋ค. ๋ ๋ง์ ๋ฐ์ดํฐ๋ฅผ ํ์ตํด๋ณด๊ธฐ ์ํด ์ฆ๊ฐ์์ผฐ๋ค. (num_train_epochs: 1-> 1000๋ก ๋ณ๊ฒฝ)
|
| 18 |
-
weight_decay๋ ๊ณผ์ ํฉ์ ๋ฐฉ์งํ ์ ์๋ ๊ฐ์ผ๋ก ๋๋ฌด ํฌ๋ฉด underfitting, ๋๋ฌด ์์ผ๋ฉด overfitting์ด ๋ฐ์ํ ์ ์๋ค. 0.05 ์ ๋ ๊ฐ์ ๋ ํค์์ overfitting์ด ์ผ์ด๋์ง ์๋๋ก ํ๋ค. (weight_decay: 0.05-> 0.1๋ก ๋ณ๊ฒฝ)
|
| 19 |
-
max_grad_norm์ด ํฌ๋ฉด ๋ฐ์ฐ์ ์ํ์ด ํฌ๊ณ ์๋ ด์ด ์ด๋ ค์์ง๋ฉฐ, ์ ํ๋๊ฐ ๊ฐ์๋ ์ ์๊ธฐ ๋๋ฌธ์ ์ด๋์ ๋ ๊ฐ์ ์ค์ฌ์ฃผ์๋ค. (max_grad_norm: 0.3-> 0.1๋ก ๋ณ๊ฒฝ)
|
| 20 |
|
| 21 |
- ์คํ ๊ฒฐ๊ณผ:
|
| 22 |
TP TN
|
|
|
|
| 14 |
|
| 15 |
#๋๋ฒ์งธ ์๋
|
| 16 |
- ์คํ ๋ด์ฉ:
|
| 17 |
+
1. ์ด์ ํ๋ก์ ํธ๋ฅผ ์งํํ๋ค๋ณด๋ฉด ๋ณดํต epoch ์๋ฅผ ๋๋ฆฌ๋ฉด ์ฑ๋ฅ์ด ์ข์์ง์ ํ์ธํ ์ ์์๋ค. ๋ ๋ง์ ๋ฐ์ดํฐ๋ฅผ ํ์ตํด๋ณด๊ธฐ ์ํด ์ฆ๊ฐ์์ผฐ๋ค. (num_train_epochs: 1-> 1000๋ก ๋ณ๊ฒฝ)
|
| 18 |
+
2. weight_decay๋ ๊ณผ์ ํฉ์ ๋ฐฉ์งํ ์ ์๋ ๊ฐ์ผ๋ก ๋๋ฌด ํฌ๋ฉด underfitting, ๋๋ฌด ์์ผ๋ฉด overfitting์ด ๋ฐ์ํ ์ ์๋ค. 0.05 ์ ๋ ๊ฐ์ ๋ ํค์์ overfitting์ด ์ผ์ด๋์ง ์๋๋ก ํ๋ค. (weight_decay: 0.05-> 0.1๋ก ๋ณ๊ฒฝ)
|
| 19 |
+
3. max_grad_norm์ด ํฌ๋ฉด ๋ฐ์ฐ์ ์ํ์ด ํฌ๊ณ ์๋ ด์ด ์ด๋ ค์์ง๋ฉฐ, ์ ํ๋๊ฐ ๊ฐ์๋ ์ ์๊ธฐ ๋๋ฌธ์ ์ด๋์ ๋ ๊ฐ์ ์ค์ฌ์ฃผ์๋ค. (max_grad_norm: 0.3-> 0.1๋ก ๋ณ๊ฒฝ)
|
| 20 |
|
| 21 |
- ์คํ ๊ฒฐ๊ณผ:
|
| 22 |
TP TN
|