-
Notifications
You must be signed in to change notification settings - Fork 0
/
Copy pathfeature.html
248 lines (220 loc) · 14.1 KB
/
feature.html
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
<!doctype html>
<html class="no-js" lang="zxx">
<head>
<meta charset="utf-8">
<meta http-equiv="x-ua-compatible" content="ie=edge">
<title>大規模言語モデルのファインチューニング技術と評価 - チューニングコンペティション</title>
<meta name="description" content="">
<meta name="viewport" content="width=device-width, initial-scale=1">
<link rel="manifest" href="site.webmanifest">
<link rel="stylesheet" href="assets/css/bootstrap.min.css">
<link rel="stylesheet" href="assets/css/owl.carousel.min.css">
<link rel="stylesheet" href="assets/css/flaticon.css">
<link rel="stylesheet" href="assets/css/slicknav.css">
<link rel="stylesheet" href="assets/css/animate.min.css">
<link rel="stylesheet" href="assets/css/magnific-popup.css">
<link rel="stylesheet" href="assets/css/fontawesome-all.min.css">
<link rel="stylesheet" href="assets/css/themify-icons.css">
<link rel="stylesheet" href="assets/css/slick.css">
<link rel="stylesheet" href="assets/css/nice-select.css">
<link rel="stylesheet" href="assets/css/style.css">
<link rel="stylesheet" href="assets/css/responsive.css">
</head>
<body>
<div id="preloader-active">
<div class="preloader d-flex align-items-center justify-content-center">
<div class="preloader-inner position-relative">
<div class="preloader-circle"></div>
<div class="preloader-img pere-text">
</div>
</div>
</div>
</div>
<header>
<div class="header-area header-transparrent ">
<div class="main-header sky-blue header-sticky">
<div class="container">
<div class="row align-items-center">
<!-- Logo -->
<div class="col-xl-2 col-lg-2 col-md-2">
<div class="logo">
<a href="index.html">
<img src="assets/img/NLPlogo_300x100.png" alt=""></a>
</div>
</div>
<div class="col-xl-10 col-lg-10 col-md-10">
<div class="main-menu f-right d-none d-lg-block">
<nav>
<ul id="navigation">
<li><a href="index.html"> ワークショップ</a></li>
<li class="active"><a href="feature.html">コンペティション</a></li>
<li><a href="tasks.html">コンペティション詳細説明</a></li>
<li><a href="contact.html">オーガナイザ</a></li>
</ul>
</nav>
</div>
</div>
<div class="col-12">
<div class="mobile_menu d-block d-lg-none"></div>
</div>
</div>
</div>
</div>
</div>
</header>
<main>
<div class="single-slider slider-height slider-padding black d-flex align-items-center">
<div class="container">
<div class="row d-flex align-items-center">
<div class="col-lg-22 col-md-12 ">
<div class="hero__caption">
<br>
<h4 data-animation="fadeInUp" data-delay=".6s">チューニングコンペティション</h4>
<p data-animation="fadeInUp" data-delay=".8s">
本ワークショップでは、チューニングコンペティションを開催します。
本コンペティションでは、安全性あるいは数学能力に強いLLMの構築を目指したファインチューニングにフォーカスを当てます。
ワークショップ当日には、各参加チームからの報告に加えて、上位チームの出力について人手評価や議論を行う予定です。
</p>
<h4 data-animation="fadeInUp" data-delay=".6s">参加募集</h4>
<p data-animation="fadeInUp" data-delay=".8s">
チューニングコンペティションへの参加登録は以下からお願いします。
コンペティションの詳細は代表者のメールアドレスへ連絡いたします。
<br><br>
<a href="https://forms.gle/aLvE2uegwD2okGiTA" class="btn card-btn1">参加登録フォーム</a>
<br><br>
</p>
<h4 data-animation="fadeInUp" data-delay=".6s">スケジュール</h4>
<p data-animation="fadeInUp" data-delay=".8s">
コンペティション参加登録締切：2024年12月15日<br/>
コンペティション期間：2024年12月16日〜2025年2月20日<br/>
論文投稿締切 (論文投稿は必須ではありません)：2025年3月5日<br/>
ワークショップ開催：2025年3月14日
</p>
<!--<div class="hero__img d-none d-lg-block f-right" data-animation="fadeInRight" data-delay="3s">
<img copyright="c" src="assets/img/messe13.jpg" alt="" width="400">
<footer><small>© Nagasaki City</small></footer>
<!-- <img src="assets/img/Deshima.jpg" alt="" width="950" height="300">
<!-- <img src="assets/img/1500x500.jfif" alt="">
</div>-->
</div>
</div>
</div>
</div>
</div>
<div class="single-slider slider-height slider-padding sky-blue d-flex align-items-center">
<div class="container">
<div class="row d-flex align-items-center">
<div class="col-lg-22 col-md-12 ">
<div class="hero__caption">
コンペティションは以下のような形で開催いたします。
<br><br>
<h4 data-animation="fadeInUp" data-delay=".6s">基本ルール</h4>
<p data-animation="fadeInUp" data-delay=".8s">
チューニングを行うベースモデルは、llm-jp-3-13b とします（インストラクションチューニング済みモデルも可）。
２つの評価タスクについて1つのモデルを構築してもよいですし、異なるモデルを構築してもかまいません。<br>
<a href="https://huggingface.co/llm-jp/llm-jp-3-13b">ベースモデル</a><br>
<a href="https://huggingface.co/llm-jp/llm-jp-3-13b-instruct">インストラクションチューニング済みモデル</a><br>
</p>
<h4 data-animation="fadeInUp" data-delay=".6s">評価タスク</h4>
<p data-animation="fadeInUp" data-delay=".8s">
以下の2つのタスクについて、評価を行います。
どちらか一つの評価タスクのみに参加するのでもかまいません。
各タスクの詳細については、参加チームに対して別途明示いたします。<br>
安全性チューニング：安全性と有用性を両立した応答をするためのチューニングを行います。安全性への配慮を要するQAデータセット「AnswerCarefully 」、一般ドメインのQAデータセット「ichikara-instruction」と同等のテストデータを用いて、安全性と有用性の２つの側面を評価することを予定しています。<br>
数学チューニング：算数や数学の問題を解く能力を向上させるためのチューニングを行います。算数・数学の試験問題をテストデータとして評価を行い、モデルの数学能力を評価します。<br>
</p>
<h4 data-animation="fadeInUp" data-delay=".6s">結果提出・評価方法</h4>
<p data-animation="fadeInUp" data-delay=".8s">
チューニング済みモデルおよびデコーダ一式をコンペティション終了までに提出していただきます。
提出物は、事務局が指定する形式で入力を受け取り、指定する形式で出力を行う Docker イメージとして提出します。
また、開発中に参加チーム自身で評価を行えるように、評価ツールおよびリーダーボードを提供します。
なお、事務局が許可なくDockerイメージの内容を確認することはありません（※詳細は後述）。<br>
ワークショップ当日に１時間時間を取り、上位３チーム（参加チームが多い場合には５チーム）の出力について人手評価を実施する予定です。
同時に、安全性や数学能力の評価に詳しい方をパネリストとして、評価結果について議論を行う時間を設ける予定です。
</p>
</div>
<!--<div class="col-lg-50">
<div class="hero__img d-none d-lg-block f-right" data-animation="fadeInRight" data-delay="1s">
<img src="assets/img/fuukei1.jpg" alt="" width="400">
<footer><small>© Nagasaki City</small></footer>
<!-- <img src="assets/img/2000px-Nagasaki_vue_du_Mont_Inasa.jpg" alt="" width="930" height="300">-->
<!--<img src="assets/img/heiwa.jpg" alt="" width="900" height="400">
</div>-->
</div>
</div>
</div>
</div>
<div class="single-slider slider-height slider-padding brand-bg d-flex align-items-center">
<div class="container">
<div class="row d-flex align-items-center">
<div class="col-lg-22 col-md-12 ">
<div class="hero__caption">
<h4 data-animation="fadeInUp" data-delay=".6s">GPU提供</h4>
<p data-animation="fadeInUp" data-delay=".8s">
本コンペティションへの参加にあたって十分な計算リソースを持たない参加チームに対して、<a href="https://mdx.jp/">mdx</a> 1インスタンス（NVIDIA Tesla A100 40GB 4枚）を上限としてリクエストに応じて計算リソースを提供いたします。
参加登録時に、希望するGPU数と希望理由を申請してください。
提供できる資源が限られているため、各チームに提供するGPU数は事務局の決定にしたがっていただきます。
mdxの利用を希望するチーム数やmdxの混雑状況によっては、希望通りの計算リソースを提供することができない可能性があります。
また、参加チーム数によっては、期間全体としてではなく、日毎のローテーションを行う可能性もあります。
提供する計算リソースは、本コンペティションのための開発・実験のみに用いることができます。
GPU提供を受けた参加チームは、結果提出およびワークショップでの発表を必須とします。
</p>
<h4 data-animation="fadeInUp" data-delay=".6s">ワークショップでの発表</h4>
<p data-animation="fadeInUp" data-delay=".8s">
3月14日にNLP2025併設のワークショップを開催します。
このワークショップの中で、結果提出をした参加チーム毎に代表者1人に発表を行っていただきます（発表は遠隔でも可）。
なお、参加チーム数が発表枠を超えた場合には、事務局でセレクションをさせていただく可能性があることにご承知おきください。
この結果発表では、チューニング手法の詳細、使用したデータなどを発表いただくようお願いいたします。
</p>
<h4 data-animation="fadeInUp" data-delay=".6s">※Dockerイメージの取り扱いについて</h4>
<p data-animation="fadeInUp" data-delay=".8s">
投稿者本人の依頼または許可がない限り，Dockerイメージの内容（中身のコード）を事務局は確認しない<br>
投稿者本人の依頼または許可がない限り，本コンペティションの精度評価以外に利用しない<br>
投稿者本人の依頼または許可がない限り，本評価システムから外部の記憶媒体にコピーしない<br>
投稿者本人の依頼または許可がない限り，本コンペティション終了後一定期間の後に全て削除する<br>
</p>
</div>
</div>
<div class="col-lg-50">
<div class="hero__img d-none d-lg-block f-right" data-animation\
="fadeInRight" data-delay="1s">
<img src="assets/img/nagasaki1.jpg" alt="" width="600">
<footer><small>© Nagasaki City</small></footer>
</div>
</div>
</div>
</div>
</div>
</div>
</main>
<script src="./assets/js/vendor/modernizr-3.5.0.min.js"></script>
<!-- Jquery, Popper, Bootstrap -->
<script src="./assets/js/vendor/jquery-1.12.4.min.js"></script>
<script src="./assets/js/popper.min.js"></script>
<script src="./assets/js/bootstrap.min.js"></script>
<!-- Jquery Mobile Menu -->
<script src="./assets/js/jquery.slicknav.min.js"></script>
<!-- Jquery Slick , Owl-Carousel Plugins -->
<script src="./assets/js/owl.carousel.min.js"></script>
<script src="./assets/js/slick.min.js"></script>
<!-- Date Picker -->
<script src="./assets/js/gijgo.min.js"></script>
<!-- One Page, Animated-HeadLin -->
<script src="./assets/js/wow.min.js"></script>
<script src="./assets/js/animated.headline.js"></script>
<script src="./assets/js/jquery.magnific-popup.js"></script>
<!-- Scrollup, nice-select, sticky -->
<script src="./assets/js/jquery.scrollUp.min.js"></script>
<script src="./assets/js/jquery.nice-select.min.js"></script>
<script src="./assets/js/jquery.sticky.js"></script>
<!-- contact js -->
<script src="./assets/js/contact.js"></script>
<script src="./assets/js/jquery.form.js"></script>
<script src="./assets/js/jquery.validate.min.js"></script>
<script src="./assets/js/mail-script.js"></script>
<script src="./assets/js/jquery.ajaxchimp.min.js"></script>
<!-- Jquery Plugins, main Jquery -->
<script src="./assets/js/plugins.js"></script>
<script src="./assets/js/main.js"></script>
</body>
</html>