Upload tokenizer

Browse files

Files changed (4) hide show

added_tokens.json +5 -2
special_tokens_map.json +35 -5
tokenizer_config.json +10 -10
vocab.txt +818 -827

added_tokens.json CHANGED Viewed

@@ -1,4 +1,7 @@
 {
-  "</s>": 912,
-  "<s>": 911
 }

 {
+  "[CLS]": 905,
+  "[MASK]": 906,
+  "[PAD]": 904,
+  "[SEP]": 903,
+  "[UNK]": 902
 }

special_tokens_map.json CHANGED Viewed

@@ -1,7 +1,37 @@
 {
-  "cls_token": "[CLS]",
-  "mask_token": "[MASK]",
-  "pad_token": "[PAD]",
-  "sep_token": "[SEP]",
-  "unk_token": "[UNK]"
 }

 {
+  "cls_token": {
+    "content": "[CLS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "[MASK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "[PAD]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "[SEP]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "[UNK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
 }

tokenizer_config.json CHANGED Viewed

@@ -1,39 +1,39 @@
 {
   "added_tokens_decoder": {
-    "0": {
-      "content": "[MASK]",
       "lstrip": false,
       "normalized": false,
       "rstrip": false,
       "single_word": false,
       "special": true
     },
-    "1": {
-      "content": "[PAD]",
       "lstrip": false,
       "normalized": false,
       "rstrip": false,
       "single_word": false,
       "special": true
     },
-    "2": {
-      "content": "[CLS]",
       "lstrip": false,
       "normalized": false,
       "rstrip": false,
       "single_word": false,
       "special": true
     },
-    "3": {
-      "content": "[SEP]",
       "lstrip": false,
       "normalized": false,
       "rstrip": false,
       "single_word": false,
       "special": true
     },
-    "4": {
-      "content": "[UNK]",
       "lstrip": false,
       "normalized": false,
       "rstrip": false,

 {
   "added_tokens_decoder": {
+    "902": {
+      "content": "[UNK]",
       "lstrip": false,
       "normalized": false,
       "rstrip": false,
       "single_word": false,
       "special": true
     },
+    "903": {
+      "content": "[SEP]",
       "lstrip": false,
       "normalized": false,
       "rstrip": false,
       "single_word": false,
       "special": true
     },
+    "904": {
+      "content": "[PAD]",
       "lstrip": false,
       "normalized": false,
       "rstrip": false,
       "single_word": false,
       "special": true
     },
+    "905": {
+      "content": "[CLS]",
       "lstrip": false,
       "normalized": false,
       "rstrip": false,
       "single_word": false,
       "special": true
     },
+    "906": {
+      "content": "[MASK]",
       "lstrip": false,
       "normalized": false,
       "rstrip": false,

vocab.txt CHANGED Viewed

@@ -1,911 +1,902 @@
-[MASK]
-[PAD]
-[CLS]
-[SEP]
-[UNK]
-G31
-F02
 E78
 G20
-K31
 K21
-K44
-F41
-I34
-M81
-G43
-I13
 I50
-E87
-E11
-I25
 D64
-G47
-M1A
-E66
-D50
-K29
-K25
-K57
-I12
-I70
-K22
 D63
-C67
-I10
-D25
-E89
-I26
-I82
-I47
-I87
-B95
 E03
 E83
-K59
-K65
-B96
-F17
-D72
-A41
-D62
-I27
-K43
-E43
-E53
 I48
-I11
-I45
-J44
-G56
-M19
-J45
-I73
-K72
 J96
-I44
-D69
-I46
-M47
-J01
-M79
-K92
-H40
-H69
-I24
-I49
-C16
-C78
-K91
-M86
-L97
-F32
 G25
 L03
-J98
-I96
-G89
 M25
-E46
-G30
-H91
-M17
-D68
-M46
-M70
-E55
-C50
-I83
-L76
-K76
-I67
-M51
-M48
-M35
-C79
-G93
-G91
-C34
 F05
-G51
-M21
-H53
-H04
-H35
-M50
-E04
-M80
-F03
-I28
-J43
-I07
-C43
-I65
 J18
 J90
-K40
-I30
-I31
-M06
 I21
-A04
-F44
-I95
-E86
-D51
-F43
-F50
-K02
-L73
-K85
-F39
-M54
-B20
-B19
-F10
-E16
-F19
-F14
-F20
-F29
-F11
-E10
-D86
-J02
-K20
-E21
-E51
-I69
-I63
-G81
-M85
-D49
-K74
-K66
-K62
-L91
-D57
-C90
-J91
-K56
-C21
-B37
-E88
-I35
-I42
-K61
-K60
-G92
-D46
-J84
-M84
-D18
-I61
-G40
-L02
-F88
-I08
-G62
-F31
-E44
-I15
-K80
-I16
-J69
 J95
-H26
-L40
-L57
-M72
-J30
-H61
-C56
-C77
-I81
-I85
-I86
-K70
-G96
 F12
-M53
-C7B
-C7A
-K58
-K26
 J81
-B18
-A08
-M96
-I97
 C22
-C25
 K86
-K52
-K11
-B00
-A40
-K83
-C24
-D53
-C20
-H90
-D47
-L29
-K81
-K82
-D70
-M10
-F90
-D13
-I71
-F33
 K75
-F22
-F15
-F72
-F13
-J36
-L27
-D61
-C92
-E85
-K12
-L99
-L72
-G58
-F45
-H66
-J11
 F60
-L30
-J86
 J15
-A81
-M40
-L08
-L60
-L82
-M62
-H93
-I72
-F42
-K04
-E80
-L53
-L89
-L98
-H81
-D80
-B35
-C73
 E05
-J39
-I22
-I51
-C18
-C91
-C62
-K64
 K63
-E08
-F09
-K28
-E22
-F25
-M94
 M71
-J20
-K95
 M16
-L85
-B34
-J04
-J47
 M31
-M41
-L71
-M00
-M89
-J94
 C61
 C80
-J93
-K50
-B02
-J06
-I09
-D32
 I33
-L28
-F23
-G12
-E02
-I60
-L95
-H33
-K08
-D73
-I20
-D59
-E79
-J60
 C95
-C94
-F84
-L05
-M30
-J32
-D23
-K42
-D35
-J34
-E26
-I80
-K51
-I36
-K55
-E27
-D75
-D55
-J40
-G90
-D12
-E56
-F51
-G35
-M87
-E06
-I43
-G44
-G95
-C02
-G83
-F79
-I77
-E73
-H05
-H54
-H46
-M08
-M11
-H11
 F28
-M97
-C60
-M99
-M34
-F01
-I66
-H43
-H25
-D89
 G60
-I89
-M20
-E13
-L93
-E61
-A09
 G24
-G21
 M75
-M05
-D60
-B44
-B59
-A49
-A18
-M43
-M23
-K94
-C81
-K35
-F07
-G82
-E74
-C45
-E59
-E60
-A48
-G45
-F30
-H34
-C85
-M32
-I05
-D28
-M24
-E23
-C71
-F40
-D38
-D48
-C64
-H10
-D65
-B49
-H16
-I99
-L70
-C48
-D43
-E07
-L10
-C83
-J70
 I68
-J99
-H15
-B36
-D58
-L23
-I23
-J09
-B94
-I74
-G54
-B99
-G72
-G50
 G97
-D17
-E09
-L13
-G61
-A43
-H02
-H57
-H49
-I38
-G37
-F21
-D56
-K90
-J92
-J12
-B97
-J38
-L80
-H31
-A42
-M13
-M77
-M65
-L88
-C44
-G06
-L25
-D34
-K46
-M60
-I62
-D83
-F64
-D41
-E72
-B60
-J61
-J85
-C10
-A63
-C14
-C09
-F55
-F99
-M76
-A60
-C54
 F91
 F63
 J14
-F06
-C88
-H83
-J31
-I37
-K68
-B45
-G04
-J10
-B85
-C46
-B48
-C40
-J80
-H51
 G46
-M15
 K06
-A69
-J13
-I78
-J00
-M27
-G08
-H92
 E63
-B33
-C19
-E34
-L50
-I06
-K71
-K36
 K14
-H18
-E29
-E54
-D30
-E28
-K30
-B86
-G57
-H21
-H44
-H20
-C15
-G80
 D36
-F34
-D27
-C51
-L90
-D52
-H55
-J62
-C93
-C57
-D3A
-A03
-E84
 D45
-K03
-A31
-B27
-L81
-G63
-D67
-F16
-K41
-K05
-G23
-C41
-K73
-J33
-L21
-D76
-E31
-C82
-B25
-H30
-A07
-B17
-L64
-K27
-L24
-M45
-F48
 A77
-C49
-G71
-A15
-L54
-C23
-G99
 H60
-M12
-F81
-M90
-H36
-D15
-C68
-L74
-C65
-A53
-M95
-E65
-C4A
-H42
-H50
-M88
-H72
-L94
-A19
-C76
-L55
-D71
-D40
-G70
-G52
-L43
-E24
-C52
-L20
-B82
-C37
-D05
-J42
-C53
-J82
-H70
-C74
-D22
 B15
-D02
-B30
-C17
-I76
-B91
 C84
-B78
-L01
-E20
-M92
-J67
-J05
-K13
-A46
-G03
-B09
-F95
-C26
 F53
 C06
-F18
-C72
-D33
-A87
-H47
-I32
-G59
-B16
-K37
-H01
-B01
-G98
-D44
-E50
-H80
-G36
-D74
-M66
-C86
-C32
-C66
-L92
-G65
-D26
-F70
 M26
-C33
-K01
-M18
-D00
-B46
-D37
-A02
-C07
-F71
-G10
-H27
-L63
-K38
-C04
-C08
-J16
-H52
-L65
-L84
 D16
-J03
-L52
-G00
-I75
-H00
-L11
-E01
-H59
-M22
-C96
-B07
-D84
-E32
-A54
-A56
-D39
-E70
-M14
 A52
-F54
-F98
-F68
-A86
-A64
-M61
-I88
-D29
-J22
-F80
-D24
 B53
-J66
-F78
-E75
-M83
-B90
-A44
-E41
-M33
-L59
-M67
-D04
-D09
-K45
-D07
-D01
-M93
-D78
-L12
-I40
-J68
-G11
-L68
-M07
-A36
-F82
-C05
 J35
-F89
-J21
-E71
 G14
-C70
-B10
-C58
-C01
-L44
-C55
-G13
-C13
-A28
-D66
-M36
-B88
-B47
-A74
 B58
-I00
-A85
-L56
-F04
-G94
-A39
 D21
 B57
-B69
-L04
-L51
 M02
-J17
-D82
-C47
-K00
-H73
-J63
-A51
-F65
-F69
-F94
-J41
-D31
-B67
-M01
 G73
-D19
-C12
-D11
-A93
-B65
-L86
-B87
-C75
-C03
-E00
-H71
-C31
 G32
-L83
-H74
-A05
-B50
 D03
-G09
-B54
-E25
 D06
-C11
-A21
-M04
-B08
-D14
-A59
-D10
-A75
-A32
 C00
-M63
-I39
-B83
-B26
-E64
-G53
 A90
-E77
-A70
-G55
-C38
-A84
-E52
-F73
-I01
-A22
-H95
-F52
-G64
-J37
 A37
-D81
-E58
-G05
-H65
 A01
-A26
-E67
-B38
 L87
-M42
-H62
-L75
 A35
-L22
-C63
 A79
-K87
 M91
-L66
-B43
-B40
-B42
-L42
-A24
-K77
-G26
-E68
 C69
-F59
-H75
-H94
-H67
-L26
-C30
 H68
-A55
-A57
-J64
-A50
-B76
-H17
-A06
-E76
 A17
-L41
-B39
-D42
 A92
-A83
-D20
 L58
-B56
 A27
 A80
-A68

+G91
+F90
+I25
+I10
 E78
+G43
+F41
+A41
 G20
+E86
+E11
+G30
+F01
 K21
+F02
+K11
+F31
+K92
+E43
+K70
+K76
+A04
+I85
+F17
+I95
+K31
+F10
+K72
+E46
+K56
+K59
+E04
 I50
+J45
 D64
+I35
+M50
+D72
+I13
 D63
+F03
+F32
+J43
+C16
+C77
 E03
+E87
+C83
+G89
+H35
+D50
+G57
+K08
+E55
+M84
+I45
+L76
+B37
+H33
+B36
+D70
+D69
+K52
+D52
+K02
 E83
+L27
+H43
+K12
+B34
+J69
+D61
+L98
+E22
+G62
 I48
+I77
+I08
+I61
+G81
+H02
 J96
+K64
+D62
+F43
+I82
+I26
+D68
+I73
+M06
+G40
+I27
+I47
+I63
+H91
 G25
+E66
+G47
+H54
+M19
+B19
+C25
+K83
+K85
+G31
+I87
+F33
+E27
+E23
 L03
+K22
+L72
+K58
+G90
+M81
+M54
+G92
+B96
 M25
+H81
+I12
+D47
+L02
+M10
+C71
+K65
+K57
 F05
+G93
+K66
+G82
+G44
+F42
+K91
 J18
+J91
+E10
+L97
+M86
+I24
+L85
+M79
+I49
+I11
+B95
 J90
+J44
+B60
+G51
+I97
+I16
+I67
 I21
+H49
+I60
 J95
+C50
+J39
+I44
+H40
+F11
+J06
+H55
+I65
+D25
+M51
+L30
+G56
+M48
+D75
+M33
+C66
+M65
+G06
+K68
+L25
+M45
+M46
+M62
+L63
+K50
+K40
+L21
+K44
+L29
+C02
 F12
+E53
+J11
+A46
+K13
+M17
 J81
+A09
+M00
 C22
+J30
+M47
+H50
+D80
+E64
+K29
+K80
 K86
+F25
+I31
+K25
+B18
+I09
 K75
+I62
+M80
+I69
+C67
+K43
+J98
+E65
+I34
+C90
+E56
+F07
+H00
+F80
+K20
+K55
+E89
+F20
+I66
+F30
+J38
+M13
+B30
+I70
+M43
 F60
+F50
+E28
+F13
+D53
+I42
+C15
 J15
+M96
+C79
+C78
+C65
+M35
 E05
+J01
+J34
+J84
+L89
+F40
+K82
+G61
+H52
+I80
+M85
+I71
+I72
+D73
+B59
+J80
+D59
+L12
+C64
+K74
+B00
+E44
+E88
+H53
+H05
+I05
+D57
+I81
+H26
+J94
+E79
+I89
+G83
+K51
 K63
+B25
+C34
+B01
+B02
+K27
+K94
+I74
+G13
+J10
+J47
+E85
+I36
+M1A
+H66
+J70
+G35
+I28
+K26
+I83
+G50
+D46
+I15
+F99
+M76
+A60
+E09
+L73
+L01
+L24
+I07
+D84
+I40
+F39
+B07
+F64
+E16
+M32
+C92
+F14
+H61
+D32
+K62
+H11
+F19
+B20
+F15
+C17
 M71
 M16
+K71
+K28
+M87
+A03
+D35
+E24
+C54
+K35
+E80
+J40
+K30
+F09
+D12
+C82
+H10
+H57
+I96
+D86
+E61
+J32
+L70
+E21
+F44
 M31
+M72
+E13
+L50
+I20
+K90
+G45
+D66
+H90
+C40
 C61
+H04
+K38
+H70
+L40
+I86
+C49
+J86
+C76
+J04
+C56
+G55
+K04
+C20
+K60
+I46
+K42
+D37
+L74
+L08
+D76
+J12
 C80
+C85
+A08
+B47
+F29
+C7A
+C7B
+K61
+D49
+D3A
+K81
+D44
+E08
+D58
 I33
+I76
+C88
+I51
+J09
+A40
+J13
 C95
+D83
+L71
+F22
 F28
+M22
+K03
+H74
+E41
+C18
+J93
+C44
+H95
 G60
+L80
+D89
+F06
+D30
+E74
+B85
+M70
+F81
 G24
+J05
+G08
+D18
 M75
+D51
+A74
+G04
+I30
+M30
+H42
 I68
 G97
+G96
+B17
+I99
+M97
+C51
+C53
+M40
+B35
+M83
+D13
+M53
+H65
+H69
+J36
+B97
+L53
+M24
+L10
 F91
 F63
+F88
+M41
 J14
+E07
+F16
+F51
+E51
+B49
+G05
+G95
+G70
+D34
+L20
+L68
+C4A
+A69
+E84
+E50
+I23
+L43
+A87
 G46
+M21
 K06
+E73
+H25
+D56
+A48
 E63
+M23
+L93
+C73
+F98
+C14
+M94
+E06
+C91
+M60
+E71
+F68
 K14
+C21
+C19
+K95
+G63
+G72
+A49
+L82
+C94
+M27
 D36
+D65
+F79
 D45
+E34
+L57
+G80
+J20
+E76
+F84
+F45
+G11
+M07
+I88
+J02
 A77
+M15
+F72
+G03
+L52
+G58
+M77
+M89
+E20
+D11
+J68
+M11
 H60
+H75
+C48
 B15
+A18
+H44
+C55
+A81
+F89
 C84
+C86
+L59
+I43
+J31
+C45
+B94
+J92
+L05
+C38
+C47
+C81
+E29
+M90
+L95
+H83
+B48
+F34
+H18
+D33
+H93
+C24
+D27
+H47
+L23
+E26
+G99
+J85
+M20
+H15
+B27
+A93
+M05
+E72
+G21
+L92
+F54
+K46
 F53
+A63
+A31
+C23
+B78
+M34
+C01
+L90
 C06
+I37
+E60
+C43
+D15
+C57
+L11
+H73
+C70
+J42
+F55
+D04
+F04
+C93
 M26
+J22
+B99
+B91
+B69
+I78
 D16
+M67
 A52
+J03
+K36
+G65
+D05
+H34
+J61
+D43
+J67
+A15
+E58
+D41
+I38
+G52
+J00
+H72
+K05
+G54
+C62
+I22
+L91
+F70
+H20
+C26
+C46
+B33
+B44
+H92
+H01
+F23
+B65
+J17
+J16
+A53
+G71
+D17
 B53
+A28
+B82
+L28
+D24
+H59
+B45
+I06
+F48
+J82
+C74
+B86
 J35
+L94
+G94
+G12
 G14
+E32
+C96
+H46
+C37
+J33
+H51
+M08
+M88
 B58
+J21
+D55
+D48
 D21
+C75
+B50
+B16
+C31
+A54
+A26
+D26
+C52
+D22
+I75
+D82
+A56
+G09
+A19
+E02
+L83
 B57
+K37
+L65
+D39
+D28
+G37
 M02
+L13
+A24
+D14
+H16
+M18
+L60
+A43
+C41
+E70
+D38
+D81
+E75
+I32
+H30
+K41
+A86
+A07
 G73
+M95
+M66
+D29
+M01
+M12
 G32
+B10
+D23
+F65
+G00
+G10
+F71
+M99
+D09
+G36
+B38
+C58
+I01
+C60
+K45
+C32
+D42
+K01
+K00
+A42
+A84
+A85
+C03
+C05
 D03
+G98
+A06
+L51
+L75
+M14
+C07
 D06
+A02
+M92
 C00
+A39
+D31
+K73
+G26
 A90
+L88
+F95
+C68
+H31
+J99
+C30
+F78
+B87
+A05
+L84
+D02
+M04
+F59
+C10
+H21
 A37
+F21
+E68
+B54
+L04
 A01
+A51
+D00
+L81
+D78
+D60
+C09
+B46
+D74
+F18
+D71
+B90
+A64
+G53
+B67
+G23
 L87
+B88
+A22
+L44
+H94
+D01
+C13
+B26
 A35
+E54
+J62
+B08
 A79
+H36
+J41
+E01
+H62
+E00
+M93
 M91
 C69
+C33
+K77
+L66
+F82
+C11
+L64
+L56
+E77
+E31
+H27
 H68
+J37
+F94
+E52
+I00
+M63
+M36
+B09
+B56
 A17
+L54
+J63
 A92
+M61
+C08
+H17
+A59
 L58
+L55
+D07
+C04
+K87
+L99
+L26
+C72
+I39
+D19
+D67
+E25
+E67
+A21
+L86
+A55
+A57
+H71
+A32
+D10
+D20
+H67
+J60
+L41
+B40
+F69
+E59
+L22
+F73
+L42
+H80
+J66
+G59
+A50
+M42
+G64
+A36
+D40
+A68
+J64
+B83
+A44
+C12
 A27
 A80
+B42
+A70
+B39
+B43
+B76