Upload README.md with huggingface_hub

README.md

@@ -3,9 +3,10 @@
 Example sentence: `This is a test sentence. On va voir comment elle est gérée .... 123 + 56 = 2567. Let's go! Imagine I have code    4 spaces.
  and a      backslash!! Eléonore est un prénom français. __name__ isInstance`
 
-Encoded sentence: `['▁Th', 'is', '▁is', '▁a', '▁test', '▁sent', 'ence.', '▁On', '▁va', '▁voir', '▁comment', '▁elle', '▁est', '▁g', 'érée', '▁....', '▁', '1', '2', '3', '▁+', '▁', '5', '6', '▁=', '▁', '2', '5', '6', '7', '.', "▁Let's", '▁go', '!', '▁Imagine', '▁I', '▁h', 'ave', '▁code', '▁', '▁', '▁', '▁', '4', '▁sp', 'aces.', '▁and', '▁a', '▁', '▁', '▁', '▁', '▁', '▁back', 's', 'l', 'ash', '!!', '▁E', 'lé', 'on', 'ore', '▁est', '▁un', '▁prénom', '▁français.', '▁', '__', 'n', 'ame', '__', '▁is', 'In', 'st', 'ance']`
+Encoded sentence: `['▁This', '▁is', '▁a', '▁test', '▁sent', 'ence.', '▁On', '▁va', '▁voir', '▁comment', '▁elle', '▁est', '▁g', 'érée', '▁....', '▁', '1', '2', '3', '▁+', '▁', '5', '6', '▁=', '▁', '2', '5', '6', '7', '.', "▁Let's", '▁go', '!', '▁Im', 'ag', 'ine', '▁I', '▁have', '▁code', '▁', '▁', '▁', '▁', '4', '▁spaces', '.\n', '▁and', '▁a', '▁', '▁', '▁', '▁', '▁', '▁back', 'sl', 'ash', '!!', '▁El', 'éon', 'ore', '▁est', '▁un', '▁prénom', '▁français.', '▁__name__', '▁is', 'Instance']`
 
-Decoded sentence: `<s> This is a test sentence. On va voir comment elle est gérée .... 123 + 56 = 2567. Let's go! Imagine I have code    4 spaces. and a      backslash!! Eléonore est un prénom français. __name__ isInstance`
+Decoded sentence: `<s> This is a test sentence. On va voir comment elle est gérée .... 123 + 56 = 2567. Let's go! Imagine I have code    4 spaces.
+ and a      backslash!! Eléonore est un prénom français. __name__ isInstance`
 
 ## Usage
 ```python
@@ -25,6 +26,12 @@ The dataset consists of french, english and code samples
 
 More info on the dataset can be found [here](https://huggingface.co/datasets/manu/tok-corpus-shuffled)
 
+For speed purposes, the tokenizer was trained on a sample of the dataset. Only the first samples were selected.
+
+Sample size: 5000000
+
+Size of Sampled: 19.0 GB
+
 ## Tokenizer Configs
 Build from scratch: True