Upload all models and assets for bpy (20251001)

README.md

@@ -23,14 +23,14 @@ dataset_info:
 metrics:
   - name: best_compression_ratio
     type: compression
-    value: 5.072
+    value: 4.934
   - name: best_isotropy
     type: isotropy
-    value: 0.7157
+    value: 0.7051
   - name: vocabulary_size
     type: vocab
-    value: 23871
-generated: 2025-12-28
+    value: 0
+generated: 2026-01-03
 ---
 
 # BPY - Wikilangs Models
@@ -44,12 +44,13 @@ We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and
 ### Models & Assets
 
 - Tokenizers (8k, 16k, 32k, 64k)
-- N-gram models (2, 3, 4-gram)
-- Markov chains (context of 1, 2, 3 and 4)
+- N-gram models (2, 3, 4, 5-gram)
+- Markov chains (context of 1, 2, 3, 4 and 5)
 - Subword N-gram and Markov chains
-- Embeddings in various sizes and dimensions
+- Embeddings in various sizes and dimensions (aligned and unaligned)
 - Language Vocabulary
 - Language Statistics
+
 ![Performance Dashboard](visualizations/performance_dashboard.png)
 
 ### Analysis and Evaluation
@@ -59,7 +60,8 @@ We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and
 - [3. Markov Chain Evaluation](#3-markov-chain-evaluation)
 - [4. Vocabulary Analysis](#4-vocabulary-analysis)
 - [5. Word Embeddings Evaluation](#5-word-embeddings-evaluation)
-- [6. Summary & Recommendations](#6-summary--recommendations)
+- [6. Morphological Analysis (Experimental)](#6-morphological-analysis)
+- [7. Summary & Recommendations](#7-summary--recommendations)
 - [Metrics Glossary](#appendix-metrics-glossary--interpretation-guide)
 - [Visualizations Index](#visualizations-index)
 
@@ -68,52 +70,57 @@ We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and
 
 ![Tokenizer Compression](visualizations/tokenizer_compression.png)
 
+![Tokenizer Fertility](visualizations/tokenizer_fertility.png)
+
+![Tokenizer OOV](visualizations/tokenizer_oov.png)
+
+![Total Tokens](visualizations/tokenizer_total_tokens.png)
+
 ### Results
 
 | Vocab Size | Compression | Avg Token Len | UNK Rate | Total Tokens |
 |------------|-------------|---------------|----------|--------------|
-| **8k** | 4.628x | 4.39 | 0.2028% | 107,503 |
-| **16k** | 4.794x | 4.55 | 0.2101% | 103,773 |
-| **32k** | 4.937x | 4.69 | 0.2164% | 100,762 |
-| **64k** | 5.072x 🏆 | 4.81 | 0.2222% | 98,093 |
+| **8k** | 4.500x | 4.51 | 0.2383% | 99,875 |
+| **16k** | 4.662x | 4.67 | 0.2469% | 96,414 |
+| **32k** | 4.817x | 4.83 | 0.2551% | 93,303 |
+| **64k** | 4.934x 🏆 | 4.95 | 0.2613% | 91,087 |
 
 ### Tokenization Examples
 
 Below are sample sentences tokenized with each vocabulary size:
 
-**Sample 1:** `অক্টোবর ৮, গ্রেগরিয়ান পাঞ্জী হান ইলয়া আজি বসরর ২৮১তম (অধিবর্ষত ২৮২তম) দিন হান।...`
+**Sample 1:** `কানাডার জাতীয় চিনত্হান (কোট অব আর্মস)হান। দেশএহানর পুরা নাঙহান কানাডা। জাতীয় চ...`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁অক্টোবর ▁৮ , ▁গ্রেগরিয়ান ▁পাঞ্জী ▁হান ▁ইলয়া ▁আজি ▁বসরর ▁২৮১ ... (+22 more)` | 32 |
-| 16k | `▁অক্টোবর ▁৮ , ▁গ্রেগরিয়ান ▁পাঞ্জী ▁হান ▁ইলয়া ▁আজি ▁বসরর ▁২৮১ ... (+22 more)` | 32 |
-| 32k | `▁অক্টোবর ▁৮ , ▁গ্রেগরিয়ান ▁পাঞ্জী ▁হান ▁ইলয়া ▁আজি ▁বসরর ▁২৮১ ... (+22 more)` | 32 |
-| 64k | `▁অক্টোবর ▁৮ , ▁গ্রেগরিয়ান ▁পাঞ্জী ▁হান ▁ইলয়া ▁আজি ▁বসরর ▁২৮১ ... (+22 more)` | 32 |
+| 8k | `▁কানা ডার ▁জাতীয় ▁চিনত্হান ▁( কোট ▁অব ▁আর্মস ) হান ... (+21 more)` | 31 |
+| 16k | `▁কানাডার ▁জাতীয় ▁চিনত্হান ▁( কোট ▁অব ▁আর্মস ) হান । ... (+17 more)` | 27 |
+| 32k | `▁কানাডার ▁জাতীয় ▁চিনত্হান ▁( কোট ▁অব ▁আর্মস ) হান । ... (+17 more)` | 27 |
+| 64k | `▁কানাডার ▁জাতীয় ▁চিনত্হান ▁( কোট ▁অব ▁আর্মস ) হান । ... (+17 more)` | 27 |
 
-**Sample 2:** `হোসেনপুর ইউনিয়ন, পলাশবাড়ী
- হোসেনপুর ইউনিয়ন, রাজৈর`
+**Sample 2:** `বদরপুর ইউনিয়ন, পটুয়াখালি সদর বদরপুর ইউনিয়ন, লালমোহন`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁হোসেন পুর ▁ইউনিয়ন , ▁পলাশবাড়ী ▁হোসেন পুর ▁ইউনিয়ন , ���রাজৈর` | 10 |
-| 16k | `▁হোসেনপুর ▁ইউনিয়ন , ▁পলাশবাড়ী ▁হোসেনপুর ▁ইউনিয়ন , ▁রাজৈর` | 8 |
-| 32k | `▁হোসেনপুর ▁ইউনিয়ন , ▁পলাশবাড়ী ▁হোসেনপুর ▁ইউনিয়ন , ▁রাজৈর` | 8 |
-| 64k | `▁হোসেনপুর ▁ইউনিয়ন , ▁পলাশবাড়ী ▁হোসেনপুর ▁ইউনিয়ন , ▁রাজৈর` | 8 |
+| 8k | `▁বদর পুর ▁ইউনিয়ন , ▁পট ুয়া খালি ▁সদর ▁বদর পুর ... (+3 more)` | 13 |
+| 16k | `▁বদরপুর ▁ইউনিয়ন , ▁পটুয়াখালি ▁সদর ▁বদরপুর ▁ইউনিয়ন , ▁লালমোহন` | 9 |
+| 32k | `▁বদরপুর ▁ইউনিয়ন , ▁পটুয়াখালি ▁সদর ▁বদরপুর ▁ইউনিয়ন , ▁লালমোহন` | 9 |
+| 64k | `▁বদরপুর ▁ইউনিয়ন , ▁পটুয়াখালি ▁সদর ▁বদরপুর ▁ইউনিয়ন , ▁লালমোহন` | 9 |
 
-**Sample 3:** `আগষ্ট ২৫, গ্রেগরিয়ান পাঞ্জী হান ইলয়া আজি বসরর ২৩৭তম (অধিবর্ষত ২৩৮তম) দিন হান। ...`
+**Sample 3:** `চৈত ২৫, বাংলা পাঞ্জী হান ইলয়া আজি বসরর লমিলগা মাহার ২৫তম দিন হান। খা এশিয়াত এব...`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁আগষ্ট ▁২৫ , ▁গ্রেগরিয়ান ▁পাঞ্জী ▁হান ▁ইলয়া ▁আজি ▁বসরর ▁২৩৭ ... (+22 more)` | 32 |
-| 16k | `▁আগষ্ট ▁২৫ , ▁গ্রেগরিয়ান ▁পাঞ্জী ▁হান ▁ইলয়া ▁আজি ▁বসরর ▁২৩৭ ... (+22 more)` | 32 |
-| 32k | `▁আগষ্ট ▁২৫ , ▁গ্রেগরিয়ান ▁পাঞ্জী ▁হান ▁ইলয়া ▁আজি ▁বসরর ▁২৩৭ ... (+22 more)` | 32 |
-| 64k | `▁আগষ্ট ▁২৫ , ▁গ্রেগরিয়ান ▁পাঞ্জী ▁হান ▁ইলয়া ▁আজি ▁বসরর ▁২৩৭ ... (+22 more)` | 32 |
+| 8k | `▁চৈত ▁২৫ , ▁বাংলা ▁পাঞ্জী ▁হান ▁ইলয়া ▁আজি ▁বসরর ▁লমিলগা ... (+17 more)` | 27 |
+| 16k | `▁চৈত ▁২৫ , ▁বাংলা ▁পাঞ্জী ▁হান ▁ইলয়া ▁আজি ▁বসরর ▁লমিলগা ... (+16 more)` | 26 |
+| 32k | `▁চৈত ▁২৫ , ▁বাংলা ▁পাঞ্জী ▁হান ▁ইলয়া ▁আজি ▁বসরর ▁লমিলগা ... (+16 more)` | 26 |
+| 64k | `▁চৈত ▁২৫ , ▁বাংলা ▁পাঞ্জী ▁হান ▁ইলয়া ▁আজি ▁বসরর ▁লমিলগা ... (+16 more)` | 26 |
 
 
 ### Key Findings
 
-- **Best Compression:** 64k achieves 5.072x compression
-- **Lowest UNK Rate:** 8k with 0.2028% unknown tokens
+- **Best Compression:** 64k achieves 4.934x compression
+- **Lowest UNK Rate:** 8k with 0.2383% unknown tokens
 - **Trade-off:** Larger vocabularies improve compression but increase model size
 - **Recommendation:** 32k vocabulary provides optimal balance for production use
 
@@ -122,57 +129,89 @@ Below are sample sentences tokenized with each vocabulary size:
 
 ![N-gram Perplexity](visualizations/ngram_perplexity.png)
 
+![N-gram Unique](visualizations/ngram_unique.png)
+
 ![N-gram Coverage](visualizations/ngram_coverage.png)
 
 ### Results
 
-| N-gram | Perplexity | Entropy | Unique N-grams | Top-100 Coverage | Top-1000 Coverage |
-|--------|------------|---------|----------------|------------------|-------------------|
-| **2-gram** | 586 🏆 | 9.19 | 23,018 | 53.4% | 92.4% |
-| **2-gram** | 401 🏆 | 8.65 | 5,122 | 58.3% | 97.5% |
-| **3-gram** | 1,915 | 10.90 | 78,850 | 32.4% | 80.1% |
-| **3-gram** | 1,738 | 10.76 | 36,042 | 31.5% | 79.9% |
-| **4-gram** | 3,658 | 11.84 | 192,863 | 25.6% | 72.1% |
-| **4-gram** | 3,941 | 11.94 | 148,690 | 23.3% | 68.9% |
+| N-gram | Variant | Perplexity | Entropy | Unique N-grams | Top-100 Coverage | Top-1000 Coverage |
+|--------|---------|------------|---------|----------------|------------------|-------------------|
+| **2-gram** | Word | 918 | 9.84 | 15,095 | 44.1% | 86.3% |
+| **2-gram** | Subword | 598 🏆 | 9.23 | 14,925 | 51.1% | 92.8% |
+| **3-gram** | Word | 1,566 | 10.61 | 31,653 | 38.0% | 79.5% |
+| **3-gram** | Subword | 1,914 | 10.90 | 68,764 | 32.6% | 79.7% |
+| **4-gram** | Word | 2,620 | 11.36 | 61,026 | 34.9% | 72.0% |
+| **4-gram** | Subword | 3,540 | 11.79 | 166,785 | 26.1% | 72.8% |
 
 ### Top 5 N-grams by Size
 
-**2-grams:**
+**2-grams (Word):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `সাক্ষরতার হারহান` | 26,823 |
+| 2 | `অতার মা` | 20,499 |
+| 3 | `জনসংখ্যার উপাত্ত` | 19,707 |
+| 4 | `জনসংখ্যা ইলাতাই` | 19,552 |
+| 5 | `লোক গননা` | 19,533 |
+
+**3-grams (Word):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `মানুলেহা লোক গননা` | 19,527 |
+| 2 | `মারির মানুলেহা লোক` | 19,526 |
+| 3 | `অতার মা মুনি` | 16,569 |
+| 4 | `গ অতার মা` | 15,694 |
+| 5 | `লোক গননা অনুসারে` | 14,182 |
+
+**4-grams (Word):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `মারির মানুলেহা লোক গননা` | 19,525 |
+| 2 | `গ অতার মা মুনি` | 15,620 |
+| 3 | `মানুলেহা লোক গননা অনুসারে` | 14,181 |
+| 4 | `অক্ষাংশ বারো দ্রাঘিমাংশ ইলতাই` | 9,366 |
+| 5 | `মাপাহানর অক্ষাংশ বারো দ্রাঘিমাংশ` | 9,315 |
+
+**2-grams (Subword):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `া র` | 368,952 |
-| 2 | `া ন` | 252,549 |
-| 3 | `ম া` | 171,696 |
-| 4 | `হ া` | 165,000 |
-| 5 | `য ়` | 137,023 |
+| 1 | `র _` | 407,307 |
+| 2 | `। _` | 163,117 |
+| 3 | `হা ন` | 154,741 |
+| 4 | `ন _` | 147,898 |
+| 5 | `_ মা` | 138,499 |
 
-**3-grams:**
+**3-grams (Subword):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `ি য ়` | 76,882 |
-| 2 | `র ম া` | 75,352 |
-| 3 | `ব া র` | 75,053 |
-| 4 | `া র ো` | 70,050 |
-| 5 | `ম া ন` | 58,522 |
+| 1 | `র _ মা` | 95,264 |
+| 2 | `হা ন _` | 94,576 |
+| 3 | `_ বা রো` | 68,931 |
+| 4 | `বা রো _` | 68,907 |
+| 5 | `_ ই উ` | 64,646 |
 
-**4-grams:**
+**4-grams (Subword):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `ব া র ো` | 69,326 |
-| 2 | `ইউন ি য ়` | 55,842 |
-| 3 | `ম া ন ু` | 51,209 |
-| 4 | `া ত ্ ত` | 49,012 |
-| 5 | `া র ম া` | 48,203 |
+| 1 | `_ বা রো _` | 68,902 |
+| 2 | `_ ই উ নি` | 64,360 |
+| 3 | `ই উ নি য়` | 55,649 |
+| 4 | `উ নি য় ন` | 55,616 |
+| 5 | `জ ন সং খ্যা` | 44,876 |
 
 
 ### Key Findings
 
-- **Best Perplexity:** 2-gram with 401
+- **Best Perplexity:** 2-gram (subword) with 598
 - **Entropy Trend:** Decreases with larger n-grams (more predictable)
-- **Coverage:** Top-1000 patterns cover ~69% of corpus
+- **Coverage:** Top-1000 patterns cover ~73% of corpus
 - **Recommendation:** 4-gram or 5-gram for best predictive performance
 
 ---
@@ -180,55 +219,86 @@ Below are sample sentences tokenized with each vocabulary size:
 
 ![Markov Entropy](visualizations/markov_entropy.png)
 
+![Markov Contexts](visualizations/markov_contexts.png)
+
 ![Markov Branching](visualizations/markov_branching.png)
 
 ### Results
 
-| Context | Avg Entropy | Perplexity | Branching Factor | Unique Contexts | Predictability |
-|---------|-------------|------------|------------------|-----------------|----------------|
-| **1** | 0.4826 | 1.397 | 3.74 | 51,595 | 51.7% |
-| **1** | 1.2901 | 2.445 | 11.60 | 918 | 0.0% |
-| **2** | 0.2087 | 1.156 | 2.09 | 192,535 | 79.1% |
-| **2** | 1.0212 | 2.030 | 6.12 | 10,624 | 0.0% |
-| **3** | 0.1700 | 1.125 | 1.65 | 401,469 | 83.0% |
-| **3** | 0.7832 | 1.721 | 3.64 | 64,912 | 21.7% |
-| **4** | 0.1274 🏆 | 1.092 | 1.40 | 660,290 | 87.3% |
-| **4** | 0.5823 🏆 | 1.497 | 2.36 | 236,324 | 41.8% |
+| Context | Variant | Avg Entropy | Perplexity | Branching Factor | Unique Contexts | Predictability |
+|---------|---------|-------------|------------|------------------|-----------------|----------------|
+| **1** | Word | 0.7844 | 1.722 | 4.39 | 60,265 | 21.6% |
+| **1** | Subword | 1.0518 | 2.073 | 11.77 | 3,035 | 0.0% |
+| **2** | Word | 0.1820 | 1.134 | 1.54 | 262,556 | 81.8% |
+| **2** | Subword | 0.6370 | 1.555 | 3.68 | 35,678 | 36.3% |
+| **3** | Word | 0.0756 | 1.054 | 1.27 | 400,175 | 92.4% |
+| **3** | Subword | 0.4890 | 1.403 | 2.43 | 131,152 | 51.1% |
+| **4** | Word | 0.0493 🏆 | 1.035 | 1.19 | 505,259 | 95.1% |
+| **4** | Subword | 0.3612 | 1.284 | 1.77 | 318,528 | 63.9% |
+
+### Generated Text Samples (Word-based)
+
+Below are text samples generated from each word-based Markov chain model:
+
+**Context Size 1:**
+
+1. `বারো মৌজা ইউনিয়ন এগত গ ঘরর ইউনিট আসে চৌদ্দাহান মুঙেদে ইউনিয়ন কুড়িগ্রাম জিলার উপজিলাগি বাংলাদেশর ম...`
+2. `ইউনিয়ন এগত ১৩ হান আসে জনসংখ্যার উপাত্ত ভারতর পাঞ্জাব রাজ্যর পৌরসভা এহার মাপাহানর অক্ষাংশ বারো জেলা`
+3. `উপাত্ত শহর এহার মাপাহানর অক্ষাংশ বারো গাঙ ২২ বারো দ্রাঘিমাংশ ইলতাই সমূদ্রুহার মান্নাহাত্ত এহানর সাক্...`
+
+**Context Size 2:**
+
+1. `সাক্ষরতার হারহান ৫৪ মুনির মা সাক্ষরতার হারহান ৬৮ মুনির মা সাক্ষরতার হারহান ৮২ বারো জেলার মা হারহান`
+2. `অতার মা হুকানাহান ৬৬ ৬৯ বর্গমাইল অতার মা মুনি ৫০ বারো জেলা বেয়াপা ৩৮ এহানাত সাক্ষরতার হারহান`
+3. `জনসংখ্যার উপাত্ত ব্রাজিলর মারির মানুলেহা লোক গননা অনুসারে বোৱা এসপেরান্সা পর্তুগীজ nova guataporanga...`
+
+**Context Size 3:**
+
+1. `মানুলেহা লোক গননা অনুসারে সেন্ট্রো নোভো ডো মারানহো পৌরসভাহানর জনসংখ্যা ইলাতাই ৩৬০ ৭০৬ গ অতার মা মুনি...`
+2. `মারির মানুলেহা লোক গননা অনুসারে কুডুমুডি শহরহানর জনসংখ্যা ইলাতাই ২০ ০৯৫ গ অতার মা মুনি ৪৯ বারো জিলা`
+3. `অতার মা মুনি ৫০ বারো জিলা বেয়াপা এরে পৌরসভার মানু শহরেদে বারো গাঙেদে থাইতারা হারি বর্গ কিলোমিটারে ৪...`
+
+**Context Size 4:**
+
+1. `মারির মানুলেহা লোক গননা অনুসারে শিকোহাবাদ শহরহানর জনসংখ্যা ইলাতাই ৮৮ ০৭৫ গ অতার মা মুনি ৫০ বারো জিলা...`
+2. `গ অতার মা মুনি ৫২ বারো জিলা বেয়াপা ৪৮ ইউনিয়ন এগত ১৮ বসরর গজে মানু আসি লহঙ করিসিতা বেয়াপা`
+3. `মানুলেহা লোক গননা অনুসারে উটুৱাদা র জনসংখ্যা ইলাতাই ৩৫ ২১৪ ঘরর ইউনিট আসে হারি বর্গ মাইলে ৩১ ৭গ মানু`
 
-### Generated Text Samples
 
-Below are text samples generated from each Markov chain model:
+### Generated Text Samples (Subword-based)
+
+Below are text samples generated from each subword-based Markov chain model:
 
 **Context Size 1:**
 
-1. `া ৪৮ . ২গ ঘর পর ্ ত ি হ া জ ে দ ে ব`
-2. `ি বর থ া ন । এর ে শর জ ি ল া র ১৬ ,`
-3. `র ে র ম ু ন ৬৭ % । আয ় া র ো ৭২০২গ গ`
+1. `_হান_বারো_খা_ইউপাসিতার_`
+2. `র),২,_ইউনিয়নর_ক_মা`
+3. `নর_বারো_জন_(১,৬৮%,`
 
 **Context Size 2:**
 
-1. `া র া ষ ্ ট ্ র া ঘ ি ম া ন ) ১ ,`
-2. `া ন ু ল া র ম া প া হ া ন । খ া লয`
-3. `ম া হ া রহ া ন আস ে । চ ৌ দ ্ র া ষ`
+1. `র_উপাত্ত_পৌরসভারতর_হার_`
+2. `।_পৌরসভাহানর_গননা)_মানু`
+3. `হান।_সাধারণ_বপ/য়্যাম।_এ`
 
 **Context Size 3:**
 
-1. `ি য ় ন , ১৮৭ হ া ন ব া র ো দ ্ র া জ`
-2. `র ম া ম ু ন ি ৫২ % , ব া র ো প া ন ্`
-3. `ব া র ো ' language death ' উল ্ ল ে শব া র ্ ক ি`
+1. `র_মানু_থাইতারা।_হারি_বর্গমাই`
+2. `হান_আম্ফোয়ে_ৱারিশপুর_*_টঙ্গিবা`
+3. `_বারো_অধিবর্ষ_আহান।_জনসংখ্যা`
 
 **Context Size 4:**
 
-1. `ব া র ো ম ৌ জ া ইউন ি য ় নর স া ক ্ ষরত া`
-2. `ইউন ি য ় ন এগত গ া ঙ : ২১ হ া ন ব া র ো ম`
-3. `ম া ন ু ১৭ , ৬৭৩গ শহর ে দ ে ব া র ো হ ু ক া`
+1. `_বারো_জেলা/বেয়াপা_৪৯%_বারো_দ্রা`
+2. `_ইউনিট_আসে।_চৌদ্দাহান_মুঙেদে:`
+3. `ইউনিয়ন।_ঔয়াঙেদে:_---_ইউ`
 
 
 ### Key Findings
 
-- **Best Predictability:** Context-4 with 87.3% predictability
+- **Best Predictability:** Context-4 (word) with 95.1% predictability
 - **Branching Factor:** Decreases with context size (more deterministic)
-- **Memory Trade-off:** Larger contexts require more storage (236,324 contexts)
+- **Memory Trade-off:** Larger contexts require more storage (318,528 contexts)
 - **Recommendation:** Context-3 or Context-4 for text generation
 
 ---
@@ -244,64 +314,64 @@ Below are text samples generated from each Markov chain model:
 
 | Metric | Value |
 |--------|-------|
-| Vocabulary Size | 23,871 |
-| Total Tokens | 5,192,993 |
-| Mean Frequency | 217.54 |
+| Vocabulary Size | 33,017 |
+| Total Tokens | 2,031,395 |
+| Mean Frequency | 61.53 |
 | Median Frequency | 3 |
-| Frequency Std Dev | 6063.65 |
+| Frequency Std Dev | 896.57 |
 
 ### Most Common Words
 
 | Rank | Word | Frequency |
 |------|------|-----------|
-| 1 | র | 542,779 |
-| 2 | ন | 370,575 |
-| 3 | ম | 283,266 |
-| 4 | ত | 212,745 |
-| 5 | য | 205,066 |
-| 6 | ক | 196,409 |
-| 7 | হ | 185,131 |
-| 8 | ল | 177,046 |
-| 9 | প | 164,231 |
-| 10 | ব | 161,639 |
+| 1 | বারো | 68,904 |
+| 2 | ইউনিয়ন | 42,536 |
+| 3 | উপাত্ত | 36,521 |
+| 4 | হারহান | 31,910 |
+| 5 | মা | 31,024 |
+| 6 | মানু | 30,464 |
+| 7 | সাক্ষরতার | 26,839 |
+| 8 | গ | 26,426 |
+| 9 | অতার | 25,586 |
+| 10 | জনসংখ্যার | 24,826 |
 
 ### Least Common Words (from vocabulary)
 
 | Rank | Word | Frequency |
 |------|------|-----------|
-| 1 | নঅও | 2 |
-| 2 | অহতই | 2 |
-| 3 | আপত | 2 |
-| 4 | থকভ | 2 |
-| 5 | হগই | 2 |
-| 6 | হসর | 2 |
-| 7 | পরমপ | 2 |
-| 8 | হবন | 2 |
-| 9 | আকগও | 2 |
-| 10 | সযন | 2 |
+| 1 | সুখর | 2 |
+| 2 | পরিত্যাগ | 2 |
+| 3 | মালতী | 2 |
+| 4 | আকগও | 2 |
+| 5 | ক্ষনিক | 2 |
+| 6 | সযন্তে | 2 |
+| 7 | কণ্টক | 2 |
+| 8 | পরিহার | 2 |
+| 9 | বিরোধিতা | 2 |
+| 10 | অপরাপর | 2 |
 
 ### Zipf's Law Analysis
 
 | Metric | Value |
 |--------|-------|
-| Zipf Coefficient | 1.3958 |
-| R² (Goodness of Fit) | 0.983849 |
+| Zipf Coefficient | 1.3135 |
+| R² (Goodness of Fit) | 0.980294 |
 | Adherence Quality | **excellent** |
 
 ### Coverage Analysis
 
 | Top N Words | Coverage |
 |-------------|----------|
-| Top 100 | 89.1% |
-| Top 1,000 | 97.2% |
-| Top 5,000 | 98.8% |
-| Top 10,000 | 99.3% |
+| Top 100 | 62.6% |
+| Top 1,000 | 89.9% |
+| Top 5,000 | 95.0% |
+| Top 10,000 | 96.8% |
 
 ### Key Findings
 
-- **Zipf Compliance:** R²=0.9838 indicates excellent adherence to Zipf's law
-- **High Frequency Dominance:** Top 100 words cover 89.1% of corpus
-- **Long Tail:** 13,871 words needed for remaining 0.7% coverage
+- **Zipf Compliance:** R²=0.9803 indicates excellent adherence to Zipf's law
+- **High Frequency Dominance:** Top 100 words cover 62.6% of corpus
+- **Long Tail:** 23,017 words needed for remaining 3.2% coverage
 
 ---
 ## 5. Word Embeddings Evaluation
@@ -314,24 +384,116 @@ Below are text samples generated from each Markov chain model:
 
 ![t-SNE Sentences](visualizations/tsne_sentences.png)
 
-### Model Comparison
 
-| Model | Vocab Size | Dimension | Avg Norm | Std Norm | Isotropy |
-|-------|------------|-----------|----------|----------|----------|
-| **mono_32d** | 12,408 | 32 | 4.835 | 0.825 | 0.7157 🏆 |
-| **mono_64d** | 12,408 | 64 | 5.039 | 0.789 | 0.5338 |
-| **mono_128d** | 12,408 | 128 | 5.101 | 0.751 | 0.2644 |
-| **embeddings_enhanced** | 0 | 0 | 0.000 | 0.000 | 0.0000 |
+### 5.1 Cross-Lingual Alignment
+
+> *Note: Multilingual alignment visualization not available for this language.*
+
+
+### 5.2 Model Comparison
+
+| Model | Dimension | Isotropy | Semantic Density | Alignment R@1 | Alignment R@10 |
+|-------|-----------|----------|------------------|---------------|----------------|
+| **mono_32d** | 32 | 0.7051 🏆 | 0.3773 | N/A | N/A |
+| **mono_64d** | 64 | 0.5256 | 0.3351 | N/A | N/A |
+| **mono_128d** | 128 | 0.2472 | 0.3242 | N/A | N/A |
 
 ### Key Findings
 
-- **Best Isotropy:** mono_32d with 0.7157 (more uniform distribution)
-- **Dimension Trade-off:** Higher dimensions capture more semantics but reduce isotropy
-- **Vocabulary Coverage:** All models cover 12,408 words
-- **Recommendation:** 100d for balanced semantic capture and efficiency
+- **Best Isotropy:** mono_32d with 0.7051 (more uniform distribution)
+- **Semantic Density:** Average pairwise similarity of 0.3456. Lower values indicate better semantic separation.
+- **Alignment Quality:** No aligned models evaluated in this run.
+- **Recommendation:** 128d aligned for best cross-lingual performance
+
+---
+## 6.  Morphological Analysis (Experimental)
+
+> ⚠️ **Warning:** This language shows low morphological productivity. The statistical signals used for this analysis may be noisy or less reliable than for morphologically rich languages.
+
+This section presents an automated morphological analysis derived from the statistical divergence between word-level and subword-level models. By analyzing where subword predictability spikes and where word-level coverage fails, we can infer linguistic structures without supervised data.
+
+### 6.1 Productivity & Complexity
+
+| Metric | Value | Interpretation | Recommendation |
+|--------|-------|----------------|----------------|
+| Productivity Index | **0.000** | Low morphological productivity | ⚠️ Likely unreliable |
+| Idiomaticity Gap | **-1.000** | Low formulaic content | - |
+
+### 6.2 Affix Inventory (Productive Units)
+
+These are the most productive prefixes and suffixes identified by sampling the vocabulary for global substitutability patterns. A unit is considered an affix if stripping it leaves a valid stem that appears in other contexts.
+
+#### Productive Prefixes
+| Prefix | Examples |
+|--------|----------|
+| `-কা` | কানারিও, কাবেরীপক্কম, কানুপুর |
+| `-মা` | মাকৌপিন, মাঝরদিয়া, মার্চ |
+
+#### Productive Suffixes
+| Suffix | Examples |
+|--------|----------|
+| `-া` | ৱারান্টিনা, সাড়া, হঙকরাতারা |
+| `-র` | শিরুর, উপর, গেজেটার |
+| `-়া` | সাড়া, মাঝরদিয়া, মহুয়া |
+| `-ুর` | শিরুর, তরফপুর, রাইপুর |
+| `-য়া` | মাঝরদিয়া, মহুয়া, ক্যালিফোর্নিয়া |
+| `-িয়া` | মাঝরদিয়া, ক্যালিফোর্নিয়া, সাফিয়া |
+| `-পুর` | তরফপুর, রাইপুর, সাদিপুর |
+| `-ার` | গেজেটার, সুইটৱাটার, পিনার |
+
+### 6.3 Bound Stems (Lexical Roots)
+
+Bound stems are high-frequency subword units that are semantically cohesive but rarely appear as standalone words. These often correspond to the 'core' of a word that requires inflection or derivation to be valid.
+
+*No significant bound stems detected.*
+
+
+### 6.4 Affix Compatibility (Co-occurrence)
+
+This table shows which prefixes and suffixes most frequently co-occur on the same stems, revealing the 'stacking' rules of the language's morphology.
+
+| Prefix | Suffix | Frequency | Examples |
+|--------|--------|-----------|----------|
+| `-কা` | `-া` | 47 words | কাসিবুগ্গা, কাপিক্সাবা |
+| `-মা` | `-া` | 37 words | মারিনগা, মাইসাটুয়া |
+| `-কা` | `-র` | 31 words | কাতারর, কাড়াথুর |
+| `-মা` | `-র` | 23 words | মাহিলপুর, মানিয়ার |
+| `-কা` | `-়া` | 16 words | কানয়া, কামারিয়া |
+| `-কা` | `-য়া` | 13 words | কানয়া, কামারিয়া |
+| `-মা` | `-়া` | 12 words | মাইসাটুয়া, মাছপাড়া |
+| `-কা` | `-ুর` | 11 words | কাড়াথুর, কাবনুর |
+| `-কা` | `-িয়া` | 10 words | কামারিয়া, কালেডোনিয়া |
+| `-মা` | `-য়া` | 7 words | মাইসাটুয়া, মাছুয়া |
+
+### 6.5 Recursive Morpheme Segmentation
+
+Using **Recursive Hierarchical Substitutability**, we decompose complex words into their constituent morphemes. This approach handles nested affixes (e.g., `prefix-prefix-root-suffix`).
+
+| Word | Suggested Split | Confidence | Stem |
+|------|-----------------|------------|------|
+| লুসিয়ারা | **`লুসি-য়া-রা`** | 6.0 | `লুসি` |
+| জিন্দারপুর | **`জিন্দ-ার-পুর`** | 6.0 | `জিন্দ` |
+| কল্যানপুর | **`কল্যান-পুর`** | 4.5 | `কল্যান` |
+| য়েরভালিয়া | **`য়েরভাল-িয়া`** | 4.5 | `য়েরভাল` |
+| রায়হানপুর | **`রায়হান-পুর`** | 4.5 | `রায়হান` |
+| নাইজেরিয়া | **`নাইজের-িয়া`** | 4.5 | `নাইজের` |
+| মোস্তফাপুর | **`মোস্তফা-পুর`** | 4.5 | `মোস্তফা` |
+| সিঙ্গাপুর | **`সিঙ্গা-পুর`** | 4.5 | `সিঙ্গা` |
+| মির্জাপুর | **`মির্জা-পুর`** | 4.5 | `মির্জা` |
+| পালমাসিয়া | **`পালমাস-িয়া`** | 4.5 | `পালমাস` |
+| ইসলামিয়া | **`ইসলাম-িয়া`** | 4.5 | `ইসলাম` |
+| কামানডুকাইয়া | **`কা-মা-নডুকাই-য়া`** | 4.5 | `নডুকাই` |
+| চরকুমারিয়া | **`চরকুম-ার-িয়া`** | 3.0 | `চরকুম` |
+| কাউন্দিয়া | **`কা-উন্���-িয়া`** | 3.0 | `উন্দ` |
+| কালাইমাজপাড়া | **`কা-লাইমাজপাড-়া`** | 3.0 | `লাইমাজপাড` |
+
+### 6.6 Linguistic Interpretation
+
+> **Automated Insight:**
+The language BPY appears to be more isolating or has a highly fixed vocabulary. Word-level models perform nearly as well as subword models, indicating fewer productive morphological processes.
 
 ---
-## 6. Summary & Recommendations
+## 7. Summary & Recommendations
 
 ![Performance Dashboard](visualizations/performance_dashboard.png)
 
@@ -339,11 +501,12 @@ Below are text samples generated from each Markov chain model:
 
 | Component | Recommended | Rationale |
 |-----------|-------------|-----------|
-| Tokenizer | **32k BPE** | Best compression (5.07x) with low UNK rate |
-| N-gram | **5-gram** | Lowest perplexity (401) |
-| Markov | **Context-4** | Highest predictability (87.3%) |
+| Tokenizer | **64k BPE** | Best compression (4.93x) |
+| N-gram | **2-gram** | Lowest perplexity (598) |
+| Markov | **Context-4** | Highest predictability (95.1%) |
 | Embeddings | **100d** | Balanced semantic capture and isotropy |
 
+
 ---
 ## Appendix: Metrics Glossary & Interpretation Guide
 
@@ -533,7 +696,8 @@ If you use these models in your research, please cite:
   author = {Kamali, Omar},
   title = {Wikilangs: Open NLP Models for Wikipedia Languages},
   year = {2025},
-  publisher = {HuggingFace},
+  doi = {10.5281/zenodo.18073153},
+  publisher = {Zenodo},
   url = {https://huggingface.co/wikilangs}
   institution = {Omneity Labs}
 }
@@ -549,7 +713,8 @@ MIT License - Free for academic and commercial use.
 - 🤗 Models: [huggingface.co/wikilangs](https://huggingface.co/wikilangs)
 - 📊 Data: [wikipedia-monthly](https://huggingface.co/datasets/omarkamali/wikipedia-monthly)
 - 👤 Author: [Omar Kamali](https://huggingface.co/omarkamali)
+- 🤝 Sponsor: [Featherless AI](https://featherless.ai)
 ---
 *Generated by Wikilangs Models Pipeline*
 
-*Report Date: 2025-12-28 07:50:18*
+*Report Date: 2026-01-03 07:50:05*

models/embeddings/monolingual/bpy_128d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:4fb6b15d9bd093df27b0fd9a4efcd269979e163e27ef6ef6754ac07eb74d1ab2
-size 1037046131
+oid sha256:f3b15a24394779ec3beddd13e51b8416a137f08e7eef6cd8c13cd09cf43733f0
+size 1035031576

models/embeddings/monolingual/bpy_128d_metadata.json

@@ -3,11 +3,13 @@
   "dimension": 128,
   "version": "monolingual",
   "training_params": {
-    "dim": 128,
+    "algorithm": "skipgram",
     "min_count": 5,
     "window": 5,
     "negative": 5,
-    "epochs": 5
+    "epochs": 5,
+    "encoding_method": "rope",
+    "dim": 128
   },
-  "vocab_size": 12408
+  "vocab_size": 10500
 }

models/embeddings/monolingual/bpy_32d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:47e22726d92510c004d40792ae23c82129d179cc6367e68d751f9764a7ca0df1
-size 259516787
+oid sha256:e0c0840199d220785e7d74606060b7a6126430498c7075055630d36f50ea7419
+size 258967576

models/embeddings/monolingual/bpy_32d_metadata.json

@@ -3,11 +3,13 @@
   "dimension": 32,
   "version": "monolingual",
   "training_params": {
-    "dim": 32,
+    "algorithm": "skipgram",
     "min_count": 5,
     "window": 5,
     "negative": 5,
-    "epochs": 5
+    "epochs": 5,
+    "encoding_method": "rope",
+    "dim": 32
   },
-  "vocab_size": 12408
+  "vocab_size": 10500
 }

models/embeddings/monolingual/bpy_64d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:69a920bfb09617e816f807e477568361980d5eb7d59bc6fce4f483f40da1725b
-size 518693235
+oid sha256:f6e2813dae96a73ea737d2e4dda08e790f6fb7264595ac54099bd4d8b2292690
+size 517655576

models/embeddings/monolingual/bpy_64d_metadata.json

@@ -3,11 +3,13 @@
   "dimension": 64,
   "version": "monolingual",
   "training_params": {
-    "dim": 64,
+    "algorithm": "skipgram",
     "min_count": 5,
     "window": 5,
     "negative": 5,
-    "epochs": 5
+    "epochs": 5,
+    "encoding_method": "rope",
+    "dim": 64
   },
-  "vocab_size": 12408
+  "vocab_size": 10500
 }

models/subword_markov/bpy_markov_ctx1_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:bdb54276207e5b6285187f2b86c36ad177fb87faaaaefdb2ccb4c908e1f0cb67
-size 87617
+oid sha256:8471db68e598c67135a721fbc5abea6aabf5b3531ac753f67a51a53d3a162efe
+size 259139

models/subword_markov/bpy_markov_ctx1_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 1,
   "variant": "subword",
   "language": "bpy",
-  "unique_contexts": 918,
-  "total_transitions": 14885921
+  "unique_contexts": 3035,
+  "total_transitions": 9209425
 }

models/subword_markov/bpy_markov_ctx2_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:4f249b093261db16fcadfa715db9f8802b43064e74e1ba8719ca675247806d36
-size 535820
+oid sha256:9f7c571eecbae6ba0f24d562781877ff384a71459459476bc095f782d4915833
+size 1150172

models/subword_markov/bpy_markov_ctx2_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 2,
   "variant": "subword",
   "language": "bpy",
-  "unique_contexts": 10624,
-  "total_transitions": 14860752
+  "unique_contexts": 35678,
+  "total_transitions": 9184428
 }

models/subword_markov/bpy_markov_ctx3_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:5ff090decea3ecf5111ffe1a1235436699266f613b38361d41312345bb838b7e
-size 1775613
+oid sha256:1e4b755551be0d4958885e5ef7ce3604b86f71a5d45b2cd1cae7865d96cd7b1c
+size 3026127

models/subword_markov/bpy_markov_ctx3_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 3,
   "variant": "subword",
   "language": "bpy",
-  "unique_contexts": 64912,
-  "total_transitions": 14835583
+  "unique_contexts": 131152,
+  "total_transitions": 9159431
 }

models/subword_markov/bpy_markov_ctx4_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:52d356df5651a0f5f54331cd5e76f74df23d7adf3534dae88c6e119d9b761ee9
-size 5047184
+oid sha256:81b6102ef4dca504054a436f595fb2141c4d5e0b2fcb06ee59c2a27d91217af2
+size 6259337

models/subword_markov/bpy_markov_ctx4_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 4,
   "variant": "subword",
   "language": "bpy",
-  "unique_contexts": 236324,
-  "total_transitions": 14810414
+  "unique_contexts": 318528,
+  "total_transitions": 9134434
 }

models/subword_ngram/bpy_2gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:cdabbb125dfaa15729dfa32510019102c91c18a767800511da74d1f6d7f74b99
-size 71525
+oid sha256:f82847f832ddbf2d1fa13369d81d98d1250a13406959bf2e9c7bcf6411f73dae
+size 223418

models/subword_ngram/bpy_2gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 2,
   "variant": "subword",
   "language": "bpy",
-  "unique_ngrams": 5122,
-  "total_ngrams": 14885921
+  "unique_ngrams": 14925,
+  "total_ngrams": 9209425
 }

models/subword_ngram/bpy_3gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:c4170250afd8b7e81e3bb514e2ea7e5003b5a4cac40d1d8cf1b944941fd5763b
-size 488221
+oid sha256:3399384c312065ab04e876e9a8339dd16ad7672600be8f555f1f24f2f750a8e3
+size 994803

models/subword_ngram/bpy_3gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 3,
   "variant": "subword",
   "language": "bpy",
-  "unique_ngrams": 36042,
-  "total_ngrams": 14860752
+  "unique_ngrams": 68764,
+  "total_ngrams": 9184428
 }

models/subword_ngram/bpy_4gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:49e5e1be83e58be9ef9945b7e74642ea9638babffc0bcefcc28e74284c2eca28
-size 1849563
+oid sha256:4f5a24ecfb409025513b9a27e490935fab2358c050e05d7b200d31b657033a48
+size 2381769

models/subword_ngram/bpy_4gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 4,
   "variant": "subword",
   "language": "bpy",
-  "unique_ngrams": 148690,
-  "total_ngrams": 14835583
+  "unique_ngrams": 166785,
+  "total_ngrams": 9159431
 }

models/tokenizer/bpy_tokenizer_16k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:8b1b87ae27874d0e0deb8c8a9507b9010354c9e4be4f579eaf9efb10233bc2b7
-size 608584
+oid sha256:de3058025822db51926bead450c89e6488fb90b601282c5bfa70d01e3bb8d118
+size 606496

models/tokenizer/bpy_tokenizer_32k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:8549dc42b070078e9b8bf38d5cb50e4361f0b9c8ba4de0cb3db16ff7947e4703
-size 1001952
+oid sha256:2167815382b0d49ee9d942580a311d5095b796299c9cca191099977285f1f730
+size 1016119

models/tokenizer/bpy_tokenizer_64k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:8984f34241873e65994cc434c8d728913d71f46df6299666ebba4dab4b121e30
-size 1889033
+oid sha256:15960ddb65b0199fe283b07bc06c542bc2bc8f117e733be94b9fee95d82e1d39
+size 1838927

models/tokenizer/bpy_tokenizer_8k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:17966726c85a44c946d110bbc967aa3995eace9b617553b974f23d2e598fe035
-size 419939
+oid sha256:f4ec725812a0a54260f2a0e37b399025d18f1be5288cd4960c495698a32d792b
+size 420550

models/vocabulary/bpy_vocabulary.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:68b8a4ca35238e27244b1e44260e17a48c67a189db1d781d8c200c28fb378b13
-size 368371
+oid sha256:566686527453f8982d9f7d761db3c3d1b83725fe8c367e171c03880c653e20a1
+size 615993

models/vocabulary/bpy_vocabulary_metadata.json

@@ -1,16 +1,17 @@
 {
   "language": "bpy",
-  "vocabulary_size": 23871,
+  "vocabulary_size": 33017,
+  "variant": "full",
   "statistics": {
-    "type_token_ratio": 0.009857897178592595,
+    "type_token_ratio": 0.029318932277929487,
     "coverage": {
-      "top_100": 0.8861177653236629,
-      "top_1000": 0.9663878729322724,
-      "top_5000": 0.9828984715508948,
-      "top_10000": 0.9880168624748257
+      "top_100": 0.6173631613153301,
+      "top_1000": 0.8866567771129692,
+      "top_5000": 0.9377555570451412,
+      "top_10000": 0.9552711418354352
     },
-    "hapax_count": 27593,
-    "hapax_ratio": 0.5361612000621794,
-    "total_documents": 25169
+    "hapax_count": 27343,
+    "hapax_ratio": 0.45299867461895293,
+    "total_documents": 24997
   }
 }

models/word_markov/bpy_markov_ctx1_word.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:c1d5036170691d1160320935b9f8ba2016467e19c1053c73425833658f88971c
-size 1613321
+oid sha256:8c26d16cda447fab844f38aa0014c18fd3efee9851da15d42c78fb9edb16bd18
+size 2583106

models/word_markov/bpy_markov_ctx1_word_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 1,
   "variant": "word",
   "language": "bpy",
-  "unique_contexts": 51595,
-  "total_transitions": 9871256
+  "unique_contexts": 60265,
+  "total_transitions": 2033741
 }

models/word_markov/bpy_markov_ctx2_word.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:131007aca3a521d9f995c3b68152c37568e6a3043b27cee57c0170453d3ad10b
-size 3751981
+oid sha256:1fa1c243dab3eab15b77c513a7038427aa62f1ff8d3dd624cc73c649f9890f7a
+size 6149066

models/word_markov/bpy_markov_ctx2_word_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 2,
   "variant": "word",
   "language": "bpy",
-  "unique_contexts": 192535,
-  "total_transitions": 9846087
+  "unique_contexts": 262556,
+  "total_transitions": 2008744
 }

models/word_markov/bpy_markov_ctx3_word.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:ab0b79c46c94f67d583a0221361f6c4add6cf9a150d20c2a40f4daaef196f21e
-size 7021353
+oid sha256:b7622a3a71f6f070ac5db83e5e97131e1712eff1adcc7abcee61fb80c35462f2
+size 9548086

models/word_markov/bpy_markov_ctx3_word_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 3,
   "variant": "word",
   "language": "bpy",
-  "unique_contexts": 401469,
-  "total_transitions": 9820919
+  "unique_contexts": 400175,
+  "total_transitions": 1983747
 }

models/word_markov/bpy_markov_ctx4_word.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:092aa31f510790527aca2846851d191e9138ff743310cdb5e7d9e612f2bc0b69
-size 10993473
+oid sha256:6698170a5559d8625b6a1607e8f77b4b24134e9244062645ebee386de8b603d7
+size 13571757

models/word_markov/bpy_markov_ctx4_word_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 4,
   "variant": "word",
   "language": "bpy",
-  "unique_contexts": 660290,
-  "total_transitions": 9795751
+  "unique_contexts": 505259,
+  "total_transitions": 1958750
 }

models/word_ngram/bpy_2gram_word.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:d8df7389a29eaa5b721ff0e95520427f6b27d7ebab6cd7ffdd086c22978342cb
-size 320237
+oid sha256:ecc35b57edce0047176d78cec0d755c7ce6c3fbe11107d56c0fee3e19ffa5811
+size 277645

models/word_ngram/bpy_2gram_word_metadata.json

@@ -2,6 +2,6 @@
   "n": 2,
   "variant": "word",
   "language": "bpy",
-  "unique_ngrams": 23018,
-  "total_ngrams": 9871256
+  "unique_ngrams": 15095,
+  "total_ngrams": 2033741
 }

models/word_ngram/bpy_3gram_word.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:f719fdf4863b7285c7d7700f0109a2991c67303c3a99f375996b5ce90543fc58
-size 1063287
+oid sha256:90e5d518ab3f7bc7ccb22ada009fe25f616284c21deac03e8501c79db7c8c3ca
+size 662282

models/word_ngram/bpy_3gram_word_metadata.json

@@ -2,6 +2,6 @@
   "n": 3,
   "variant": "word",
   "language": "bpy",
-  "unique_ngrams": 78850,
-  "total_ngrams": 9846087
+  "unique_ngrams": 31653,
+  "total_ngrams": 2008744
 }

models/word_ngram/bpy_4gram_word.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:9a0ccd76524932bacdba4faae94a4465412313cd3d52a2e7b8449b2b1881217f
-size 2632657
+oid sha256:0f7ce61f64ce707ee44c9e02ae0e63b105f3bb116f076e34089cd28b78ec52d4
+size 1414259

models/word_ngram/bpy_4gram_word_metadata.json

@@ -2,6 +2,6 @@
   "n": 4,
   "variant": "word",
   "language": "bpy",
-  "unique_ngrams": 192863,
-  "total_ngrams": 9820919
+  "unique_ngrams": 61026,
+  "total_ngrams": 1983747
 }