4236232a62
Refonte complète du lexique Confluent et système d'audit
...
- Correction et extension du lexique: 78 → 0 erreurs
- Ajout de 14 racines manquantes (toli, konu, aika, vito, paka, nutu, tuli, nemu, zeru, novi, muta, supu, selu, saki)
- Extension du lexique: 67 racines standards (53 → 67)
- Création de 6 nouveaux fichiers lexique (navigation, architecture, concepts philosophiques, étrangers, actions militaires, vêtements)
- Réduction consonnes rares: 26.5% → 2.7%
- Remplacement racines anglaises par finno-basques (malo→paka, situ→tuli, taki→kanu, time→aika)
- Correction des mots mal formés (ulak→kulak, koliukitan→koliukita, ulapisu→lapis, pekikayo→pekikazo)
- Amélioration script d'audit: charge maintenant verbes, compositions et grammaire (638 racines)
- Ajout scripts de maintenance (audit, correction consonnes rares, détection doublons)
🤖 Generated with [Claude Code](https://claude.com/claude-code )
Co-Authored-By: Claude <noreply@anthropic.com>
2025-12-01 21:53:03 +08:00
5c03390aaf
Ajout système raffinement LLM CF→FR + extension lexique nourriture
...
Nouvelles fonctionnalités:
- Endpoint /api/translate/conf2fr/llm avec raffinement LLM
- Prompt cf2fr-refinement.txt expliquant structure Confluent
- Test test-llm-refinement.bat pour validation
Améliorations lexique:
- Ajout lexique 23-nourriture.json (vocabulaire alimentaire)
- Ajout lexique 24-habitat.json (habitat et construction)
- Correction "generation" → noviuaita (nouvelles générations)
- Ajout "cuisiner" → mukunekas (composition muk-u-nekas)
- Fix Ariaska → Aliaska dans prompts
Tests et outils:
- Tests de coverage et reverse translation
- Convertisseur de nombres
- Debug lemmatisation
🤖 Generated with [Claude Code](https://claude.com/claude-code )
Co-Authored-By: Claude <noreply@anthropic.com>
2025-12-01 11:40:30 +08:00
889cd24319
Amélioration système de traduction: normalisation, lexique et couverture
...
Corrections majeures:
- Normalisation ligatures (œ→oe, æ→ae) pour éviter fragmentation tokens
- Normalisation complète lexique (clés + synonymes) sans accents
- Correction faux positif "dansent"→"dans" (longueur radical ≥5)
Enrichissement lexique (+212 entrées):
- Verbes: battre (pulum), penser/réfléchir (umis), voler (aliuk)
- Mots grammaticaux: nous (tanu), possessifs (sa/mon→na), démonstratifs (ce→ko)
- Temporels: hier/avant (at), demain/après (ok), autour (no)
- Formes conjuguées ajoutées pour manger, battre, penser
Améliorations techniques:
- Lemmatisation verbale améliorée (radical ≥5 lettres)
- Système normalizeText() dans lexiqueLoader.js
- Liaisons sacrées pour compositions culturelles
Note: Problème connu de lemmatisation à investiguer (formes fléchies non trouvées)
🤖 Generated with [Claude Code](https://claude.com/claude-code )
Co-Authored-By: Claude <noreply@anthropic.com>
2025-11-30 22:37:31 +08:00
fd3e286bb1
Amélioration couverture lexicale: 36.5% → 54.7% (long texts)
...
## Lexique enrichi (871 → 940 entrées)
### Verbes ajoutés avec conjugaisons complètes
- planer → aliuk (CVCVC)
- résonner → kekak (CVCVC)
- rejoindre → kotan (CVCVC) - conjugaisons irrégulières corrigées
### Mots grammaticaux ajoutés (00-grammaire.json)
- qui/que/dont → ki (pronom relatif)
- leurs/leur → nasu (possessif 3p pluriel)
- ces/ceux/celles → tovasu (démonstratif pluriel)
- chaque/chacun → eka (quantificateur)
- depuis → ve (particule origine temporelle)
- ils/elles → tasu (pronom personnel 3p)
- et/mais → lo (ajout synonymes)
- dessus/au-dessus → ze (particule spatiale)
- tous/toutes/tout → susu (quantificateur)
### Noms et concepts ajoutés
- antre/caverne/grotte → keku (04-lieux.json)
- tradition/coutume → aitatoku (13-rituels.json)
- artisan → nekatoku (15-roles-titres.json)
### Adjectifs: formes féminines/plurielles
- gris → grise, gris (pluriel) (18-couleurs.json)
- ancien → anciens, ancienne, anciennes, ancêtre, ancêtres (01-racines-sacrees.json)
- sacré → sacrés, sacrée, sacrées (01-racines-sacrees.json)
## Corrections
- rejoindre: conjugaisons irrégulières corrigées (rejoignent vs rejoindent)
## Tests
- Ajout test-long-coverage.js pour validation exhaustive
- 4 textes longs testés
- Couverture globale: 54.7% (81/148 mots de contenu)
🤖 Generated with [Claude Code](https://claude.com/claude-code )
Co-Authored-By: Claude <noreply@anthropic.com>
2025-11-30 18:02:15 +08:00
dc6affc7fd
Amélioration lemmatisation FR + normalisation accents + extension lexique
...
## Fixes
### 1. Lemmatisation verbes français (contextAnalyzer.js)
- Fix: 'ent' → 'er' (observent → observer, marchent → marcher)
- Add: règles 'ient' → 'ir' (voient → voir)
- Add: règles 'oient' → 'oir' (alternative)
- Résultat: reconnaissance conjugaisons françaises améliorée
## Ajouts lexique
### 2. Verbe "marcher" (06-actions.json)
- Confluent: tekam (racine: teka, forme liée: tek)
- Conjugaisons: marche, marches, marchons, marchent, etc.
### 3. Prépositions → Particules (00-grammaire.json)
- "dans/sur/sous" → no (localisation spatiale)
- "avec" → vi (instrument/accompagnement)
- "pour/contre" → se (but/bénéficiaire)
- "sans" → zo (négation)
- "pendant" → at (passé vécu)
### 4. Composant "echos" (03-castes.json)
- Extraction racine: "échos" → keko
- Permet reconnaissance mot seul (pas seulement dans "Enfants des Échos")
## Refactor majeur
### 5. Normalisation accents (23 fichiers JSON)
- Suppression accents de TOUTES les clés de dictionnaire
- Cohérence avec normalisation NFD côté serveur
- Fichiers normalisés:
* 00-grammaire.json à 22-nombres.json (tous les lexiques)
## Résultats
Couverture améliorée sur phrases test:
- "Les enfants des échos observent la grande fresque": 40% → 80% (4/5)
- "Le soleil brille sur les montagnes pendant l'été": 33% → 67% (4/6)
🤖 Generated with [Claude Code](https://claude.com/claude-code )
Co-Authored-By: Claude <noreply@anthropic.com>
2025-11-30 16:43:34 +08:00
72616f7802
Ajout particules ve/eol + documentation incohérences linguistiques
...
- Ajout de 've' (origine) et 'eol' (habituel) dans 00-grammaire.json
- Documentation détaillée des incohérences dans test-results-radical-system.md
- Alerte sur suffixes 'aran' et 'vis' non documentés dans grammaire officielle
- Révision objectifs coverage: 94% réaliste après ajout ve/eol
- Recommandation: valider texte de test avant ajout de nouveaux suffixes
🤖 Generated with [Claude Code](https://claude.com/claude-code )
Co-Authored-By: Claude <noreply@anthropic.com>
2025-11-29 15:03:36 +08:00
e8d17ab0d5
Implement radical lookup system for Confluent translator (83% → 92% coverage)
...
Major features:
- Radical-based word matching for conjugated verbs
- Morphological decomposition for compound words
- Multi-index search (byWord + byFormeLiee)
- Cascade search strategy with confidence scoring
New files:
- ConfluentTranslator/radicalMatcher.js: Extract radicals from conjugated forms
- ConfluentTranslator/morphologicalDecomposer.js: Decompose compound words
- ConfluentTranslator/plans/radical-lookup-system.md: Implementation plan
- ConfluentTranslator/test-results-radical-system.md: Test results and analysis
- ancien-confluent/lexique/00-grammaire.json: Grammar particles
- ancien-confluent/lexique/lowercase-confluent.js: Lowercase utility
Modified files:
- ConfluentTranslator/reverseIndexBuilder.js: Added byFormeLiee index
- ConfluentTranslator/confluentToFrench.js: Cascade search with radicals
- Multiple lexique JSON files: Enhanced entries with forme_liee
Test results:
- Before: 83% coverage (101/122 tokens)
- After: 92% coverage (112/122 tokens)
- Improvement: +9 percentage points
Remaining work to reach 95%+:
- Add missing particles (ve, eol)
- Enrich VERBAL_SUFFIXES (aran, vis)
- Document missing words (tiru, kala, vulu)
🤖 Generated with Claude Code (https://claude.com/claude-code )
Co-Authored-By: Claude <noreply@anthropic.com>
2025-11-28 22:24:56 +08:00
