StillHammer
5c03390aaf
Nouvelles fonctionnalités: - Endpoint /api/translate/conf2fr/llm avec raffinement LLM - Prompt cf2fr-refinement.txt expliquant structure Confluent - Test test-llm-refinement.bat pour validation Améliorations lexique: - Ajout lexique 23-nourriture.json (vocabulaire alimentaire) - Ajout lexique 24-habitat.json (habitat et construction) - Correction "generation" → noviuaita (nouvelles générations) - Ajout "cuisiner" → mukunekas (composition muk-u-nekas) - Fix Ariaska → Aliaska dans prompts Tests et outils: - Tests de coverage et reverse translation - Convertisseur de nombres - Debug lemmatisation 🤖 Generated with [Claude Code](https://claude.com/claude-code) Co-Authored-By: Claude <noreply@anthropic.com>
35 lines
874 B
JavaScript
35 lines
874 B
JavaScript
const { tokenizeFrench } = require('./contextAnalyzer');
|
|
|
|
console.log('\n=== TEST FIX APOSTROPHES ===\n');
|
|
|
|
const testCases = [
|
|
// Apostrophe droite (ASCII 39)
|
|
"l'échos",
|
|
"d'écouter",
|
|
"m'a dit",
|
|
"n'est pas",
|
|
|
|
// Apostrophe courbe (Unicode)
|
|
"l'enfant",
|
|
"d'eau",
|
|
|
|
// Mots avec accents
|
|
"mémoire",
|
|
"écouter",
|
|
"échos"
|
|
];
|
|
|
|
testCases.forEach(test => {
|
|
const tokens = tokenizeFrench(test);
|
|
console.log(`Input: "${test}"`);
|
|
console.log(`Tokens: [${tokens.map(t => `"${t}"`).join(', ')}]`);
|
|
console.log('');
|
|
});
|
|
|
|
console.log('\n=== TEST PHRASE COMPLÈTE ===\n');
|
|
const phrase = "Les échos de la mémoire résonnent dans l'esprit des anciens qui écoutent.";
|
|
const tokens = tokenizeFrench(phrase);
|
|
console.log(`Input: "${phrase}"`);
|
|
console.log(`Tokens: [${tokens.map(t => `"${t}"`).join(', ')}]`);
|
|
console.log(`Count: ${tokens.length} mots`);
|