StillHammer
4b0f916d1c
- Nouvelle architecture modulaire avec src/api, src/core, src/utils - Séparation claire docs/ (admin, changelog, dev, security) et tests/ (unit, integration, scripts) - server.js devient un simple point d'entrée - Ajout de STRUCTURE.md documentant l'architecture - Archivage ancien-confluent/ avec générateur de lexique complet 🤖 Generated with [Claude Code](https://claude.com/claude-code) Co-Authored-By: Claude <noreply@anthropic.com>
35 lines
874 B
JavaScript
35 lines
874 B
JavaScript
const { tokenizeFrench } = require('./contextAnalyzer');
|
|
|
|
console.log('\n=== TEST FIX APOSTROPHES ===\n');
|
|
|
|
const testCases = [
|
|
// Apostrophe droite (ASCII 39)
|
|
"l'échos",
|
|
"d'écouter",
|
|
"m'a dit",
|
|
"n'est pas",
|
|
|
|
// Apostrophe courbe (Unicode)
|
|
"l'enfant",
|
|
"d'eau",
|
|
|
|
// Mots avec accents
|
|
"mémoire",
|
|
"écouter",
|
|
"échos"
|
|
];
|
|
|
|
testCases.forEach(test => {
|
|
const tokens = tokenizeFrench(test);
|
|
console.log(`Input: "${test}"`);
|
|
console.log(`Tokens: [${tokens.map(t => `"${t}"`).join(', ')}]`);
|
|
console.log('');
|
|
});
|
|
|
|
console.log('\n=== TEST PHRASE COMPLÈTE ===\n');
|
|
const phrase = "Les échos de la mémoire résonnent dans l'esprit des anciens qui écoutent.";
|
|
const tokens = tokenizeFrench(phrase);
|
|
console.log(`Input: "${phrase}"`);
|
|
console.log(`Tokens: [${tokens.map(t => `"${t}"`).join(', ')}]`);
|
|
console.log(`Count: ${tokens.length} mots`);
|