Chunking
Le chunking est un choix d’architecture, pas un simple paramètre technique. Il détermine ce que le système pourra retrouver.
Toutes les stratégies
| Stratégie | Usage | Limite |
|---|---|---|
| Fixed-size | POC, corpus simple. | Coupe le sens. |
| Recursive | Documents structurés. | Dépend du format. |
| Semantic | Respect des idées. | Plus coûteux. |
| Structure-aware | Articles, sections, chapitres. | Nécessite parsing. |
| Table-aware | Excel, tableaux PDF. | Demande normalisation. |
| Legal-aware | Lois, jurisprudence, doctrine. | Nécessite métadonnées et relations. |
Pipeline de chunking
Cas juridique
Dans un texte de loi, le chunk utile n’est pas toujours un paragraphe. Il peut être un article, un alinéa, une exception ou un renvoi. Le chunk doit porter sa hiérarchie : code, livre, titre, chapitre, section, article, version applicable.
Cas assurance
Dans l’assurance, les chunks doivent préserver les liens entre garantie, exclusion, franchise, plafond, conditions et pièces justificatives. Sinon le RAG récupère la garantie mais oublie l’exclusion.
Cas documentaire
Pour la documentation interne, je privilégie souvent un chunking structurel enrichi : titre, chemin documentaire, résumé court, version, propriétaire, date et tags métier.