Text Deformatter

De Text Deformatter zet rommelige tekst uit meerdere bronnen om in schone, voorspelbare platte tekst die geschikt is voor NLP, indexering, editing en datapijplijnen. Het is gericht op redacteuren, onderzoekers, vertalers en ontwikkelaars die regelmatig inhoud ontvangen van PDF's, tekstverwerkers, e-mails of webpagina's en deterministische resultaten nodig hebben. Door te focussen op opmaakartefacten in plaats van inhoud, biedt het een reproduceerbare schone basis voor downstream taken. De tool ondersteunt een configureerbare pipeline: kies of Unicode behouden of geconverteerd naar ASCII, bepaal of HTML-markup verwijderd moet worden en bepaal hoe alinea's en regelafbrekingen behandeld worden. Duidelijkheid vermindert handmatige schoonmaak en fouten. Conceptioneel past de tool een vaste volgorde toe: controlekarakters trimmen, witruimte normaliseren, alinea’s losmaken of behouden, en aanhalingstekens en streepjes volgens de modus normaliseren. In ASCII-modus kunnen tekens getranslitereerd worden en diacritische tekens verwijderd; in de modus 'Unicode behouden' blijven tekens intact. Het verwijdert veilig niet-tekst markup op verzoek en laat opmaak-gerelateerde elementen onaangeroerd als geconfigureerd. Belangrijke onderscheiders zijn expliciete moduulbesturing, veilige HTML-strip en deterministische witruimteafhandeling die drift in geautomatiseerde pipelines voorkomt. Typische toepassingen omvatten het extraheren van schone tekst uit webclips, het omzetten van PDFs naar doorzoekbare tekst, het standaardiseren van gebruikersgegenereerde inhoud voor sentimentanalyse en het voorbereiden van corpora voor machine learning. Uitgangen zijn UTF-8-strings; de schone tekst kan gekopieerd of geëxporteerd worden. De tool logt beslissingen intern voor audit, maar UI-details worden niet weergegeven. Het richt zich uitsluitend op opmaaknormalisatie om compatibiliteit tussen systemen te maximaliseren.