UTF-16: Definition, Funktionsweise und Anwendung

Das Wichtigste auf einen Blick

• UTF-16 kodiert Unicode-Zeichen primär mit 16-Bit-Einheiten.
• Surrogatpaare ermöglichen die Darstellung von Zeichen außerhalb der Basis-Multilingual-Plane.
• UTF-16 wird in vielen Betriebssystemen wie Windows und Programmiersprachen wie Java verwendet.
• Die Kodierung ist weder vollständig byte-orientiert noch vollständig 16-Bit-orientiert, was zu Komplexitäten bei der Verarbeitung führen kann.
• UTF-16 ist weniger speichereffizient für westliche Sprachen als UTF-8, aber effizienter für viele asiatische Schriftsysteme.
• Die Byte-Reihenfolge (Endianess) ist bei UTF-16 wichtig und wird durch ein Byte Order Mark (BOM) signalisiert.

Überblick: Utf 16

UTF-16 (Unicode Transformation Format 16-bit) ist ein standardisiertes Verfahren zur Codierung von Unicode-Zeichen, das in vielen modernen Softwaresystemen und Plattformen eingesetzt wird. Es verwendet 16-Bit-Einheiten zur Darstellung von Zeichen, wobei einfache Zeichen mit einem 16-Bit-Wert codiert werden und komplexere Zeichen durch sogenannte Surrogatpaare aus zwei 16-Bit-Werten dargestellt werden. UTF-16 ist eine der wichtigsten Kodierungen neben UTF-8 und UTF-32 und bietet einen Kompromiss zwischen Speicherbedarf und Komplexität.

Grundlagen von UTF-16

UTF-16 ist eine Kodierungsmethode zur Darstellung von Unicode-Zeichen. Unicode definiert einen universellen Zeichensatz für nahezu alle Schriftsysteme der Welt. UTF-16 verwendet 16-Bit-Einheiten (2 Bytes) zur Codierung von Zeichen. Für Zeichen, die nicht in der Basis-Multilingual-Plane (BMP) liegen, werden Surrogatpaare eingesetzt, die aus zwei 16-Bit-Werten bestehen.

Was sind Surrogatpaare?

Surrogatpaare sind Kombinationen aus zwei 16-Bit-Codeeinheiten, die zusammen ein einzelnes Unicode-Zeichen außerhalb der BMP (Zeichen über U+FFFF) darstellen. Der erste Teil wird als High Surrogate bezeichnet, der zweite als Low Surrogate. Diese Technik ermöglicht die Kodierung von insgesamt 1.112.064 Unicode-Zeichen.

Vergleich der Unicode-Kodierungen UTF-8, UTF-16 und UTF-32

Byte-Reihenfolge und Byte Order Mark (BOM)

Da UTF-16 mit 16-Bit-Einheiten arbeitet, ist die Reihenfolge der Bytes (Endianess) relevant. Es gibt zwei Varianten: Big Endian (höherwertiges Byte zuerst) und Little Endian (niederwertiges Byte zuerst). Um die Byte-Reihenfolge zu kennzeichnen, wird häufig ein Byte Order Mark (BOM) am Anfang eines Textes eingefügt. Das BOM ist ein spezielles Zeichen (U+FEFF), das den Lesern signalisiert, wie die Bytes interpretiert werden müssen.

Anwendungsbereiche von UTF-16

UTF-16 wird in vielen Betriebssystemen und Programmiersprachen verwendet. Windows nutzt UTF-16 intern für die Darstellung von Text. Auch Programmiersprachen wie Java und Frameworks wie .NET setzen UTF-16 als Standard für Strings ein. Zudem findet UTF-16 Anwendung in XML- und JSON-Dokumenten, wenn diese Unicode-Zeichen enthalten.

Vor- und Nachteile von UTF-16

Verarbeitung und Programmierung mit UTF-16

Die Verarbeitung von UTF-16-kodierten Texten erfordert Kenntnisse über Surrogatpaare und Byte-Reihenfolge. Programmiersprachen bieten meist eingebaute Funktionen zur Handhabung von UTF-16-Strings. Entwickler müssen jedoch auf korrekte Interpretation der Zeichen achten, insbesondere bei Manipulationen, die einzelne Codeeinheiten betreffen.

Unterschiede zu anderen Unicode-Kodierungen

Im Vergleich zu UTF-8, das byte-orientiert ist und variable Länge von 1 bis 4 Bytes hat, ist UTF-16 auf 2- oder 4-Byte-Einheiten ausgelegt. UTF-32 verwendet immer 4 Bytes pro Zeichen und ist daher am einfachsten zu verarbeiten, aber am speicherintensivsten. Die Wahl der Kodierung hängt vom Anwendungsfall und der Zielplattform ab.

Zusatzinformationen