Текст и Unicode

О конвертере текста и Unicode

Конвертер записывает символы текста как escape-последовательности JavaScript или десятичные ссылки HTML, а также восстанавливает текст из этих записей. Результат меняется при вводе и переключении направления.

Кодовая точка и запись символа в исходнике

Unicode присваивает символам кодовые точки. Например, латинская A имеет код U+0041. Сам символ можно записать непосредственно, как \u0041 в исходнике JavaScript или как A в HTML. Это разные текстовые представления, а не перевод текста на другой язык.

JavaScript использует UTF-16. Символы за пределами базовой многоязычной плоскости занимают две кодовые единицы: при кодировании эмодзи получается пара \uXXXX. Десятичная ссылка HTML описывает всю кодовую точку одним числом. Поэтому количество записей двух форматов для одной строки может различаться.

Unicode, UTF-8 и UTF-16 решают разные задачи

Unicode задает репертуар и номера символов. UTF-8 и UTF-16 определяют, как представить эти номера кодовыми единицами. Escape-последовательность, в свою очередь, является записью внутри исходного текста. Например, строка \u0041 сначала состоит из шести видимых знаков, а после интерпретации соответствующим языком может обозначать одну букву A.

Этот инструмент не показывает дамп байтов UTF-8. Если нужна диагностика файла с неверно определенной кодировкой, замена символов на Unicode escapes не вернет уже потерянные исходные байты.

Почему одинаковый на вид текст может отличаться

Некоторые буквы можно представить готовой кодовой точкой или базовой буквой с комбинируемым знаком. Визуально результат бывает одинаковым, но последовательности и их длина различаются. Нормализация Unicode приводит поддерживаемые варианты к согласованной форме и является отдельной операцией.

Конвертер не выполняет такую нормализацию автоматически. При сравнении результатов это позволяет увидеть различие исходных последовательностей. Для проверки ограничения длины в приложении заранее уточните, что оно считает: байты, единицы UTF-16, кодовые точки или воспринимаемые пользователем символы.

Выбор направления и формата

Выберите «Кодировать» или «Декодировать», затем нужную «Запись Unicode». При декодировании JavaScript принимаются \u0041 и расширенная запись \u{1F600}. Обычный текст рядом с ними сохраняется, но обратная косая черта должна начинать поддерживаемую последовательность.

Режим HTML работает с десятичными ссылками вида A. Именованные сущности вроде & и шестнадцатеричные A сюда не подходят. HTML-код на странице не исполняется.

Конвертер полезен при разборе строк из конфигураций, тестировании сериализации и проверке литералов в коде. Перед вставкой результата учитывайте контекст: внутри JSON обратную косую черту иногда нужно экранировать дополнительно, чтобы сохранить саму последовательность, а не сразу получить символ.