Поиск корректной кодировки текста

12.10.20

Разработка - Универсальные функции

Обработка для поиска корректной кодировки текста.

Скачать исходный код

Наименование Файл Версия Размер
Поиск корректной кодировки текста
.epf 7,94Kb
13
.epf 7,94Kb 13 Скачать

Вообще задача была поднять WEB сервис, чтобы поставщик услуг, стучась к нам по API мог заносить некую информацию.
По API залетает XML, в которой кодировка кириллицы может быть не читабельной.

Пример:

  <owner>Standard</owner>
      <start_country_id>RU</start_country_id>
      <start_zip>450028</start_zip>
      <start_city>г. Уфа, Уфимский район</start_city>
      <start_region/>
      <end_country_id>RU</end_country_id>

 

Ну и в рамках задачи, надо было все это дело самому обрабатывать, чтобы в базу заходил корректный текст.

Для сего и была написана соответствующая функция. Эта функция и используется в обработке. Если кому надо, решать подобную задачу, то просто возьмите функцию из обработки.

Задача решается несложно.

  1. функция никуда не записывает файлы, работает в памяти со строкой. Это важно, в основном все пишут куда-то файл, потом читают в какой-либо кодировке. Считаю это не приемлемым. Если файл потом не требуется хранить, то с данными надо работать в памяти.
  2. Функция преобразует текст в разные кодировки (UTF8,windows-1251,koi8-r,koi8-u,cp866,iso-8859-5);
  3. Определяет, какая кодировка соответствует нормальному тексту, на основе рейтинга;
  4. Возвращает строку.
  5. Работает с кодировками: utf-8, windows-1251, koi8-r, koi8-u, cp866, iso-8859-5 (в самой функции, через запятую, без пробелов можно добавить сколько хотите кодировок (которые понимает 1С, но это может влиять на скорость работы).

Тестировал на платформе: 8.3.12.1790.

Кодировка текст

См. также

Вставляем картинку из буфера обмена (платформа 1С 8.3.24)

Универсальные функции Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Задача: вставить картинку из буфера обмена на форму средствами платформы 1С.

1 стартмани

18.03.2024    2848    1    John_d    9    

56

GUID в 1С 8.3 - как с ними быть

Универсальные функции Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

Пришлось помучиться с GUID-ами немного, решил поделиться опытом, мало ли кому пригодится.

12.02.2024    4967    atdonya    22    

51

Переоткрытие внешних обработок

Универсальные функции Платформа 1С v8.3 Бесплатно (free)

На заключительных этапах, когда идет отладка или доработка интерфейса, необходимо много раз переоткрыть внешний объект. Вот один из способов автоматизации этого.

30.11.2023    4085    ke.92@mail.ru    16    

62

Валидация JSON через XDTO (включая массивы)

WEB-интеграция Универсальные функции Механизмы платформы 1С Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

При работе с интеграциями рано или поздно придется столкнуться с получением JSON файлов. И, конечно же, жизнь заставит проверять файлы перед тем, как записывать данные в БД.

28.08.2023    9309    YA_418728146    6    

143

Печать непроведенных документов для УТ, КА, ERP. Настройка печати по пользователям, документам и печатным формам

Пакетная печать Печатные формы Адаптация типовых решений Универсальные функции Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Абонемент ($m)

Расширение для программ 1С:Управление торговлей, 1С:Комплексная автоматизация, 1С:ERP, которое позволяет распечатывать печатные формы для непроведенных документов. Можно настроить, каким пользователям, какие конкретные формы документов разрешено печатать без проведения документа.

2 стартмани

22.08.2023    2191    24    progmaster    7    

3

Расширение: Быстрые отборы через буфер [Alt+C] Копировать список, [Alt+V] Вставить список, [Ctrl+C] Копировать из файлов

Инструментарий разработчика Универсальные функции Платформа 1С v8.3 Конфигурации 1cv8 1С:Розница 2 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Абонемент ($m)

Копирует в буфер значения из списков, из ячеек отчетов, таблиц, настроек списков, других отборов и вставляет в выбранную настройку отбора. Работает с Объект не найден. Работает как в одной так и между разными базами 1С. Использует комбинации [Alt+C] Копировать список, [Alt+V] Вставить список. Также для копирования данных используется стандартная [Ctrl+C] (например из открытого xls, mxl, doc и т.п. файла скопировать список наименований)

1 стартмани

13.10.2022    16322    141    sapervodichka    112    

129

Система контроля ведения учета [БСП]

Универсальные функции Механизмы типовых конфигураций БСП (Библиотека стандартных подсистем) Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

В данном материале рассмотрим типовой алгоритм подсистемы контроля учета БСП в конфигурациях на примерах.

18.07.2022    7342    quazare    8    

110
Комментарии
Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. rusmil 262 12.10.20 18:26 Сейчас в теме
Определяет, какая кодировка соответствует нормальному тексту, на основе рейтинга
Можете пояснить детальнее, что за рейтинг применяется для распознавания кодировки?
2. madonov 190 13.10.20 02:32 Сейчас в теме
(1) думаю, что чем больше в итоговом тексте символов "а-я", тем выше рейтинг. Но это только догадка. Возможно автор реализовал иначе.
3. Jokemas 192 13.10.20 09:30 Сейчас в теме
(2) Слоги. Там тупо строка слогов через запятую, которые с помощью СтрРазделить превращаются в массив, после чего используются. Чем больше уникальных слогов встретилось в тексте, тем вышей рейтинг. В Русском языке ограниченное количество слогов и они все известны.

А по символам от "а-я" не будет работать. К примеру, если текст был в кодировке cp1251 и попытаться его перевести в koi8-r или koi8-u, то будет не пойми что, но кириллицей.

Фишка в том, что любой язык строится вокруг слов, которые состоят из слогов.
CyberCerber; +1 Ответить
4. gaglo 04.11.20 13:39 Сейчас в теме
(3)
В Русском языке ограниченное количество слогов и они все известны.

Уважаемый автор, буде Ваше на то Соизволение, поделитесь, как именно вы считали слоги (по какому акакадемику, к примеру), и сколько же их?
ЗЫ Я правда хочу знать эту фишку...
5. Jokemas 192 10.11.20 11:26 Сейчас в теме
(4)Просто все слоги начинающиеся на согласную и оканчивающиеся гласной, к примеру: "на,ну,но,ны,ни,не,ня" и т.д.Таблица слогов находится в поисковике. Я использую 193 слога.
6. dsdred 3318 17.06.21 13:02 Сейчас в теме
Была такая программа в 2000-х Шти́рлиц))

А вообще при чтении xml можно было указать кодировку и не сочинять функцию))
7. Jokemas 192 18.06.21 09:18 Сейчас в теме
(6) Да, вот только обработка собирала данные из разных API, где разная кодировка, при этом XML без блока <?xml version="1.0" encoding="*****?>. Прикинь, какая задача, когда ты не знаешь кодировку, а распарсить нужно =))). Это не я, это все они! =))
Оставьте свое сообщение