Борьба с крякозябликами. Часть вторая

1. 

   Оффлайн

   Leserg

   Звание: Ветеран

   Команда сайта

   Сообщений: 920

   Создано тем: 77

   Рейтинг: 8

   Репа: (130|130|0)

   Баллы: 1531

   Был: 2024-04-12 20:03

   Лайков: 124

   Цитата: Alecs962

   ... при переводе в файле SMARTDesc.csv появляются кракозябры... Кодировка файлов разная - SMARTDesc.csv в UTF-8, а остальные в Юникоде. Есть ли решение этой проблемы?

   
   
   
   Корень проблемы находится в исполняемом файле программы — DiskCheckup.exe. Считывание файла SMARTDesc.csv выполняется в кодировке ANSI. Затем строки преобразуются в кодировку Unicode по упрощенному алгоритму. Как известно, коды символов в диапазоне 00-7F (латиница) для таблиц ASCII и Unicode абсолютно одинаковые, поэтому в программе код символа в кодировке Unicode получается дополнением кода символа в кодировке ASCII нулевым байтом. Например, символ "W" в наборе ASCII имеет код 0х57, а в наборе Unicode — 0х5700. В то время как, например, кириллический символ "М" имеет код 0хСС, то по упрощенному алгоритму он превращается в символ Unicode вида 0хСС00. Но на самом деле код русской буквы "М" в кодировке Unicode должен быть 0х1С04.
   
   Таким образом, чтобы избавиться от "кракозябр", необходимо модифицировать алгоритм перекодировки. Что мы сделаем: добавляем проверку вхождения кода символа в диапазон 7F-FF. Если это условие выполняется, то по упрощенному алгоритму конвертируем код символа в кодировку Unicode для диапазона кириллицы.
   
   Данные патча для файла DiskCheckup.exe v3.4.1003.0 (в отладчике x64Dbg):
   

    Показать / Скрыть текст

   
   

   >diskcheckup.exe
   0000639B:66->E9
   0000639C:8B->8C
   0000639D:C6->83
   0000639E:8B->08
   0000639F:4C->00
   000063A0:24->90
   000063A1:40->90
   0008E72C:00->83
   0008E72D:00->F8
   0008E72E:00->7F
   0008E72F:00->72
   0008E730:00->12
   0008E731:00->3D
   0008E732:00->FF
   0008E736:00->77
   0008E737:00->0B
   0008E738:00->0F
   0008E739:00->C8
   0008E73A:00->2D
   0008E73D:00->FC
   0008E73E:00->AF
   0008E73F:00->0F
   0008E740:00->C8
   0008E741:00->89
   0008E742:00->C6
   0008E743:00->66
   0008E744:00->89
   0008E745:00->F0
   0008E746:00->8B
   0008E747:00->4C
   0008E748:00->24
   0008E749:00->40
   0008E74A:00->E9
   0008E74B:00->53
   0008E74C:00->7C
   0008E74D:00->F7
   0008E74E:00->FF

   
   
   Эти данные можете скопировать в текстовый файл (ANSI) и сохранить под любым именем, но с расширением .1337. Например, PatchDiskCheckup.1337. Затем откройте исходный файл DiskCheckup.exe в отладчике x64Dbg (32-бит) и примените к нему полученный файл патча. После сохраните изменения в новый файл DiskCheckup.exe.

   
   
   Далее, кодировку файла SMARTDesc.csv необходимо изменить на ANSI (Windows-1251), обязательно. Также, при переводе содержимого файла, все строки с подсказками нужно заключить в двойные кавычки ( " ). Если внутри строки какое-либо выражение должно быть указано в кавычках, то вместо двойных кавычек используйте одинарные ( " ) или удвоенные одинарные ( "" ). Но ни в коем случае не используйте альтернативные варианты кавычек, типа « » или “ ”. Эти символы находятся во второй половине таблицы ASCII и при конвертации (по упрощенной схеме) в Unicode, для диапазона кириллицы, превращаются в "мусор".
   
   В результате, если все сделано правильно, вы получите корректное отображение символов кириллицы для текста подсказок.
   
   

   

   Сообщение отредактировал 27 января 2021 - 13:54

   Кто ищет, тот всегда найдет!
   

   12 февраля 2017 - 15:35 / #21
2. 

   Оффлайн

   Alecs962

   Звание: Сталкер

   Команда

   Сообщений: 101

   Создано тем: 5

   Рейтинг: 3

   Репа: (6|6|0)

   Баллы: 51

   Страна: не указана!

   Был: 2019-06-15 18:21

   Лайков: 1

   Цитата: Leserg

   Корень проблемы находится в исполняемом файле программы.....

   
   
   
   Огромное СПАСИБО Вам! Честно говоря именно Ваш ответ я ждал, в заковыристых ситуациях, продолжением которых идет ковыряние в коде программы только Ваша подсказка помогает решить проблему.
   12 февраля 2017 - 17:13 / #22
3. 

   Оффлайн

   Dodakaedr

   Звание: Новичок

   Проверенные

   Сообщений: 48

   Создано тем: 0

   Рейтинг: 2

   Репа: (1|1|0)

   Баллы: 56

   Был: 2024-04-19 21:39

   Лайков: 1

   Цитата: dinis124

   Кодировка 1252 в шестнадцатеричном значении выглядит как 4E4

   
   
   А нет типа таблицы как выглядят другие кодировки в шестнадцатеричном значении?
   6 марта 2022 - 15:15 / #23
4. 

   Оффлайн

   78Sergey

   Звание: Эксперт

   Мастер

   Сообщений: 504

   Создано тем: 52

   Рейтинг: 6

   Репа: (269|269|0)

   Баллы: 1661

   Страна: не указана!

   Был: 2024-04-17 23:55

   Лайков: 256

   Цитата: Dodakaedr

   А нет типа таблицы как выглядят другие кодировки в шестнадцатеричном значении?

   
   
   
   

   Внимание! У вас нет прав для просмотра скрытого текста.

   Dodakaedr нравится это сообщение.
   8 марта 2022 - 14:21 / #24