особые таблицы конвертации для UTF-8

Обсуждение вопросов по разработке программ в среде продуктов копорации "Progress Software"
MaximM
Старожил
Сообщения: 26
Зарегистрирован: 12 май 2010, 11:13

особые таблицы конвертации для UTF-8

Сообщение MaximM » 14 май 2014, 15:49

Вообщем опишу проблему, решение которой нигде не нашел, в том числе и на англоязычных форумах. Суть в следующем:

Есть некая БД, которая будет работать в терминальном режиме в кодировке 1250 (Польша). Сама БД в UTF-8. Прогрес для терминальных клиентов не позволяет ставить Cpinternal utf-8 cpterm utf-8. Поэтому приходиться использовать кодировку cpinternal 1250, т.е. родную для польских пользователей.

Часть информации в БД на русском языке. Каким образом ее отобразить в данном терминальном клиенте? На текущий момент на все такие буквы клиент выводит "?????"

Согласно документации по интернационализации существует механизм изменения таблиц convmap.cp.
Мной была сделана таблица конвертации из ibm866 в транслит, согласно правилам транслитерации http://ru.wikipedia.org/wiki/%D2%F0%E0% ... 8%F6%E5%E9

Вот она:
# This table contains the data needed to convert from code page ibm866 to
# code page 1250
CONVERT NOINVERSE
SOURCE-NAME "IBM866"
TARGET-NAME "1250"
TYPE "1"
/*000-015*/ 000 001 002 003 004 005 006 007 008 009 010 011 012 013 014 015
/*016-031*/ 016 017 018 019 020 021 022 023 024 025 026 027 028 029 030 031
/*032-047*/ 032 033 034 035 036 037 038 039 040 041 042 043 044 045 046 047
/*048-063*/ 048 049 050 051 052 053 054 055 056 057 058 059 060 061 062 063
/*064-079*/ 064 065 066 067 068 069 070 071 072 073 074 075 076 077 078 079
/*080-095*/ 080 081 082 083 084 085 086 087 088 089 090 091 092 093 094 095
/*096-111*/ 096 097 098 099 100 101 102 103 104 105 106 107 108 109 110 111
/*112-127*/ 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127
/*128-143*/ 065 066 086 071 068 069 142 090 073 074 075 076 077 078 079 080
/*144-159*/ 082 083 084 085 070 072 067 200 138 140 034 059 039 201 218 194
/*160-175*/ 097 098 118 103 100 101 158 122 105 106 107 108 109 110 111 112
/*176-191*/ 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191
/*192-207*/ 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207
/*208-223*/ 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223
/*224-239*/ 114 115 116 117 102 104 099 232 154 156 034 091 039 233 250 226
/*240-255*/ 203 235 204 236 206 238 221 253 248 249 250 251 252 253 254 255
ENDTABLE
ENDCONVERT

CONVERT NOINVERSE
SOURCE-NAME "1250"
TARGET-NAME "ibm866"
TYPE "1"
/*000-015*/ 000 001 002 003 004 005 006 007 008 009 010 011 012 013 014 015
/*016-031*/ 016 017 018 019 020 021 022 023 024 025 026 027 028 029 030 031
/*032-047*/ 032 033 034 035 036 037 038 039 040 041 042 043 044 045 046 047
/*048-063*/ 048 049 050 051 052 053 054 055 056 057 058 059 060 061 062 063
/*064-079*/ 064 065 066 067 068 069 070 071 072 073 074 075 076 077 078 079
/*080-095*/ 080 081 082 083 084 085 086 087 088 089 090 091 092 093 094 095
/*096-111*/ 096 097 098 099 100 101 102 103 104 105 106 107 108 109 110 111
/*112-127*/ 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127
/*128-143*/ 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143
/*144-159*/ 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159
/*160-175*/ 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175
/*176-191*/ 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191
/*192-207*/ 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207
/*208-223*/ 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223
/*224-239*/ 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239
/*240-255*/ 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255
ENDTABLE
ENDCONVERT

Т.е. данные исходного кода, в кодировке ibm866 корректно транслируються в транслит и вполне читабельны на польской консоли. А вот данные из БД к кодировке utf-8 - нет.
Причина в том, что в стандартном utf-8.dat задана простая таблица конвертации:
CONVERT
SOURCE-NAME "1250"
TARGET-NAME "UTF-8"
TYPE "19"
/*000-015*/ 000 001 002 003 004 005 006 007 008 009 010 011 012 013 014 015
/*016-031*/ 016 017 018 019 020 021 022 023 024 025 026 027 028 029 030 031
/*032-047*/ 032 033 034 035 036 037 038 039 040 041 042 043 044 045 046 047
/*048-063*/ 048 049 050 051 052 053 054 055 056 057 058 059 060 061 062 063
/*064-079*/ 064 065 066 067 068 069 070 071 072 073 074 075 076 077 078 079
/*080-095*/ 080 081 082 083 084 085 086 087 088 089 090 091 092 093 094 095
/*096-111*/ 096 097 098 099 100 101 102 103 104 105 106 107 108 109 110 111
/*112-127*/ 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127
/*128-143*/ 0x20AC 129 0x201A 131 0x201E 0x2026 0x2020 0x2021 136 0x2030 0x160 0x2039 0x15A 0x164 0x17D 0x179
/*144-159*/ 144 0x2018 0x2019 0x201C 0x201D 0x2022 0x2013 0x2014 152 0x2122 0x161 0x203A 0x15B 0x165 0x17E 0x17A
/*160-175*/ 160 0x2C7 0x2D8 0x141 164 0x104 166 167 168 169 0x15E 171 172 173 174 0x17B
/*176-191*/ 176 177 0x2DB 0x142 180 181 182 183 184 0x105 0x15F 187 0x13D 0x2DD 0x13E 0x17C
/*192-207*/ 0x154 193 194 0x102 196 0x139 0x106 199 0x10C 201 0x118 203 0x11A 205 206 0x10E
/*208-223*/ 0x110 0x143 0x147 211 212 0x150 214 215 0x158 0x16E 218 0x170 220 221 0x162 223
/*224-239*/ 0x155 225 226 0x103 228 0x13A 0x107 231 0x10D 233 0x119 235 0x11B 237 238 0x10F
/*240-255*/ 0x111 0x144 0x148 243 244 0x151 246 247 0x159 0x16F 250 0x171 252 253 0x163 0x2D9
ENDTABLE
ENDCONVERT

Но она описывает только польские буквы, и непонятно как дополнить еще одну неинверсную таблицу для русских букв из UTF-8 в 1250, тоже методом транслитерации.
Документация описывает, что нужно использовать таблицу с type = 20. Но как задать правила для такой таблицы, я просто не понимаю.

Аватара пользователя
Arelav
Администратор
Сообщения: 1881
Зарегистрирован: 25 мар 2005, 17:05
Откуда: Progress Technologies

Re: особые таблицы конвертации для UTF-8

Сообщение Arelav » 20 май 2014, 14:27

MaximM, попробуйте задать вопрос здесь https://community.progress.com/progress ... fault.aspx
Там найдутся как разработчики из Progress, так и специалисты из PTS (Progress Tech Support).
Думаю, там помогут ;-)