dbf读取可能是关于字符集的一个问题，求解

[homerlu]

多谢关注：
另一版的讨论：http://community.csdn.net/Expert/topic/4239/4239392.xml?temp=.8460962

/////////////////////////////////////////////////////////////
--------------------------------------------------------------------
测试文件下载：
请大家告诉大家，到这下载，在目录csdn里面的两个文件，test_rus.dbf、test_utf8.dbf
其栏位fullname为我所说的字段，分别为ISO Cyrillic 8859-5编码和utf-8编码
俄文test_rus.dbf和中文test_utf8.dbf

http://vip.sina.com.cn/cgi-bin/mydocument/share_list13.cgi?uid=homerlpx

-----------------------------------------------------------------------
问题：
我的原数据库是dbf文件的（德国客户公司提供的数据），我试用了两种方法进行处理：一、直接通过ado，dbf引擎读取dbf文件，结果数据出现了很多？，读出来的数据同dbf文件中的原数据比较，这些？都是把本不是0x3f的值转成了0x3f。二、通过sql语句将dbf转入mdb文件，发觉mdb文件中的数据已经不对了，那些数据也变成了0x3f。后来我试着用excel软件打开dbf文件，数据也是错误的（0x3f）,而用foxpro软件打开dbf文件，里面的数据在界面上开上去是“？”（不能识别，所以显示为？）但察看实际数据却跟原数据相同，这说明foxpro读取成功了。但如何通过ado读取成功呢？

-----------------------------------------------------------------------
我的读取代码：
CString strQuaryValue, strGB;
varTheVarlue = m_pRecordset->Fields->GetItem(_variant_t("fullname"))->Value;
if (varTheVarlue.vt != VT_NULL && varTheVarlue.vt != VT_EMPTY)
{
strQuaryValue = (char*)(_bstr_t)varTheVarlue;
UTF82GB(strQuaryValue, strGB);//自己写的转换函数
}
...

-----------------------------------------------------------------------------
字符转换：
读取出来的数据经下面的函数转换就可以使用了，中文的在中文系统下，俄文的要在俄文系统下看。没有俄文系统的俄文转后可能还是乱码，可以使一下中文的处理，过程是一样的

中文的转换
int UTF82GB(CString &strUni, CString & strGB)
{
char * pszGB = NULL;

char* pszUTF8 = strUni.GetBuffer(0);

wchar_t * pwszUnicode = NULL;

int nLen = MultiByteToWideChar (CP_UTF8, 0, pszUTF8, -1 ,NULL, 0);
pwszUnicode = new wchar_t[nLen];
memset(pwszUnicode, 0, nLen);

MultiByteToWideChar(CP_UTF8, 0, pszUTF8, -1, pwszUnicode, nLen);

nLen = WideCharToMultiByte(936, 0, pwszUnicode, nLen, NULL, 0, NULL, NULL);
pszGB = new char[nLen];
memset(pszGB, 0, nLen);
WideCharToMultiByte(936, 0, pwszUnicode, -1 , pszGB, nLen, NULL, NULL);

strGB = CString(pszGB);
strUni.UnlockBuffer();

delete [] pwszUnicode;
delete [] pszGB;

return strGB.GetLength();
}

ISO Cyrillic 8859-5编码到俄文的转换
int Cyrillic2RU(CString &strCyrillic, CString & strRU)
{
char * pszRU = NULL;

char* pszUTF8 = strCyrillic.GetBuffer(0);

wchar_t * pwszUnicode = NULL;

int nLen = MultiByteToWideChar(28595, 0, pszUTF8, -1 ,NULL, 0);
pwszUnicode = new wchar_t[nLen];
memset(pwszUnicode, 0, nLen);

MultiByteToWideChar(28595, 0, pszUTF8, -1, pwszUnicode, nLen);

nLen = WideCharToMultiByte(1251, 0, pwszUnicode, nLen, NULL, 0, NULL, NULL);
pszRU = new char[nLen];
memset(pszRU, 0, nLen);
WideCharToMultiByte(1251, 0, pwszUnicode, -1 , pszRU, nLen, NULL, NULL);

strRU = CString(pszRU);

delete [] pwszUnicode;
delete [] pszRU;

return strRU.GetLength();
}

[十豆三]

这说明foxpro读取成功了。但如何通过ado读取成功呢？

*-------------------------------------------------

你想用什么工具（FOXPRO，VC还是...）通过ADO来读取

[zsjiaming]

首先要搞清楚......能在简单系统正常显示俄语的字体是什么字休??

vfp中 可以使用 CPCONVERT(原代码页,转成代码页,字串) 转换代码页

但是我看那个表好象本身就是936代码页?,

因为你看到的是??是因为显示字体是宋体.
实际上在应该用西文字体,但不知是哪一个..

如果你找到了能正常显示字体的字体,那么才有可能知道这个字串转换是否正确.

[homerlu]

我的转换代码肯定是没问题的，这点我确定
但关键是我通过VC+ado读取出来的数据是错误的

我提供的下载数据中有中文utf8的数据，不一定要用俄文的做测试
但中文的也无法读取正确，现象是一样的

[zsjiaming]

对C不熟.

首先VC中的字串类是不是对utf-8支持?
如果不支持,你不应该用串这个类型处理,而要自已做一个类来处理这个数据.

其次这个表对方能不能改变数据类型,比如二进制备注字段可能会更好.
这主要原因还是各语言下对字串的支持不是太好

如果VC直接做DBF应该也是可以的,查一下DBF表头格式,直接字段进行字节读取,
这样读取的字节是原始数据.然后处理成其它格式.当然只适合数据转换,不适合数据处理.

[zsjiaming]

varTheVarlue = m_pRecordset->Fields->GetItem(_variant_t("fullname"))->Value

这是这样把ado中的数据赋直接给varThevarlue的.

这个varThevarlue是什么类型,是VC已经封装的字串类吗?
如果是VC的串类的话,你能不能用其它能支持utf-8的类型
我记得C有一个类型是unsign char ,这个应该支持utf-8吧.因为多年没用C了,帮不上忙.

[zsjiaming]

仔细看了一下utf-8的编码,它是8位编码,对于一个汉字要3个字节才能存贮.

而楼主能把"大连?",说明你已经正确转换了一部分编码.

对于16进制的双字节0800 - FFFF 转成为: 1110xxxx 10xxxxxx 10xxxxxx
"大连路"对应的UTF-8编码是 E5 A4 A7 E8 BF 9E E8 B7 AF (9个字节)

即然你能转换"大连",那么你要看看什么原因转换不了后一个字?

或者你把ADO读出的数据(原始数据,没转换的)按二进制形式写入一个文件.用winhex或其它二进制编辑软件看看它的编码是不是 E5 A4 A7 E8 BF 9E E8 B7 AF

看看问题出在哪里.

[homerlu]

多谢你的分析，
我的转换没问题。没错的关键是我读取出来的数据不对
我读取出来的为
E5 A4 A7 E8 BF 9E E8 B7 3F
而数据是E5 A4 A7 E8 BF 9E E8 B7 AF
我发觉出问题的数据都是读取出来变成了3F，不知道什么原因。

[zsjiaming]

Utf8 中文没问题.因为俄文不能正常显示,所以不知得到的数据是不是正确

中文的这样处理:

Select Strconv(test_utf8.FullName,11) As fullnmae From test_utf8 Into Cursor test_un

得到的test_un中fullname的内容如下,应该是正确,但俄文无法确定...
Liaoyuan Rd. (W.)
liao yuan xi lu
辽源西路
Dalian Rd.
da lian lu
大连路
Xuchang Rd.
xu chang lu
许昌路
Kunming Rd.
kun ming lu
昆明路
Zhoujiazui Rd.
zhou jia zui lu
周家嘴路
Dalian Rd.
da lian lu
大连路
.......................

[十豆三]

zsjiaming(路口就在不远处)

的方法应该就可以了。

[homerlu]

这确实应该是对的
我得到的结果是“大连？”
不过能否详细介绍一下你的读取过程，你的查询语句我不太会用。谢谢
Strconv是sql里面的函数吗？

[十豆三]

Strconv是VFP里的函数，不过VFP7以上才有。

*--------------------------------------
以下为此函数的说明：
在单字节, 双字节, UNICODE, 和本地特定表示字符间进行字符表达式转换。

STRCONV(cExpression, nConversionSetting [, nLocaleID])
返回值
字符型。返回转换后的字符表达式。

参数
cExpression
要 STRCONV( ) 转换的字符表达式。
nConversionSetting
转换类型。下表列出 nConversionSetting 值和可执行的转换类型: nConversionSetting 转换
1 将 cExpression 中的单字节转换为双字节
2 将 cExpression 中的双字节转换为单字节
3 将 cExpression 中的双字节 Hiragana 字符转换为双字节的 Katakana 字符
4 将 cExpression 中的双字节 Katakana 字符转换为双字节 Hiragana 字符
5 将双字节转换为 UNICODE(宽字符)
6 将 UNICODE(宽字符)转换为双字节
7 转换为与地区相关的小写形式
8 转换为与地区相关的大写形式
9 转换 cExpression 中的双字节字符到 UTF-8
10 转换 cExpression 中的 Unicode 字符到 UTF-8
11 转换 cExpression 中的 UTF-8 字符到双字节字符。
12 转换 cExpression 中的 UTF-8 字符到 UNICODE 字符。
13 转换 cExpression 中的单字节字符到编码后的 base64 二进制。
14 转换 cExpression 中的单字节字符到解码后的 base64 二进制。
15 转换 cExpression 中的单字节字符到编码后的 hexBinary。
16 转换 cExpression 中的单字节字符到解码后的 hexBinary。

nLocaleID
指定用于转换的 Locale ID。如果 nLocaleID 无效，或计算机不支持，则造成 "Invalid locale ID" 错误。如果省略 nLocaleID，则在默认情况下使用系统的 Locale ID。 nLocaleID 语言
1029 捷克
1031 德国
1033 英语 (默认)
1034 西班牙
1036 法语
1040 意大利语
1045 波兰
1046 葡萄牙语 (巴西)
2070 葡萄牙语 (葡萄牙)

备注
该函数在操作象 Hiragana 和 Katakana 这样的双字节字符集语言时是有用的。

[homerlu]

VFP里的啊，我不会用啊
我晕哦，狂晕

[homerlu]

不过也是，这是vfp的地盘，不过总算知道vfp的读取过程了
谢谢两位
顺便问一下，知道不知道vc的读取方式

[十豆三]

VC不知道。

如果你就这一个表需要转换，可以用上面方法转换了，然后再用VC读。

如果你有很多表，又是不断生成，即要做成接口方式，那就用VFP做一个程序或DLL，然后由VC调用即可。

[zsjiaming]

af->3f .....原因不太清楚.
可能原因:
AF是第9个字节,这个字节的最高低被干掉了.而前8个字节没问题,我想系统可能把前8个当成双字节字符处理,如果只有一个字节是大于0x7f,所以被转换了.


倒是找到一个方法可以解决3F的问题.

ado 控件里有个recordset对象,此对象有个属性是Charset
把这个属性赋值为"UTF-8"(注意是大写),读取资料应该没问题(对于utf-8这种编码)
VC不知怎么写,不知是不是下面这样:

m_pRecordset->Charset="UTF-8"

[zsjiaming]

不知你的软件是如何做的,要做成什么样.
windows系统也是使用unicde编码,winnt 是ucs-2 win2000是utf-16

UTF-16 可以在UCS-2下无损使用

但UTF-8 虽然在网络方面是用的比较多的,但UCS-2和UTF-16对它的支持并不好.

ADO使用的是unicode编码应该是utf-16.所以对于utf-8部分数据会损坏.

如果你是用来做管理系统的,建议你使用utf-16编码,输入的数据不是这种编码就转成这种编码.
输出时当然可以转成对方想要的编码.

sql2000使用的是UCS-2编码形式.

直接支持utf-8的数据库是oracle

如果要用ADO连接数据,看看用2.5版或以上的二个新对象record stream,其它stream有个charset属性可以支持uft-8,具体如何没用过.

[homerlu]

哦了，我忘了我这个问题

“二、通过sql语句将dbf转入mdb文件，发觉mdb文件中的数据已经不对了，那些数据也变成了0x3f。后来我试着用excel软件打开dbf文件，数据也是错误的（0x3f）,而用foxpro软件打开dbf文件，里面的数据在界面上开上去是“？”（不能识别，所以显示为？）但察看实际数据却跟原数据相同，这说明foxpro读取成功了。但如何通过ado读取成功呢？”

其实在我读取之前，也就是说在我将dbf文件转入mdb时，数据就已经不对了。
将其转为mdb的目的就是可以建索引，可以提升检索速度。因为dbf也有索引，但我并不知道vc怎么用。
由dbf转为mdb的sql语法：SELECT * INTO [tablenameinmdb] IN '[mdbfilename]' FROM [dbffilename]

我有些束手无策啊

[cn_popeye]

这是把dbf表里的字符读取出来。
现在我需要把阿拉伯文写入dbf，怎么做呀？
如下帖
http://community.csdn.net/Expert/TopicView1.asp?id=4358849

[homerlu]

问题还没解决，陷入困境了
先结贴给分了
谢谢诸位！