c++中获取中文、英文、中文标点、英文标点的个数

xiaoxiaokun888 2016-03-22 10:04:07
如题:
环境:Unicode
...全文
258 6 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
6 条回复
切换为时间正序
请发表友善的回复…
发表回复
赵4老师 2016-03-22
  • 打赏
  • 举报
回复
#pragma comment(lib,"user32")
#pragma comment(lib,"gdi32")
#include <conio.h>
#include <stdio.h>
#include <stdlib.h>
#include <windows.h>
extern "C" HWND WINAPI GetConsoleWindow();
void HideTheCursor() {
    CONSOLE_CURSOR_INFO cciCursor;
    HANDLE hStdOut = GetStdHandle(STD_OUTPUT_HANDLE);

    if(GetConsoleCursorInfo(hStdOut, &cciCursor)) {
        cciCursor.bVisible = FALSE;
        SetConsoleCursorInfo(hStdOut, &cciCursor);
    }
}
void ShowTheCursor() {
    CONSOLE_CURSOR_INFO cciCursor;
    HANDLE hStdOut = GetStdHandle(STD_OUTPUT_HANDLE);

    if(GetConsoleCursorInfo(hStdOut, &cciCursor)) {
        cciCursor.bVisible = TRUE;
        SetConsoleCursorInfo(hStdOut, &cciCursor);
    }
}
int main() {
    HWND  hwnd;
    HDC   hdc;
    HFONT hfont;
    wchar_t wc[2];

    system("color F0");
    system("cls");
    HideTheCursor();
    hwnd  = GetConsoleWindow();
    hdc   = GetDC(hwnd);
    hfont = CreateFont(48,0,0,0,0,0,0,0,GB2312_CHARSET ,0,0,0,0,"宋体-方正超大字符集");
    SelectObject(hdc,hfont);
    wc[0]=0xD854u;
    wc[1]=0xDC00u;
    TextOutW(hdc,10,10,wc,2);
    DeleteObject(hfont);
    ReleaseDC(hwnd,hdc);
    getch();
    system("color 07");
    system("cls");
    ShowTheCursor();
    return 0;
}
#if 0
代理项或代理项对是一对共同表示单个字符的 16 位 Unicode 编码值。需要记住的关键一点是:
代理项对实际上是 32 位单个字符,不能再假定一个 16 位 Unicode 编码值正好映射到一个字符。

使用代理项对
代理项对的第一个值是高代理项,包含介于 U+D800 到 U+DBFF 范围内的 16 位代码值。
该对的第二个值是低代理项,包含介于 U+DC00 到 U+DFFF 范围内的值。通过使用代理项对,
16 位 Unicode 编码系统可以对已由 Unicode 标准定义的一百多万个其他字符 (220) 进行寻址。

在传递给 XmlTextWriter 方法的任何字符串中都可以使用代理项字符。不过,代理项字符在编写的
XML 中应该有效。例如,万维网联合会 (W3C) 建议不允许在元素或属性的名称中使用代理项字符。
如果字符串包含无效的代理项对,则引发异常。

另外,可以使用 WriteSurrogateCharEntity 写出与代理项对相对应的字符实体。字符实体以十六
进制格式写出,并用以下公式生成:

(highChar -0xD800) * 0x400 + (lowChar -0xDC00) + 0x10000

如果字符串包含无效的代理项对,则引发异常。下面的示例显示将代理项对作为输入的 WriteSurrogateCharEntity 方法。

C#复制
 // The following line writes 𐀀.
WriteSurrogateCharEntity ('\uDC00', '\uD800');
下面的示例生成一个代理项对文件,将其加载到 XmlReader 中,并用新的文件名保存文件。
然后,原始文件和新文件被加载回应用程序的 XML 文档对象模型 (DOM) 结构中以进行比较。

C#复制
 char lowChar, highChar;
char [] charArray = new char[10];
FileStream targetFile = new FileStream("SurrogatePair.xml",
      FileMode.Create, FileAccess.ReadWrite, FileShare.ReadWrite);

lowChar = Convert.ToChar(0xDC00);
highChar = Convert.ToChar(0xD800);
XmlTextWriter tw = new XmlTextWriter(targetFile, null);
tw.Formatting = Formatting.Indented;
tw.WriteStartElement("root");
tw.WriteStartAttribute("test", null);
tw.WriteSurrogateCharEntity(lowChar, highChar);
lowChar = Convert.ToChar(0xDC01);
highChar = Convert.ToChar(0xD801);
tw.WriteSurrogateCharEntity(lowChar, highChar);
lowChar = Convert.ToChar(0xDFFF);
highChar = Convert.ToChar(0xDBFF);
tw.WriteSurrogateCharEntity(lowChar, highChar);

// Add 10 random surrogate pairs.
// As Unicode, the high bytes are in lower
// memory; for example, word 6A21 as 21 6A.
// The high or low is in the logical sense.
Random random = new Random();
for (int i = 0; i < 10; ++i) {
      lowChar = Convert.ToChar(random.Next(0xDC00, 0xE000));
      highChar = Convert.ToChar(random.Next(0xD800, 0xDC00));
      charArray[i] = highChar;
      charArray[++i] = lowChar;
}
tw.WriteChars(charArray, 0, charArray.Length);

for (int i = 0; i < 10; ++i) {
      lowChar = Convert.ToChar(random.Next(0xDC00, 0xE000));
      highChar = Convert.ToChar(random.Next(0xD800, 0xDC00));
      tw.WriteSurrogateCharEntity(lowChar, highChar);
}

tw.WriteEndAttribute();
tw.WriteEndElement();
tw.Flush();
tw.Close();

XmlTextReader r = new XmlTextReader("SurrogatePair.xml");

r.Read();
r.MoveToFirstAttribute();
targetFile = new FileStream("SurrogatePairFromReader.xml",
       FileMode.Create, FileAccess.ReadWrite, FileShare.ReadWrite);

tw = new XmlTextWriter(targetFile, null);
tw.Formatting = Formatting.Indented;
tw.WriteStartElement("root");
tw.WriteStartAttribute("test", null);
tw.WriteString(r.Value);
tw.WriteEndAttribute();
tw.WriteEndElement();
tw.Flush();
tw.Close();

// Load both result files into the DOM and compare.
XmlDocument doc1 = new XmlDocument();
XmlDocument doc2 = new XmlDocument();
doc1.Load("SurrogatePair.xml");
doc2.Load("SurrogatePairFromReader.xml");
if (doc1.InnerXml != doc2.InnerXml) {
      Console.WriteLine("Surrogate Pair test case failed");
}
在使用 WriteChars 方法(一次写出一个缓冲区的数据)写出时,输入中的代理项对可能
会在一个缓冲区内被意外拆分。由于代理项值是定义完善的,如果 WriteChars 遇到来自
较低范围或者较高范围的 Unicode 值,它将该值标识为代理项对的一半。当遇到
 WriteChars 将导致从拆分代理项对的缓冲区写入的情况时,将引发异常。使用
  IsHighSurrogate 方法检查缓冲区是否以高代理项字符结束。如果缓冲区中的最后一个
  字符不是高代理项,可以将该缓冲区传递给 WriteChars 方法。

请参见
概念
使用 XmlTextWriter 创建格式正确的 XML
XmlTextWriter 的 XML 输出格式设置
XmlTextWriter 的命名空间功能

#endif
ipqtjmqj 2016-03-22
  • 打赏
  • 举报
回复
引用 4 楼 zhao4zhong1 的回复:
[quote=引用 2 楼 ipqtjmqj 的回复:] 先弄清楚你的unicode是utf-16小端,还是utf-8. 然后查询unicode中的汉字, 标点的编码范围.我记得汉字基本区的范围是4e00~9ffc,还有扩展A,B,C,D,E,F区. 还有笔画, 康熙部首, 部首扩展,兼容,兼容扩展,这些都算作汉字. 中文标点: https://en.wikipedia.org/wiki/CJK_Symbols_and_Punctuation
够全! 奉劝楼主还是保存在wstring中更靠谱。[/quote] wstring好像是两个字节的吧, 像扩展B区的汉字就会被算作两个字符. 可以typedef std::basic_string<unsigned long> qstring;这样一个字符4个字节
赵4老师 2016-03-22
  • 打赏
  • 举报
回复
引用 2 楼 ipqtjmqj 的回复:
先弄清楚你的unicode是utf-16小端,还是utf-8. 然后查询unicode中的汉字, 标点的编码范围.我记得汉字基本区的范围是4e00~9ffc,还有扩展A,B,C,D,E,F区. 还有笔画, 康熙部首, 部首扩展,兼容,兼容扩展,这些都算作汉字. 中文标点: https://en.wikipedia.org/wiki/CJK_Symbols_and_Punctuation
够全! 奉劝楼主还是保存在wstring中更靠谱。
ipqtjmqj 2016-03-22
  • 打赏
  • 举报
回复
引用 2 楼 ipqtjmqj 的回复:
先弄清楚你的unicode是utf-16小端,还是utf-8. 然后查询unicode中的汉字, 标点的编码范围.我记得汉字基本区的范围是4e00~9ffc,还有扩展A,B,C,D,E,F区. 还有笔画, 康熙部首, 部首扩展,兼容,兼容扩展,这些都算作汉字. 中文标点: https://en.wikipedia.org/wiki/CJK_Symbols_and_Punctuation
中文标点补充, 全角的:;!?在https://en.wikipedia.org/wiki/Halfwidth_and_fullwidth_forms#In_Unicode
ipqtjmqj 2016-03-22
  • 打赏
  • 举报
回复
先弄清楚你的unicode是utf-16小端,还是utf-8. 然后查询unicode中的汉字, 标点的编码范围.我记得汉字基本区的范围是4e00~9ffc,还有扩展A,B,C,D,E,F区. 还有笔画, 康熙部首, 部首扩展,兼容,兼容扩展,这些都算作汉字. 中文标点: https://en.wikipedia.org/wiki/CJK_Symbols_and_Punctuation
xiaoxiaokun888 2016-03-22
  • 打赏
  • 举报
回复
保存在string中
基于C++的独立编译的英文语音合成项目源码+运行说明+模型.zip 【说明】 【1】项目代码完整且功能都验证ok,确保稳定可靠运行后才上传。欢迎下载使用!在使用过程,如有问题或建议,请及时私信沟通,帮助解答。 【2】项目主要针对各个计算机相关专业,包括计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网等领域的在校学生、专业教师或企业员工使用。 【3】项目具有较高的学习借鉴价值,不仅适用于小白学习入门进阶。也可作为毕设项目、课程设计、大作业、初期项目立项演示等。 【4】如果基础还行,或热爱钻研,可基于此项目进行二次开发,DIY其他不同功能,欢迎交流学习。 【注意】 项目下载解压后,项目名字和项目路径不要用,建议解压重命名为英文名字后再运行!有问题私信沟通,祝顺利! 基于C++的独立编译的英文语音合成项目源码+运行说明+模型.zip 进入Build 目录,执行以下命令: cmake .. make - 编译完成后,会在Build 目录生成 tts_test 执行程序 - 运行下列命令,测试语音合成(TTS): ./tts_test ../test.txt ../models/single_speaker_fast.bin out.wav - 运行下列命令,测试英文语音合成(TTS): ./tts_test ../test_eng.txt ../models/single_speaker_english.bin out_eng.wav 该命令行: 第一个参数为是文本文件的路径,该文件包含需要被合成语音的文本。 第二个参数是前面提到的模型的路径,文件名开头的single 和 multi 表示模型包含了单个说话人还是多个说话人。推荐单说话人模型:single_speaker_fast.bin, 合成的速度较快,合成的音质也还行。 第三个参数是合成的音频文件,程序运行完之后生成该文件,可以用播放器打开。 - 以上的测试程序实现在 test/main.cpp ,具体合成的接口定义在 include/SynthesizerTrn.h, 如下: int16_t * infer(const string & line, int32_t sid, float lengthScale, int32_t & dataLen) 该接口的: 第一个参数是待合成的语音的字符串。 第二个参数指定说话人的id 用于合成语音,该参数对多说话人模型有效,对单说话人模型,固定为0。说话人的个数可由接口 int32_t getSpeakerNum() 返回,有效id 为 0 到 该接口返回的说话人数量减1。 第三个参数 lengthScale 表示合成语音的语速,其值越大表示语速越慢。 - 待合成的文本可以包含阿拉伯数字和标点,但因为本项目的 文本正则化(TN) 模块还很粗糙,对于英文字符,会直接忽略。也因为文本正则化(TN) 模块还很粗糙,对不同语境下的多音字发音有时候会不准确。

65,189

社区成员

发帖
与我相关
我的任务
社区描述
C++ 语言相关问题讨论,技术干货分享,前沿动态等
c++ 技术论坛(原bbs)
社区管理员
  • C++ 语言社区
  • encoderlee
  • paschen
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
  1. 请不要发布与C++技术无关的贴子
  2. 请不要发布与技术无关的招聘、广告的帖子
  3. 请尽可能的描述清楚你的问题,如果涉及到代码请尽可能的格式化一下

试试用AI创作助手写篇文章吧