求快速分割字符串的函数

[beelet]

本人现抛砖引玉，贴一段代码。
private static String[] SplitTextAll(String line,String splitText)
{
int position1 = line.indexOf(splitText);

int length = splitText.length();
List<String> arr = new ArrayList<String>();

int positionstart = - length;
int positionend = position1;

while (positionend>=0)
{
positionend = line.indexOf(splitText, positionstart + length);
if(positionend==-1)
{
break;
}

arr.add(line.substring(positionstart + length, positionend));
positionstart = positionend;

}
arr.add(line.substring(positionstart + length));
return arr.toArray(new String[arr.size()]);

}
当前代码鲁棒性还有待提高。权当献丑，上面代码速度是JDK6自带split的4-5倍。求速度更快的代码。现程序的瓶颈在字符分割，谢谢！

[sunbo624]

JDK最大的问题 就是没提供一个split(str, separator, false);方法 不匹配正则 我也认为 带上正则 太难受 大部分代码是用不上的

[MiceRice]

楼主需要的只是按特定字符进行分隔，而JDK自带的是正则分隔，性能高是必然的。 不过看楼主这代码，优化空间应该还是不低的。

[beelet]

引用 11 楼 ldh911 的回复:

楼主需要的只是按特定字符进行分隔，而JDK自带的是正则分隔，性能高是必然的。 不过看楼主这代码，优化空间应该还是不低的。

所以求助帮忙，求优化。

[tony4geek]

看环境和需求。查找的东西不一样。

[MiceRice]

引用 12 楼 beelet 的回复:

所以求助帮忙，求优化。

先问问你的应用场景，你是以下哪种？因为用途越专一，可优化性能越高。 ◎ 只需要按特定字符匹配分割，比如"a,b,c"中的逗号（,）就够了，那么这个可以用 String.split(char c)，性能并不差； ◎ 需要按特定几个字符匹配分割，比如"a,b;c d.e"中的逗号、分号、空格和句号，那么这个没有现成的，不过自己写个split直接用switch来进行查找性能也很高； ◎ 需要按特定的字符串匹配分割，比如"aa123bb123cc"中的特征串“123”来进行分割。 从你实现的代码来看，应该是第三种。 那么indexOf的查找性能是不够高的（尤其是如果你的模式串123很长的情况下），可以去Google下匹配算法：KMP 或 Sunny （后者性能更高），用来做连续匹配查找的性能（尤其是在匹配模式串很长的情况下）是比较好的；当然这种算法要做预处理的，也就是会先对匹配模式串进行预计算，所以不要重复创建匹配计算对象。 嗯？你说你的匹配模式串很短很短？那恐怕优化空间就不高了，楼主你那段代码差不多可以了。

[beelet]

要分解的字符串是类似日志文件，字符串包含IP，URI，Time等。程序运行在Linux(Centos)上

[beelet]

引用 14 楼 ldh911 的回复:

[quote=引用 12 楼 beelet 的回复:] 所以求助帮忙，求优化。

先问问你的应用场景，你是以下哪种？因为用途越专一，可优化性能越高。 ◎ 只需要按特定字符匹配分割，比如"a,b,c"中的逗号（,）就够了，那么这个可以用 String.split(char c)，性能并不差； ◎ 需要按特定几个字符匹配分割，比如"a,b;c d.e"中的逗号、分号、空格和句号，那么这个没有现成的，不过自己写个split直接用switch来进行查找性能也很高； ◎ 需要按特定的字符串匹配分割，比如"aa123bb123cc"中的特征串“123”来进行分割。 从你实现的代码来看，应该是第三种。 那么indexOf的查找性能是不够高的（尤其是如果你的模式串123很长的情况下），可以去Google下匹配算法：KMP 或 Sunny （后者性能更高），用来做连续匹配查找的性能（尤其是在匹配模式串很长的情况下）是比较好的；当然这种算法要做预处理的，也就是会先对匹配模式串进行预计算，所以不要重复创建匹配计算对象。 嗯？你说你的匹配模式串很短很短？那恐怕优化空间就不高了，楼主你那段代码差不多可以了。[/quote] 匹配模式串目前最长是4个字符

[MiceRice]

引用 16 楼 beelet 的回复:

匹配模式串目前最长是4个字符

那么这四个字符是可以明确固定下来？还是经常变化的？

[C8974596581]

看了楼主的代码 感觉自愧不如啊

[sundaytian]

看了楼主的代码 感觉自愧不如啊

[hwx5400145]

我没测试过可能改进过一些参数了，

[宇宙最强皮皮虾]

[beelet]

引用 18 楼 ldh911 的回复:

[quote=引用 16 楼 beelet 的回复:] 匹配模式串目前最长是4个字符

那么这四个字符是可以明确固定下来？还是经常变化的？[/quote] 可以明确固定下来

[twtiqfn]

感觉不错的，加油

[javasleep]

String orgStr = “西安酷派;酷云分享”; 1. 最原始的字符串分割 long startTime1 = System.currentTimeMillis(); for (int i = 0; i < 1000000; i++) { orgStr.split(";"); } long endTime1 = System.currentTimeMillis(); System.out.println("split processTime:" + (endTime1 – startTime1)); 2. 使用效率较高的StringUtils字符串分割 long startTime2 = System.currentTimeMillis(); for (int i = 0; i < 1000000; i++) { StringUtils.split(orgStr, ";"); } long endTime2 = System.currentTimeMillis()； System.out.println("StringUtils.split processTime:" + (endTime2 – startTime2)); 3. 使用效率更高的StringTokenizer类分割字符串 long startTime3 = System.currentTimeMillis(); StringTokenizer st = new StringTokenizer(orgStr, ";"); for (int i = 0; i < 1000000; i++) { while (stringTokenizer.hasMoreTokens()) { st.nextToken(); } st= new StringTokenizer(orgStr, ";"); } long endTime3 = System.currentTimeMillis(); System.out.println("StringTokenizer processtime = " + (endTime3 - startTime3)); 4. 更优化的字符串分割方式 long startTime4 = System.currentTimeMillis(); String tmp = orgStr; for (int i = 0; i < 1000000; i++) { while (true) { String splitStr = null; int j = orgStr.indexOf(';'); if (j <0 ) { break; } } } long endTime4 = System.currentTimeMillis(); System.out.println("indexOf processtime = " + (endTime4 - startTime4)); 结果对比： split processTime:2500 StringUtils.split processTime:547 StringTokenizer processtime = 531 indexOf processtime = 15

[别闹腰不好]

用电子表测试的1!

[AckerKwok]

[yyfhz]

29L 的第4种方法看不懂，好像根本就没有拆分嘛。

[beelet]

自己顶一下帖子

[鸥翔鱼游1]

看帖是学习，回帖是礼貌。。。