[D]python 怎样加快for循环速度

[万籁俱寂寂]

现在要从数据库读取海量的数据，每次读10000行，逐行逐字段遍历，输出给客户，目前遍历的速度比较慢，请问有什么办法，可以使这个for循环速度加快？
以下是代码：

        db.getCursor()  
        while 1:
          rows = db.getData(10000)
          line = 0
          for row in rows:
            rowex = ''
            for item in row:
                if item == None:
                    item = ''
                elif isinstance(item, datetime.datetime):
                    item = "{:%Y%m%d%H%M%S}".format(item)
                else:
                    str(item).replace('\\','\\\\')                
                rowex = rowex + "\t{0}".format(item)
            rowex += "\n"
            self.write(rowex[1:])
            self.flush()
            line += 1
            if not (line % 10000):
                print (line)
          if line < 10000:
            break
          self.flush()
          db.finish()

----------------------------
Double活动：
原帖分数：20
加分：20

[angel_su]

想到一个：避免合并字串，直接写入文件...

[fibbery]

如果你是输出到标准输出，我建议你存到文件里。

[Rlay_2]

用缓存的吧, 我只记得xrange是缓存的,不会一次读入10000条数据, 这样可能会快点

[panghuhu250]

1. 有可能是db操作慢，把下面的循环中的代码换掉，看看只是从db中读出数据的速度,即把

          
for row in rows:
            rowex = ''
            for item in row:
                if item == None:
                    item = ''
                elif isinstance(item, datetime.datetime):
                    item = "{:%Y%m%d%H%M%S}".format(item)
                else:
                    str(item).replace('\\','\\\\')                
                rowex = rowex + "\t{0}".format(item)

改成：

for row in rows:
    rowex=''

2. 一个可能的bug：下面一行代码并不会改变item本身的值，只是产生了一个新字符串，然后把它丢掉了。

str(item).replace('\\','\\\\')

例如：

>>> s = "abcd"
>>> str(s).replace('a', 'e')
0: 'ebcd'
>>> s
1: 'abcd'
>>>

[socrates]

可以参考我的这篇文章《Python:通过执行100万次打印来比较C和python的性能，以及用C和python结合来解决性能问题的方法》

简单的说，将for循环部分用C实现，然后python调用，这样效率提高很多。

[深山老宅]

是要刻意修改代码的速度（即不考虑IO的限制）？
多次调用那个flush肯定慢