多线程数组，数据库操作疑问。

toponly 2004-11-19 10:17:48

多线程同时往一个数组里add数据时会不会有冲突。我做了个试验好像没有冲突，但我又没有理论依据，小弟刚学c#，请多多指教。

我只所有这样做是为了解决多线程写数据库的问题，我用多线程往一个库里写数据的时候针对每一个线程序建一个数据库连接，效率很低而且还有出错现象，后来我就定义一个数组，每个线程序往里面add数据，然后一个单独的线程定时lock的情况下从里面取数据然后操作，这样操作就变成了顺序，我想我的做法不是很正确，希望对多线程操作数据库有经验的朋友帮忙指点一二。谢过。

...全文

212 7 打赏收藏转发到动态举报

写回复

7 条回复

切换为时间正序

请发表友善的回复…

发表回复

toponly 2004-11-19

打赏
举报

回复

我用Mutex搞定了，但感觉效率很低。

OneDotRed 2004-11-19

打赏
举报

回复

使用互斥

toponly 2004-11-19

打赏
举报

回复

那还请问一下，如果我不用连接池的话，那我同时Start()300个线程，而实际在运行的会有多少呢，我看了连接池默认的是好像是25个。

但不知道 kerlw(科尔) 所提及的队列是什么，听起来十分适合我的要求，具体该如何操作，或者提供代码，谢谢，我搜索了一下，这些好像是很多进行多线程编程朋友所关心的。

kerlw 2004-11-19

打赏
举报

回复

用数组的思路呢差不多了，不过用的东东不好而已。建议使用队列。每个线程把要写的数据加入到队列，另外一个线程读取队列，写入数据库，就这么简单。

eradium 2004-11-19

打赏
举报

回复

其实多线程写数据库也没什么，数据库本来就是设计成多个用户同时使用的。
只要使用事务，保证某些操作要么一次做完，要么都不做，就可以了。

你上面那个方法也同样要考虑某些数据库操作之间关联性。
你那样只能减少数据库的连接数目，不能保证数据的完整性。还不如使用事务，各个线程自己写数据库。
线程多的话，可以考虑使用数据库连接池。

toponly 2004-11-19

打赏
举报

回复

那我用上面那个方法做可以吗？请问如何正确的使用。

popstartzhang 2004-11-19

打赏
举报

回复

用多線程操作數據庫必然會造成數據衝突...不建議這樣操作

在《爬虫/蜘蛛程序的制作（C#语言）》一文中，已经介绍了爬虫程序实现的基本方法，可以说，已经实现了爬虫的功能。只是它存在一个效率问题，下载速度可能很慢。这是两方面的原因造成的： 1. 分析和下载不能同步进行。在《爬虫/蜘蛛程序的制作（C#语言）》中已经介绍了爬虫程序的两个步骤：分析和下载。在单线程的程序中，两者是无法同时进行的。也就是说，分析时会造成网络空闲，分析的时间越长，下载的效率越低。反之也是一样，下载时无法同时进行分析，只有停下下载后才能进行下一步的分析。问题浮出水面，我想大家都会想到：把分析和下载用不同的线程进行，问题不就解决了吗？ 2. 只是单线程下载。相信大家都有用过网际快车等下载资源的经历，它里面是可以设置线程数的（近年版本默认是10，曾经默认是5）。它会将文件分成与线程数相同的部分，然后每个线程下载自己的那一部分，这样下载效率就有可能提高。相信大家都有加多线程数，提升下载效率的经历。但细心的用户会发现，在带宽一定的情况下，并不是线程越多，速度越快，而是在某一点达到峰值。爬虫作为特殊的下载工具，不具备多线程的能力何以有效率可谈？爬虫在信息时代的目的，难道不是快速获取信息吗？所以，爬虫需要有多线程（可控数量）同时下载网页。好了，认识、分析完问题，就是解决问题了： 多线程在C#中并不难实现。它有一个命名空间：System.Threading，提供了多线程的支持。要开启一个新线程，需要以下的初始化： ThreadStart startDownload = new ThreadStart( DownLoad ); //线程起始设置：即每个线程都执行DownLoad()，注意：DownLoad()必须为不带有参数的方法 Thread downloadThread = new Thread( startDownload ); //实例化要开启的新类 downloadThread.Start();//开启线程由于线程起始时启动的方法不能带有参数，这就为多线程共享资源添加了麻烦。不过我们可以用类级变量（当然也可以使用其它方法，笔者认为此方法最简单易用）来解决这个问题。知道开启多线程下载的方法后，大家可能会产生几个疑问： 1. 如何控制线程的数量？ 2. 如何防止多线程下载同一网页？ 3. 如何判断线程结束？ 4. 如何控制线程结束？下面就这几个问题提出解决方法： 1. 线程数量我们可以通过for循环来实现，就如同当年初学编程的打点程序一样。比如已知用户指定了n（它是一个int型变量）个线程吧，可以用如下方法开启五个线程 Thread[] downloadThread;//声名下载线程，这是C#的优势，即数组初始化时，不需要指定其长度，可以在使用时才指定。这个声名应为类级，这样也就为其它方法控件它们提供了可能 ThreadStart startDownload = new ThreadStart( DownLoad );//线程起始设置：即每个线程都执行DownLoad() downloadThread = new Thread[ n ];//为线程申请资源，确定线程总数 for( int i = 0; i < n; i++ )//开启指定数量的线程数 { downloadThread[i] = new Thread( startDownload );//指定线程起始设置 downloadThread[i].Start();//逐个开启线程 } 好了，实现控制开启线程数是不是很简单啊？ 2. 下面出现的一个问题：所有的线程都调用DonwLoad()方法，这样如何避免它们同时下载同一个网页呢？这个问题也好解决，只要建立一下Url地址表，表中的每个地址只允许被一个线程申请即可。具体实现：可以利用数据库，建立一个表，表中有四列，其中一列专门用于存储Url地址，另外两列分别存放地址对应的线程以及该地址被申请的次数，最后一列存放下载的内容。（当然，对应线程一列不是必要的）。当有线程申请后，将对应线程一列设定为当前线程编号，并将是否申请过一列设置为申请一次，这样，别的线程就无法申请该页。如果下载成功，则将内容存入内容列。如果不成功，内容列仍为空，作为是否再次下载的依据之一，如果反复不成功，则进程将于达到重试次数（对应该地址被申请的次数，用户可设）后，申请下一个Url地址。主要的代码如下（以VFP为例）： CREATE TABLE (ctablename) ( curl M , ctext M , ldowned I , threadNum I ) &&建立一个表ctablename.dbf，含有地址、文本内容、已经尝试下载次数、线程标志（初值为-1，线程标志是从0开始的整数）四个字段 cfullname = (ctablename) + '.dbf'&&为表添加扩展名 USE (cfullname) GO TOP LOCATE FOR (EMPTY( ALLTRIM( ctext ) ) AND ldowned < 2 AND ( threadNum = thisNum OR threadNum = - 1) ) &&查找尚未下载成功且应下载的属于本线程权限的Url地址，thisNum是当前线程的编号，可以通过参数传递得到 gotUrl = curl recNum = RECNO() IF recNum <= RECCOUNT() THEN &&如果在列表中找到这样的Url地址 UPDATE (cfullname) SET ldowned = ( ldowned + 1 ) , threadNum = thisNum WHERE RECNO() = recNum &&更新表，将此记录更新为已申请，即下载次数加1，线程标志列设为本线程的编号。 cfulltablename = (ctablename) + '.dbf' USE (cfulltablename) SET EXACT ON LOCATE FOR curl = (csiteurl) &&csiteurl是参数，为下载到的内容所对应的Url地址 recNumNow = RECNO()&&得到含有此地址的记录号 UPDATE (cfulltablename) SET ctext = (ccontent) WHERE RECNO() = recNumNow &&插入对应地址的对应内容 ctablename = (ctablename) + '.dbf' USE (ctablename) GO TOP SET EXACT ON LOCATE FOR curl = (cnewurl) &&查找有无此地址 IF RECNO() > RECCOUNT() THEN &&如果尚无此地址 SET CARRY OFF INSERT INTO (ctablename) ( curl , ctext , ldowned , threadNum ) VALUES ( (cnewurl) , "" , 0 , -1 ) &&将主页地址添加到列表好了，这样就解决了多线程中，线程冲突。当然，去重问题也可以在C#语言内解决，只根建立一个临时文件（文本就可以），保存所有的Url地址，差对它们设置相应的属性即可，但查找效率可能不及数据库快。 3. 线程结束是很难判断的，因为它总是在查找新的链接。用者认为可以假设：线程重复N次以后还是没有能申请到新的Url地址，那么可以认为它已经下载完了所有链接。主要代码如下： string url = ""; int times = 0; while ( url == "" )//如果没有找到符合条件的记录，则不断地寻找符合条件的记录 { url = getUrl.GetAUrl( …… );//调用GetAUrl方法，试图得到一个url值 if ( url == "" )//如果没有找到 { times ++;//尝试次数自增 continue; //进行下一次尝试 } if ( times > N ) //如果已经尝试够了次数，则退出进程 { downloadThread[i].Abort; //退出进程 } else//如果没有尝试够次数 { Times = 0; //尝试次数归零处理 } //进行下一步针对得到的Url的处理 } 4. 这个问题相对简单，因为在问题一中已经建议，将线程声名为类级数组，这样就很易于控制。只要用一个for循环即可结束。代码如下： for( int i = 0; i < n; i++ )//关闭指定数量n的线程数 { downloadThread[i].Abort();//逐个关闭线程 } 好了，一个蜘蛛程序就这样完成了，在C#面前，它的实现原来如此简单。这里笔者还想提醒读者：笔者只是提供了一个思路及一个可以实现的解决方案，但它并不是最佳的，即使这个方案本身，也有好多可以改进的地方，留给读者思考。最后说明一下我所使用的环境： winXP sp2 Pro VFP 9.0 Visual Studio 2003 .net中文企业版本文来自CSDN博客，转载请标明出处：http://blog.csdn.net/peter1_jiang/archive/2007/10/23/1839137.aspx

绝对想你所想，超乎想象！够详细，够给力！目录 1. Jvm内存空间结构是什么样的？ 1 程序计数器 1 Java栈 1 本地方法栈 2 堆 2 方法区 3 2. Jvm堆内存的划分结构和优化 3 2.1. 原理 6 2.1.1. 年轻代 6 2.1.2. 年老代 6 2.1.3. 持久代 7 2.2. 参数说明 8 2.3. 疑问解答 9 2.4. 垃圾回收器选择 10 2.4.1. 串行收集器 10 2.4.2. 并行收集器（吞吐量优先） 10 2.4.3. 并发收集器（响应时间优先） 11 2.4.4. 其它垃圾回收参数 11 2.5. 辅助信息参数设置 12 2.6. 关于参数名称等 13 3. JVM服务参数调优实战 14 3.1. 大型网站服务器案例 14 3.2. 内部集成构建服务器案例 15 4. 常量池在jvm的哪个空间里边？ 17 5. jvm垃圾回收是什么时候触发的？ 17 5.1. 那究竟GC为我们做了什么操作呢？ 17 5.1.1. Jvm怎么判断对象可以回收了？ 18 5.2. 下面我们来看一下几种垃圾收集算法 18 5.2.1. 在JDK1.2之前，使用的是引用计数器算法， 18 5.2.2. 根搜索算法 19 5.2.3. 引用的分类 19 5.3. 方法区也是会被回收的 20 5.4. 下面我们来逐一介绍一下每个垃圾回收器。 22 5.4.1. 1、 Serial收集器 22 5.4.2. 2、 ParNew收集器 23 5.4.3. 3、 ParallelScavenge 23 5.4.4. 4、 ParallelOld 24 5.4.5. 5、 SerialOld 24 5.4.6. 6、CMS 24 5.4.7. 7、 GarbageFirst(G1 ) 26 6. 常量池如何触发的垃圾回收？ 28 7. 垃圾回收从哪里开始检测树进行回收？根节点是什么？ 28 7.1. 目前java中可作为GC Root的对象有 29 8. Redis怎么判断对象可以清理了？ 29 9. Redis怎么提高命中率？ 29 10. Finalize中调用垃圾回收方法，再调用方法会回收么？ 29 11. Int进行自增操作，如何保证线程安全？ 30 12. Int a=1是原子方法，布尔类型进行赋值是原子方法么？ 30 12.1. 多线程原子操作的安全性 31 13. Cas怎么实现unsafe？ 32 13.1. Unsafe 32 13.2. CAS 32 13.3. 由CAS分析AtomicInteger原理 33 13.4. CAS的缺点 35 14. Map数据结构？ 35 14.1. 一、定义 36 14.2. 二、构造函数 36 14.3. 三、数据结构 36 14.4. 四、存储实现：put(key,vlaue) 38 14.5. 五、读取实现：get(key) 41 15. 一百万数据放Arraylist数组，怎么放？在哪个代？ 42 15.1.1. 调整数组容量 42 16. Hashmap和 concurrentHashmap除了线程安全还有什么区别，put的时候是怎么处理的。 43 17. 数据库组合索引，储存在一个叶子节点还是多个？ 44 17.1. 索引的利弊与如何判定，是否需要索引： 44 17.1.1. 索引的好处 44 17.1.2. 索引的弊端 44 17.1.3. 如何判定是否须要创建索引 44 17.2. 复合索引优化 45 17.3. 下面是一些常见的索引限制问题 45 17.3.1. 使用不等于操作符(<>, !=) 45 17.3.2. 使用 is null 或 is not null 45 17.3.3. 使用函数 45 17.3.4. 比较不匹配的数据类型 46 17.4. 关于索引的排序 46 18. 数据库没有orderby默认如何排序。 46 19. 分布式事务如何实现。 46 19.1. 1 事务/分布式事务 47 19.1.1. 1.1 事务 47 19.1.2. 1.2 分布式事务与 XA 规范 47 19.2. 2 两阶段提交协议 47 19.2.1. 2.1 预提交阶段 48 19.2.2. 2.2 提交阶段 48 19.3. 3 分布式事务应用框架 48 19.3.1. 3.1 角色 48 19.3.2. 3.2 交互时序 49 19.3.3. 3.3 关键点 50 19.3.4. 参考 50 20. Jvm底层源码 51 21. 二叉树怎么实现的？ 51 22. Executourservice 数据结构。哪种只能执行一个线程。 Cache怎么实现的 fixed线程如果中断，线程回自己销毁么？ 51 23. 栅栏的原理和实现。 51 23.1. 1. CyclicBarrier简介 51 23.2. 2. CyclicBarrier数据结构 52 23.3. 3. CyclicBarrier源码分析(基于JDK1.7.0_40) 52 23.3.1. 3.1 构造函数 52 23.3.2. 3.2 等待函数 53 23.4. 4. CyclicBarrier的使用示例 57 23.4.1. 示例1 57 23.4.2. 示例2 59 24. Blockingqueue有几种形式？各自的编码方式。 72 24.1. Queue接口 72 24.2. BlockingQueue接口 73 24.2.1. ArrayBlockingQueue 74 24.2.2. LinkedBlockingQueue 78 24.2.3. LinkedBlockingDeque（双向并发阻塞队列） 84 24.2.4. PriorityBlockingQueue（优先阻塞队列） 85 24.2.5. 总结一下阻塞队列 90 25. Tomcat 如何管理servlet？ 90 26. Servlet生命周期 90 27. 没有缓存，如何实现领券并发操作？ 92

1、多线程的并发性和多线程介绍：在过去单CPU时代，单任务在一个时间点只能执行单一程序。之后发展到多任务阶段，计算机能在同一时间点并行执行多任务或多进程。虽然并不是真正意义上的“同一时间点”，而是多个任务或进程共享一个CPU，并交由操作系统来完成多任务间对CPU的运行切换，以使得每个任务都有机会获得一定的时间片运行。随着多任务对软件开发者带来的新挑战，程序不在能假设独占所有的CPU时间、所有的内存...

有些时候,某些操作会比较耗时间(如:连接一个没有开启的远程数据库),如果这个操作在UI线程上执行的话,就会在返回之前,让界面处于"假死"状态,影响用户体验.因此,从其他线程操作这类的"耗时"操作,是很有必要的,这里我主要整理当前,.net框架下,托管代码中线程安全的情况,因此,关闭掉线程安全检查来实现跨线程的界面更新操作不在讨论范畴. 我主要说说beginInvoke操作,这是一个异步的多线程调

SpringBoot - 多线程

110,571

社区成员

642,568

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧

+ 用AI写文章