linux下多进程实现图片消重问题

happy_star 2005-03-07 08:50:41

有构建好的很多数据库，用BerkeleyDB存储，原始结构是(id,data),现在要实现图片消重，根据摘要
来实现消重，建立另两个数据库，（URL,digest)和(digest,data),要求多进程实现，大家给说说如
何高效的用多进程实现？
在具体点就是说，用Berkeley DB来存储数据，有很多数据库文件，都是图片数据。其中包括URL和摘要
及图片要将这些数据库文件中重复的图片消去，但同时也可以根据URL找到图片。

由于数据量大，要用多进程来实现，由于编写的多进程程序比较少，
所以不清楚具体该怎么操作。
请高手们多多指教！

...全文

165 5 打赏收藏举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

happy_star 2005-03-15

打赏
举报

回复

大家帮我多出出主意吧，：）

yjh1982 2005-03-10

打赏
举报

回复

也许应该多台机器协作?

happy_star 2005-03-10

打赏
举报

回复

多谢,不过我的数据库很大的,这样恐怕速度不行啊!
我要把那些数据统统存到另一些数据库中啊,不是在原来的基础上删除的.

yjh1982 2005-03-08

打赏
举报

回复

1)用内存映射文件来存某个数据库的URL和摘要

2)其它进程查询其它数据库,发现重复图片即消除

3)其它数据库查完后,开头用来查询的数据库就换成另一个然后查询其它数据库(但不必查
曾经放进内存映射文件的)

4)轮换了n-1(n为数据库总数)个数据库后消除完成

Dong 2005-03-07

打赏
举报

回复

我先帮你顶~~~~~~~~~~~~~``

不过以后发帖子，请发一个就可以了！你可以把分数放在一个，这样我们容易管理！

1 数据准备 drop table test1; drop table test2; create table test1 as select * from dba_objects; alter table test1 add constraint pk_test1 primary key (object_id); create table test2 as select * fr...

hive语句执行顺序msyql语句执行顺序代码写的顺序：select ... from... where.... group by... having... order by.. 或者 from ... select ... 1234代码的执行顺序：from... where...group by... having.... select ... order by... 12hive 语...

关于Sql中Select语句的执行顺序，一直很少注意这个问题，对于关键字的使用也很随意，至于效率问题，因为表中的数据量都不是很大，所以也不是很在意。今天在写一条语句的时候，在查询分析器里边执行要用10s，换用另外一种写法只用少于1s的时间，同事说是因为Sql句语执行顺序的原因。之前看过一点相关的书，有一点印象，到网上找了资料，学习下。逻辑查询处理步骤 [code="java"] ...

在对数据进行修改的时候，条件中的字段是存在索引且没有失效的时候，则会对索引进行加锁，也就是说其他线程再来对该行数据进行修改的时候会阻塞等待，直到锁被释放。只不过，在视图中进行增删改查的操作之前，可以对条件进行检查，满足条件就可以在表中操作数据，需要注意的是，实际是对表中的数据进行操作，视图只是映射基表中的数据。但是，对于多个字段的排序的方式不同，就需要在创建索引的时候，分别指定的排序方式，否则在查询的时候，没有对应的索引排序方式，就会走全表查询，使用 using filesore 的方式，效率较低。

在数据库查询中，group by语句经常使用，而这个语句的使用是最耗性能的，按常理，我们生活中要这样做也很麻烦，有两种情形： 1、有索引的情况 2、无索引的情况对于第一种情况，如果在生活中要做这样的事情，很恼火，我们正常的想法是，先把所有的按高矮顺序来排序，最后是一组的就直接挑出来了，但怎样实现这个排序呢？根据上一篇文件排序f

其它技术问题

3,881

社区成员

9,044

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章