搜索程序分布式或云计算部署，多IP运行

fordat2e 2012-12-08 02:45:47

搜索程序分布式或云计算部署，要求多IP地址同时运行

需要一个程序搜索电商网站上的商品名称、商品编号。
由于想尽快搜索几千万商品编号，之前已有一个小程序用于单机搜索，但速度较慢。
急需这样的搜索程序分布式部署于服务器，需要同时运用多个IP地址搜索，从而能够尽快搜索出结果。熟悉搜索爬虫编程，有分布式、云计算部署经验的人，请加 2446684713

...全文

74 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

对于一个分布式计算的应用,如果不需要自动部署，将工头工人程序文件分别部署到相应机器运行即可,不需要过多配置。 fourinone2.0可以支持自动化class和jar包部署,class和jar包只需放在工头机器上，各工人机器会自动获取并执行，兼容操作系统，不需要进行安全密钥复杂配置. 假设有一个分布式计算job，包括三个程序文件： JobCtor:包工头实现 JobWorker：农民工实现 JobHelp：工人帮助类如果需要自动部署，可以将上面三个class文件都放置在工头机器上，并在工头实现里指定工人实现类在JobCtor里通过下面代码设置： wks[0].setWorker(new JobWorker()); 运行步骤如下： 1、启动ParkServerDemo（它的IP端口已经在配置文件的PARK部分的SERVERS指定） 2、由于工人的实现类不放置在工人机器上，那么请在每台工人节点机器上启动MigrantWorker类 java -cp fourinone.jar; com.fourinone.MigrantWorker 192.108.0.8 2008 helloworker 这里启动MigrantWorker指定的几个参数依次是“工人节点ip信息”、“端口信息”、“工人类型” 3、运行JobCtor 可以看到工头动态分发JobWorker和JobHelp到工人节点机器上执行，每台工人机器节点只需要有fourinone.jar和config.xml即可如果将上面三个class文件打包成jar包，需要在上面启动MigrantWorker时增加一个jar名称参数，表示会自动请求执行该jar包配置注意：如果使用自动部署，工头机器会自动启动http服务，http服务ip和端口在WEBAPP部分的SERVERS配置，需要设置为工头机器ip，并保持工头和工人机器的SERVERS配置一致。如果在同台机器上模拟自动部署，需要注意parkServer和工头不重复启动http服务（可以将park部分配置的false设置为关闭）。附件是demo

为了解决嵌入式前端运行人工智能的现实需求与其自身性能不足的矛盾，本文提出了一种可弹性部署的分布式人工智能(AI)计算架构系统。本系统通过一套经过精心设计的网络通讯程序，将嵌入式设备需要计算的数据发送至云端，然后利用云端的GPU工作站集群进行高速计算。本系统能高效管理云端各个工作站的运行，可弹性部署的特性使其能依据计算负载的不同，方便快捷地增加或者减少算力，实现节能与算力的最优化。分布式的特性使本系统具有一定的灾备冗余特性，有效避免了因某几个计算节点崩溃导致整个系统瘫痪，并且运用了集群计算模式，大幅减少了系统对公网IP数量的要求。

目录网盘文件永久链接 1.1-课程简介.mp4 1.10-云计算厂商.mp4 1.11-云计算解决方案.mp4 1.12-虚拟化和云计算关系.mp4 1.13-IP 掩码网关 DNS.mp4 1.14-使用Vmware Workstation 搭建实验环境.mp4 1.15-FusionComputer安装和部署（模拟环境）.mp4 1.16-安装VRM.mp4 1.17-FusionComputer安装和部署两种方法 (真实环境）.mp4 1.18-虚拟机创建和管理.mp4 1.19-使用谷歌浏览器登陆虚拟机.mp4 1.2-案例：访问淘宝全过程.mp4 1.20-远程桌面连接虚机.mp4 1.21-虚机安装tools.mp4 1.22-HA 资源调度 分布式交换机简介.mp4 1.23-共享存储简介.mp4 1.24-使用starwind 搭建共享存储实验环境.mp4 1.25-Fusion computer连接共享存储.mp4 1.26-桌面云虚拟桌面简介.mp4 1.27-Open Stack与云的关系.mp4 1.3-数据中心简介.mp4 ...............

业务架构业务应用部署平台数据库集群商务数据类数据集成交换平台数据集成交换平台平台数据库云服务支撑平台客户管理资源管理应用管理订购管理计费管理运营管理报表管理日志管理投诉管理报障管理结算管理监控管理基础服务支撑平台自动部署服务身份认证服务移动开发服务数据总线服务流程管理服务 ICT能力服务基础资源服务标准化资源调度接口基础物理资源 (物理机、存储设备、网络设备) VMWare/XenServer/KVM/Hyper-V 虚拟机池 VLAN 磁拟存储池系统监控平台系统安全管理银行数据类其它 … 云计算平台介绍全文共9页，当前为第1页。基础资源服务支撑服务资源管理接口API 负载均衡管理接口中间件部署认证与授权管理并行处理弹性计算服务虚拟计算服务虚拟存储服务虚拟网络服务管理控制台对象存储镜像管理 分布式存储虚拟机管理自服务平台块存储(EBS) 计费接口运营平台虚拟网卡虚拟交换机 IP管理资源监控智能分析任务调度 Vlan管理存储：阵列、分布式文件等安全访问资源调度网络虚拟

名词解释互联网：指各种不同类型和规模的计算机网络相互连接而成的网络。移动互联网：指以各种类型的移动终端作为接入设备，使用各种移动网络作为接入网络，从而实现包括传统移动通信、传统互联网及各种融合创新服务的新型业务模式。 云计算：指在整合的架构之下，基于 IP 网络的虚拟化资源平台，提供规模化 ICT 应用的实现方式。移动云计算：指通过移动网络以按需、易扩展的方式获取所需的基础设施、平台、软件的一种 IT 资源或服务的交付与使用模式。体系结构：指计算机或计算机系统的组件的组织和集成方式。 SOA：即面向服务的体系结构，是一种架构模型，它可以根据需求，通过网络对松散耦合的粗粒度应用组件进行分布式部署、组合和使用。 CORBA：即公共对象请求代理结构，是一种采用通用对象请求代理ORB间互联协议进行客户和服务器之间的交互，采用接口定义语言（IDL）对象建模的对象参考模型。 IMS： IP多媒体子系统，是一种全新的多媒体业务形式。 P2P：即对等网络，是一种资源分布利用与共享的网络体系架构。移动通信：指通信的一方或双方在移动中实现的通信。移动IP技术：指在互联

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章