「模块化安装」,定义你自己的CloudQuery

CloudQuery 2021-08-19 11:11:02

众所周知,「用户体验」除了在UI上的高互动性、操作便捷性之外,更关键的是系统的性能体验。而性能的决定参数是系统吞吐量和响应速度。在 PC 机时代我们往往通过提升系统的硬件来强行拉高系统响应水平,但硬件不可能永无止境地扩展,早在 2005 年,芯片大厂因特尔 CEO 就提出仅依靠硬件垂直提升系统性能的时代早已经过去,「分布式」成为当前效率改革的主流。

「分布式系统」是指在单台服务器无法承受访问和数据处理压力的情况下,引申出的将应用系统进行服务拆解,利用更多服务器完成共同任务以处理巨量数据。故而分布式应用在面对高并发、大数据量的处理要求时往往比中心化服务表现的更加优秀,同时自身的高可扩展性支持水平和弹性伸缩,使应用系统在面对尖峰流量时也得心应手。

CloudQuery 作为企业数据库管控平台,除内部人员频繁的访问请求外,平台自身服务也有很大的资源需求。例如审计服务,在流式处理数据的同时还需要实时输出维度分析报表、预警风险信息等。而 1.4.0 版本新增的 DTS 服务则需要以更高的速度来处理用户数据导入、导出等操作。针对以上情景,我们采用了分布式部署方案,将高资源、高消耗、高计算的服务进行独立部署,在提高性能和响应速度的同时不影响主体标准服务的请求处理。

同时,安装方式由原来「一刀切」式的安装调整为「模块化」安装。所谓「模块化安装」就是封装细节、服务拆解,彼此互不影响,每个模块实现各自特定功能,极大降低了服务耦合度,以最少的模块和零部件快速满足个性化安装需求。

「模块化安装」方式已调整至 CloudQuery v1.4.1,以页面化的方式选择安装模块,下载解压安装包成功后使用命令行授权脚本执行权限。

chmod +x install  //授权安装

授权成功后,执行命令启动预安装服务:

./install 

预安装服务启动成功后会返回预安装页面地址,将该地址复制至浏览器即可进入「模块化安装」界面进行自定义配置安装,自定义配置主要包含四块:基础模块、可选模块、可选数据源和系统配置。

首先基础模块包括了用户、查询、任务中心、通知、web、以及平台持久层数据存储服务,可针对当前 CloudQuery 所有基础镜像进行自定义端口配置(如下图)。
模块化安装1.jpg

对于「可选模块」,用户可根据自身场景进行选择,内容包括:审计、任务中心和终端。
可选模块.jpg

完成「可选模块」后可选择所需数据源类型。
可选数据源.jpg

所有功能性配置完成后可进行「系统配置」,包括安装路径以及日志上限。
系统配置.jpg

以上全部配置项配置完毕后即进入自动安装过程,进度框中可实时查看当前安装进度,过程中遇到问题可及时定位并解决。
安装.jpg

此次安装方式升级后,CloudQuery 会在现有的标准服务上继续迭代。完善自身平台功能,不断推出更多数据相关模块,助力企业内部数据操作更加便捷化、自动化,使开发、运维人员效率提速。

BTW,8月31日,我们将进行 CloudQuery v1.4.2 答疑直播,为大家讲解演示近两个版本更新的核心功能,包括 OpenAPI、模块化安装、数据导入、新增数据源 PolarDB 等。同时,就近期社区同学提出较多的问题进行公开答疑,并排布迭代计划。
 

默认标题_手机海报_2021081816_23_38.png


订阅号官网客服微信.png

...全文
1599 点赞 收藏 回复
写回复
回复
切换为时间正序
请发表友善的回复…
发表回复
相关推荐
发帖
CloudQuery社区
创建于2021-08-03

24

社区成员

一体化数据管控云平台 公众号:CloudQuery社区 官网:http://cloudquery.club/
帖子事件
创建了帖子
2021-08-19 11:11
社区公告

大家好,欢迎来到 CloudQuery社区!

CloudQuery是一体化数据管控云平台,集成开发者和 DBA 日常所需各种数据工具,提供一体化权限、数据审计等多种安全措施,最大化减小数据风险。

除了社区,也欢迎大家加入我们的用户群,可添加小助手wx:13282178279