设计一个监控系统对激增访问量报警,该怎么设计?

麦兜和小可的舅舅 2016-02-18 12:06:28
现在我在设计一个监控系统去对好多的host的访问情况进行监控,并对激增的访问量进行报警。这个系统需要对好多(1000+)的host/uri进行监控,显然,不同的host的活跃程度不同,而且,同一个host,在一天或者工作日、周末的活跃程度也不一样。显然,设置一个统一的阀值或者为每一个host设置一个阀值去做监控非常麻烦而且不太智能。有没有哪位同学有这方面的经验,推荐一下简单的实现方案给我呀?
...全文
184 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
jj380382856 2016-02-24
  • 打赏
  • 举报
回复
在DDos攻击中有很多类似的流量异常检测算法,可以根据每台机器的历史流量均值方差建模进行计算,网上有很多论文可以参考
  • 打赏
  • 举报
回复
如果业务角度,受到自身见识范围所限,只能想到“给所有的对象设置监视阈值”,这就是业务决策。 你说“非常麻烦、太不智能了”,这纯粹是推诿责任。因为什么样的监控方便、智能,首先是要让那些不懂编程的人能理解的。你要是跟那些不懂编程、但是对监控负责的人换位思考,就能懂了。
  • 打赏
  • 举报
回复
先把跟编程无关的东西说清楚,才会编写监控程序。 “设置一个统一的阀值或者为每一个host设置一个阀值去做监控非常麻烦而且不太智能”这种话应该少说为好。如果决策了,那么程序员就应该实现。不能以你一个程序员是否“省事儿”而去指责业务。 而假设你根本不懂监控业务,那么就抛开程序员思维方式,站在一个根本不懂编程的业务人员的角度,去先把监控概念搞清楚。不要全都指望别人给你一些代码(根本不是代码的问题)。
家居无忧系统设计方案 作者:肖宏 来源:《硅谷》2011年第17期 摘 要: 随着人民的生活水平有极大提高,人们对安全保障的要求越来越高。家居安防行业在我 国起步较晚,市场开发还远远不够,中国电信作为国内最大的固网运营商,网络覆盖面 广,网络带宽高,依托固网开展"家居无忧"业务。描述家居无忧系统,包括实现的功能 ,系统体系结构,设计思想等。 关键词: 家居无忧;系统设计;方案;架构 中图分类号:TN929.53 文献标识码:A 文章编号:1671-7597(2011)0910070-01 0 引言 随着人民的生活水平有了极大提高,很多人家中拥有许多贵重物品,很多无人 值守而特别需要加以警戒、保护的场所,都促使人们对安全保障的要求越来越高。家居 安防行业在我国起步较晚,市场开发还远远不够,中国电信作为国内最大的固网运营商 ,网络覆盖面广,网络带宽高,依托固网开展"家居无忧"业务,既可以满足用户的安全 需求,又可以有效地利用固网的资源,并实现固网资源的增值,对固网的"保存激增"有 重要现实意义。 1 目标 实现家居设备控制的基本功能;实现家庭安防系统的基本功能。所有系统的实 现应遵守IMS规范以及其它3GPP定义的标准,控制和承载分离,保证实现的系统接口标准 化,能与不同的厂商的设备兼容。 2 系统架构 家居无忧系统主要由用户端设备、网络摄像头、家居无忧中心管理平台、视频 处理服务器四大部分组成(见图1)。 1)用户端设备。用户终端设备是放置在用户家里的,该设备包括拨号、来电号 码监听、按键连接(或烟感等触发)、电源开关控制等外围电路组成,为用户提供视频 监控设备电源控制和一键报警的基本功能。 用户终端设备根据端口或管脚区分用户家里触发的报警信号类型,根据报警信 号类型呼叫管理平台呼叫中心的不同号码。 用户终端具有SIM卡拨号器功能,地址簿存储和查看、拨出功能。 2)网络摄像头。包括摄像头和视频编码服务器,完成从摄像头采集视频流,并 编码为Mpeg4的功能。 3)家居无忧管理中间件。中心管理平台基于呼叫中心模块,主要功能包括:接 收并处理用户端设备的呼叫(包括人工坐席处理),WEB/IVR多种方式触发呼叫中心呼叫 用户端设备、用户信息数据库、DDNS服务器、用户自助WEB/IVR配置服务(配置用户认证 方式/报警信息通知方式/通知号码设置/警情处理方式等)。 4)视频处理服务器。主要是处理从网络摄像头传送来的视频数据,包括存储、 转发等功能。 3 总体设计 3.1 本系统包括4个子系统 1)中心管理平台:业务管理子系统、IVR排队机、坐席子系统、用户自服务系 统、DDNS三级动态域名支持。2)用户终端:发出的拨号号码信息要符合目前PSTN交换网 上的各种机型的处理要求,不需要对交换机进行升级改造。接受并解码中心管理平台发 过来的终端检测消息,并正确发出响应消息。3)系统管理功能:用户管理、设备管理、 权限管理、日志管理、告警信息处理。4)视频处理功能:录像管理、视频浏览、控制命 令处理。 3.2 安全性需求方面 1)数据安全:保证数据访问的安全性,同时对关键数据采取访问权限限制。保 证数据的完整性、一致性和有效性。2)应用数据传输安全:保证用户、平台以及电信业 务系统之间整个传输过程数据的安全性、完整性及不可抵赖性。3)系统安全:操作系统 、数据库系统符合安全标准,提供管理、监控和故障处理等功能。4)管理安全:采用严 格的操作员身份认证机制,防止伪造身份人员冒用系统资源。严格管理员操作权限,防 止不合法操作。 4 系统功能模块 功能模块包括:登录认证、智能家居无忧模块、家庭视频监控模块、家庭安防 系统、告警处理模块、情景模式设置模块、日志和报表管理模块、用户管理模块、设备 管理模块、权限管理模块、业务开通模块、计费模块等。 5 系统接口描述 系统需要实现的接口包括与WAP网关、ISMP系统、21CN门户网站、短信网关、彩 信网关等的接口部分。 6 通用接口层设计 本系统提供开放、标准、规范的通用接口层,它是平台与、电信网络、各通讯 能力提供商和第三方内容提供商等外部系统之间交互的桥梁,负责平台与外系统之间的 交互。 系统间的交互主要包括数据转换和通信方式两个重要部份,通用接口层需要实 现这两个功能。本系统采用采用Socket通信、文件交换或共亨数据库、API调用Web Service等方式,支持与业务流行的CRM、ERP、供应链管理等商业套件系统接口,包括: SAP R/3、Sieble和Clarify等。 7 软硬件部署方案 7.1 硬件部署 中心管理服务器:根据系统运营支撑的用户量,在前端部署系统应用。机器配 置1个至强(TM)处理器MP3.00GHz/4M以上和4GB内存,一台机器支持十万用户左右的访 问量。 视频处理服务器
Node.js 是一个开源与跨平台的 JavaScript 运行时环境。 它是一个可用于几乎任何项目的流行工具!   Node.js 在浏览器外运行 V8 JavaScript 引擎(Google Chrome 的内核)。 这使 Node.js 表现得非常出色。   Node.js 应用程序运行于单个进程中,无需为每个请求创建新的线程。 Node.js 在其标准库中提供了一组异步的 I/O 原生功能(用以防止 JavaScript 代码被阻塞),并且 Node.js 中的库通常是使用非阻塞的范式编写的(从而使阻塞行为成为例外而不是规范)。   当 Node.js 执行 I/O 操作时(例如从网络读取、访问数据库或文件系统),Node.js 会在响应返回时恢复操作,而不是阻塞线程并浪费 CPU 循环等待。   这使 Node.js 可以在一台服务器上处理数千个并发连接,而无需引入管理线程并发的负担(这可能是重大 bug 的来源)。   Node.js 具有独特的优势,因为为浏览器编写 JavaScript 的数百万前端开发者现在除了客户端代码之外还可以编写服务器端代码,而无需学习完全不同的语言。   在 Node.js 中,可以毫无问题地使用新的 ECMAScript 标准,因为不必等待所有用户更新其浏览器,你可以通过更改 Node.js 版本来决定要使用的 ECMAScript 版本,并且还可以通过运行带有标志的 Node.js 来启用特定的实验中的特性。   大量的库 npm 的简单结构有助于 Node.js 生态系统的激增,现在 npm 仓库托管了超过 1,000,000 个可以自由使用的开源库包。   Node.js 应用程序的示例 Node.js zui常见的 Hello World 示例是 Web 服务器:   const http = require('http')const hostname = '127.0.0.1'const port = 3000const server = http.createServer((req, res) => )server.listen(port, hostname, () => ) 此代码首先引入了 Node.js http 模块。   Node.js 具有出色的标准库,包括对网络的一.流支持。   http 的 createServer() 方法会创建新的 HTTP 服务器并返回它。   服务器被设置为监听指定的端口和主机名。 当服务器就绪后,回调函数会被调用,在此示例中会通知我们服务器正在运行。   每当接收到新的请求时,request 事件会被调用,并提供两个对象:一个请求(http.IncomingMessage 对象)和一个响应(http.ServerResponse 对象)。   这两个对象对于处理 HTTP 调用至关重要。   第一个对象提供了请求的详细信息。 在这个简单的示例中没有使用它,但是你可以访问请求头和请求数据。   第二个对象用于返回数据给调用方。   在此示例中:   res.statusCode = 200 设置 statusCode 属性为 200,以表明响应成功。   设置 Content-Type 响应头:   res.setHeader('Content-Type', 'text/plain') 关闭响应,添加内容作为 end() 的参数:   res.end('你好世界n') Node.js 框架和工具 Node.js 是一个底层的平台。 为了使开发者做事变得容易又来劲,社区在 Node.js 上构建了数千个库。   久而久之,其中许多已成为受欢迎的选择。 以下是一些值得学习的清单:   AdonisJs: 一个全栈框架,高度专注于开发者的效率、稳定和信任。 Adonis 是zui快的 Node.js Web 框架之一。   Express: 提供了创建 Web 服务器的zui简单但功能zui强大的方法之一。 它的极简主义方法,专注于服务器的核心功能,是其成功的关键。   Fastify: 一个 Web 框架,高度专注于提供zui佳的开发者体验(以zui少的开销和强大的插件架构)。 Fastify 是zui快的 Node.js Web 框架之一。   Gatsby: 一个基于 React、由 GraphQL 驱动的静态网站生成器,具有非常丰富的插件和启动器生态系统。   hapi: 一个富框架,用于构建应用程序和服务,使开发者可以专注于编写可重用的应用程序逻辑,而不必花费时间来搭建基础架构。   koa: 由 Express 背后的同一个团队构建,旨在变得更简单更轻巧。 新项目的诞生是为了满足创建不兼容的更改而又不破坏现有社区。   Loopback.io: 使构建需要复杂集成的现代应用程序变得容易。   Meteor: 一个强大的全栈框架,以同构的方式使用 JavaScript 构建应用(在客户端和服务器上共享代码)。 曾经是提供所有功能的现成工具,现在可以与前端库 React,Vue 和 Angular 集成。 也可以用于创建移动应用。   Micro: 提供了一个非常轻量级的服务器,用于创建异步的 HTTP 微服务。   NestJS: 一个基于 TypeScript 的渐进式 Node.js 框架,用于构建企业级的高效、可靠和可扩展的服务器端应用程序。   Next.js: 一个 React 框架,可为你提供生产所需的所有功能的zui佳开发者体验:混合静态和服务器渲染、TypeScript 支持、智能捆绑、路由预取等。   Nx: 使用 NestJS、Express、React、Angular 等进行全栈开发的工具包! Nx 有助于将开发工作从一个团队(构建一个应用程序)扩展到多个团队(在多个应用程序上进行协作)!   Sapper: Sapper 是一个用于构建各种规模的 Web 应用程序的框架,具有出色的开发体验和灵活的基于文件系统的路由。还提供 S.S.R等!   Socket.io: 一个实时通信引擎,用于构建网络应用程序。   Strapi: Strapi 是一个灵活的开源 Headless CMS,可使开发者可以自由选择自己喜欢的工具和框架,同时还允许编辑人员轻松地管理和分发其内容。 通过使管理面板和 API 可以通过插件系统进行扩展,Strapi 使全球zui大的公司能够加速内容交付,同时构建优美的数字体验。

33,007

社区成员

发帖
与我相关
我的任务
社区描述
数据结构与算法相关内容讨论专区
社区管理员
  • 数据结构与算法社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧