基于 EMQ 云边协同方案,构建城市级智慧水务运营平台
摘要
水务智慧运营是指利用先进的物联网、智能传感技术和数据分析方法,对供水、排水、污水处理等水务行业的运营管理进行优化和智能化的方式。
在国内,政策的推动、技术的发展、与供排水需求的发展都使得各地区和企业积极推进智慧水务建设。许多水务企业已经建立了基于传统工业自动化和信息化的监控管理平台,但要实现全面智能化、数字化水务运营,提供高质量的水资源供应和服务,这些平台还面临许多挑战。
EMQ 云边协同方案提供了一个高效的统一物联网平台,通过数据共享与整合,结合云计算和大数据的技术,实现数据分析与决策支持。这有助于水务企业快速构建水务智慧运营平台。在以往的城市级智慧水务平台案例中,EMQ 的方案成功地帮助水务企业提高了超过 30% 以上的平台建设效率、降低 35% 以上的物联数采成本以及 40% 以上的运维成本。
智慧水务运营平台的挑战
厂站建设不标准
水务厂站数据未实现实时数据集中监管。各个厂站自控系统建设标准不统一、网络部署无规划、制约了数据汇聚及大数据分析应用、不利于数据挖掘工作。
系统壁垒严重
随着各供水企业远传水表数量逐渐增多,各水表厂家的数据传输标准不统一、各自搭建了抄表平台。存在抄表平台重复建设和数据壁垒问题,不利于集团统一管理。
数据质量无法支持大数据平台
由于厂站数据、抄表数据以及其他业务数据没有统一接入规范,数据质量参差不齐。各类数据分散在各个系统中,很难为大数据中心提供实时性强、格式规范的数据源。
基于 EMQ 云边协同方案构建城市级水务物联网平台
水务物联设备全面感知
EMQ 边缘工业协议网关软件 NeuronEX ,支持 Modbus、OPCUA、IEC 104 、Siemens S7 等多种工业协议,可以灵活部署在水务系统的水源泵站、管线管网、水厂以及用户端,实现通过传感器、智能水表等智能设备,对水源、水质、水量、水压、水泵等进行实时监测与控制。
NeuronEX 具备边缘流式计算能力,可在接近数据源的边缘设备上进行实时数据处理和分析。帮助水厂在边缘端实现报文规范、异常事件监听、逻辑反控、设备联动等,减少数据传输延迟,迅速响应数据变化,提高系统能力。
千万级数据的统一物联网消息总线
基于 EMQX 企业版高可用集群、加密认证、规则引擎、数据集成等集团级消息总线的能力,提供统一、安全、高效集成的水务物联网平台,帮助管理城市每秒产生的几十万甚至上百万的智能水务设备消息。平台涵盖整个城市水资源管理、供水管理、污水处理、水质监测、用户用水等实时信息的汇聚和整合,通过云计算、大数据、人工智能等先进技术的融合,高效实现数据监测与管理、数据分析与决策、水资源调度与优化、水质安全监控、供水管网管理、用水服务等智慧水务运营业务。
海量流式数据处理平台
平台侧 HStream Platform 提供海量数据分布式存储和流式处理能力,对接大数据平台和时序数据库,实现了对数据的实时分流和数据预处理能力,为智慧水务平台精细化管理与快速业务决策提供有力支撑。
云边协同管理
提供项目管理能力,可为 EMQX 集群实例提供基于项目的分类与管理监控。EMQ 提供了统一云边模块的 Web 管控界面,实现对边缘软件 NeuronEX 的远程配置、实时监控及日志分析等功能,降低了现场运维的成本。
方案价值
- 提高智慧运营平台建设效率:方案提供了水务智能终端数采与控制、边缘计算、高并发消息总线、大数据集成、AI 算法集成、数据安全认证的全方位能力,为智慧运营分析业务能力建设奠定物联网数据基座。快速实现以数据优化生产、以数据统筹管理以及以数据驱动决策的智慧运营目标。
- 增强运营性能:云边协同方案提供每秒百万的消息并发能力,低时延消息通过 EMQX 的规则引擎以每秒以十万以上的速度持久化到数据库,为后期智能化算法提供所需高实时、高频率、高精度数据,提高数据分析和决策的准确度。
- 降低建设、运维成本:边缘模块 NeuronEX 部署方式灵活,可以部署在边缘网关、工控机、MEC 及服务器上,能充分利用项目现有的硬件资源,根据网络情况选择最优成本部署方式。方案可以帮助生产者远程管理边缘模块的接入、巡检、配置、升级更新、告警处理等诸多方面运维环节。减少运维成本,同时大幅度提升智能化管理水平。
- 支持后期不断扩容:EMQ 消息总线采用集群化部署,可以通过节点的水平扩展支持系统的扩容,避免后期系统扩容后总线性能无法支撑而重复建设。
- 持续适应未来创新:方案灵活易用,提供灵活、易扩展的借口,方便水务未来融入更多新的系统和技术。边缘端集成支持 Go、Python 扩展及 AI 算法,促进边缘智能化的创新发展。
- 技术自主可控:标准化产品配置帮助用户快速构建和使用水务物联网平台,使业务应用高效开发和复制成为可能。
成功案例
基于 EMQ 数据软件套件,构建某城市智慧水务平台
EMQ 边缘工业边缘软件 NeuronEX,可以接入水厂站的生产网络,支持对接各种 PLC、仪表等设备和 SCADA 系统。
同时,NeuronEX 能将在厂站本地将数据格式转换为水务集团标准的上行报文格式。基于 EMQX 内置的高性能实时规则引擎,数据被筛选后形成预处理数据,将数据的各个维度(时间、空间、业务)等进行标准化处理,构建统一设备数据模型。
EMQX 可以实现所需管理的所有水源泵房、配水管网、自来水厂或污水处理厂以及用户水表的数据的实时汇聚与并发。EMQX 规则引擎对流入的原始数据进行清洗与整理,使数据规范化。
EMQX 在水务集团生产网与办公网之间通过集群桥接方式,穿越防火墙进行数据实时桥接,最终将实时数据写到集团办公网中的 EMQX 集群中。
项目成果
- 百万级的物联网数据平台:以 EMQX 为数据传输基座的物联网平台目前已经接入各类大小水厂共 26 个,采集点超过 30000 点,表计设备超过 5000 个。每月为大数据平台提供超过 1 TB 的高质量实时数据。后期表计设备将不断接入、并发数据将不断扩展到百万级。
- 基于 EMQX 实现数据集成:生产数据和业务数据的融合,实现了对水务集团各个网点和厂站的实时数据大屏展示、分区数据自定义展示能力。
- 云边协同的数据逻辑处理:边缘的 NeuronEX 和 EMQX 协同、高效的数据传输、清洗、分流、对接的能力为应用层实现了对水表各类设备、用户端设备的统一设备管理、智能配置等平台能力,为水务集团业务精细化管理与快速业务决策提供有力支撑。
相关产品
NeuronEX
NeuronEX 是一款用于工业物联网连接和边缘计算的边缘服务,通过标准协议或专用协议与众多不同类型的工业设备进行通信,实现将多个设备连接至物流平台。其提供了以下特性:
- 多样的连接性:NeuronEX 提供多个可插拔模块,如 Modbus、OPCUA、Ethernet/IP、BACnet、Siemens、Mitsubishi 等,有助于访问各类物流资产,确保数据连接。
- 灵活部署:NeuronEX 具有极低的内存占用,在 x86、ARM、RISC-V 等低配置架构设备上运行表现出色。此外,它还支持类似 Docker 的容器化部署,能够与 K8s 环境中的其他容器共同运行。
- 无缝集成:通过 MQTT 协议,NeuronEX 将工业物联网应用、大数据以及 AI/ML 分析软件无缝集成至各个平台。
- 流式处理:NeuronEX 内置流处理引擎,通过边缘侧的流式 SQL 语句,实现 AI/ML 分析、数据过滤、数据操作、设备控制以及数据持久化,将数据存储于时序数据库中。
EMQX Enterprise
EMQX Enterprise 是一个强大的企业级物联网消息平台,专为大规模部署和物联网应用中的高可靠性而设计。在智慧水务平台建设中,EMQX Enterprise 通过以下能力为用户带来收益:
- 高可靠性和可扩展性:EMQX Enterprise 采用分布式架构,具有高可用性和可扩展性,可以处理大规模并发消息传输。它支持水平扩展,以适应不断增长的物联网设备和数据流量,确保系统稳定性。
- 丰富的协议支持:除了 MQTT 协议外,EMQX Enterprise 还支持多种消息传输协议。它允许开发人员扩展以支持各种私有协议,以满足其应用需求。
- 数据集成:EMQX Enterprise 与各种数据存储服务、消息队列、云平台和应用无缝集成。它可以连接到云服务,实现远程数据传输和基于云的分析。
- 安全和认证:EMQX Enterprise 提供强大的安全功能,包括 TLS/SSL 加密传输、客户端认证和访问控制。它支持多种认证方法,如用户名/密码、X.509 证书和 OAuth,确保物联网通信的安全性。
- 规则引擎和数据处理:EMQX Enterprise 具有灵活的规则引擎,可以基于设备数据进行实时数据处理和转发。它支持数据过滤、转换、聚合和持久化等操作,帮助用户根据业务需求进行分析和决策。
- 可视化监控和管理:EMQX Enterprise 提供直观的可视化监控和管理界面,允许用户实时监控物联网设备和消息传输。用户可以查看连接状态、消息流量和其他指标,还可以进行设备管理、故障排除和系统配置操作。
EMQX ECP
EMQX ECP 一款面向工业 4.0 的工业互联数据平台,旨在满足工业场景大规模数据采集、处理和存储分析的需求,ECP 提供边缘服务的快速部署、远程操作和集中管理等功能,助力工业领域数据互联互通,实现数据驱动的生产和运营。在水务场景中,ECP 主要功能包括:
- 边云协作:EMQX ECP 边缘服务管理实现了对边缘软件 NeuronEX 等边缘服务部署、管理、配置下发、批量操作、监控和优化。通过提供统一的管理平台,实现双向数据传输与运管边能力;
- 多集群管理:在分租户分项目的基础上实现多集群管理,可以创建新集群或纳管已有集群,并对管理的集群进行修复、水平和垂直扩展、修改网络类型、修改连接数、升降级、集群转让和删除等操作;同时集成 EMQX Dashboard,方便用户直接在 ECP 平台操作和配置 EMQX 集群;
- 多组织多项目管理:EMQX ECP 提供的组织管理功能是一个支持企业级多租户的管理系统,能够实现不同组织的资源隔离和管理。EMQX ECP 可以在同一平台中为多个企业或业务部门提供隔离的 EMQX 数据基础架构服务,每个组织都能够使用自己的数据和配置,互不干扰,保证数据安全。
- 企业级安全性:基于角色的访问控制(RBAC)、单点登录(SSO)、链路加密以及带审计的操作日志确保企业级安全性。
- 监控运维与告警:ECP 的监控平台提供了在云端 EMQX 集群和边缘端进行统一管理和监控的方案。 在 ECP 平台中,系统会收集和分析来自云端 EMQX 集群和边缘端的监控数据,以提供更全面和精细化的管理和监控进行预测故障和风险。