EMQX Streaming：统一的 MQTT 和 Kafka

从数百万连接的 MQTT 客户端中接收海量消息，以数据流的方式可靠地存储它们，然后直接使用 Kafka 客户端进行消费，并与您的后端服务和系统无缝集成。在一个 EMQX 平台上就能轻松完成所有这一切。

联系解决方案专家 →

了解更多 →

什么是 EMQX Streaming?

EMQX Streaming 是 EMQX 的一项创新功能，允许用户将 MQTT 消息持久化存储为数据流，并直接使用 Kafka 客户端进行消费。

MQTT 在实时消息分发和连接大量并发客户端方面表现出色，但它不直接支持大规模消息存储和按需访问历史数据。因此，MQTT 与 Kafka 成为了理想的搭档，并成为大多数用户的首选组合。

然而，为 MQTT 工作负载维护独立的 Kafka 集群成为了额外的负担，因为这非常昂贵、复杂，而且运营成本高。

EMQX Streaming 功能正是为解决这个问题而设计的。现在，一个 EMQX 平台就能满足这些需求，无需再维护独立的 Kafka 集群。

使用 EMQX Streaming:

可靠地存储大量的 MQTT 消息数据
直接使用 Kafka 客户端进行历史数据重放和实时订阅
与现有的后端应用程序和数据系统无缝集成
直接与 Flink 等流处理器对接进行实时数据处理

优势

增强的数据持久性

MQTT 消息可通过数据流的方式进行长期保存。数据流被复制到多个节点以确保容错和高可用性。

Kafka 生态兼容

EMQX Streaming 实现了 Kafka 协议，因此与庞大的 Kafka 生态系统兼容，包括 Kafka 客户端、连接器、Flink 等。它可以与您现有的 Kafka 应用程序无缝对接。

统一的用户体验

通过统一的用户界面和API，在一个 EMQX 平台上操作和管理 MQTT 和 Kafka 工作负载，无需任何复杂的集成过程。

简化的运维

管理 Kafka 集群繁琐且复杂。使用 EMQX Streaming，您不再需要为 MQTT 数据构建和管理专用的 Kafka 集群。这将显著降低您的运营成本和精神负担。

EMQX Streaming 是如何工作的

Stream 声明

在使用之前，你必须通过MQTT主题过滤器来创建一个 stream。所有与该主题过滤器匹配的MQTT消息将被保存到该 stream 中。

Stream 数据存储

Stream 数据会被持久化到 EMQX Platform 的分布式存储系统中。为了保证容错能力和高可用性，数据会被复制到多个节点。

响应请求

Kafka 客户端向 EMQX 发送请求以获取流数据。由于 EMQX 可以理解 Kafka 协议，因此能够正确回复 Kafka 客户端。

群组管理

EMQX Streaming 也支持 Kafka 消费者组协议。它能够管理多个 Kafka 消费者的协同消费，并维护它们的消费进度。

Stream 数据保留

Stream 中的数据将被保留指定的期限，过期数据将被自动删除。

应用场景

汽车行业 IIoT

汽车行业

如今，汽车，尤其智能网联汽车在运行过程中会产生大量的数据，这些数据对自动驾驶，智能座舱，诊断等场景有着关键作用。车辆使用 MQTT 协议将这些数据传送到云端的 EMQX Platform 平台后，通过 EMQX Streaming ，这些数据被高效保存到对应的 data stream 里。这样一方面既能确保这些数据的容错和高可用性，另一方面通过标准的 Kafka 协议，可以直接和后端的各种应用和数据系统进行对接。在简化了系统架构的同时，极大地提升了整个数据链路的稳定性以及数据接入和应用开发的效率。