Apache Flink CDC (Change Data Capture) mysql Kafka

news/2025/2/25 8:33:01

比如使用 Flink CDC , 监听mysql bin-log日志实现数据的实时同步, 发送到kafka

springboot整合flink cdc监听数据库数据

阿里开源的神仙工具,完美实现数据同步!#程序员阿里开源的这个神器很好很强大。阿里开源的这个神器全面超越Canal,果然在国内开源领域能干掉阿里的只有阿里自己。把数据库当中的数据同步到其他的数据源当中,用于数据的备份、容灾、分发、采集一直都是Canal的强项。但是Canal有一个局限性,就是它只能针对增量的binlog做监听,实现增量的数据同步。

而有这样的一个框架Apache Flink CDC,它不仅支持增量的数据同步,还支持存量的数据同步,同时还支持断点续传、无锁读取、并发读取等等功能。更重要的是它是分布式架构的,可以实现很好的横向扩展,不仅它的性能要比Canal高很多,更重要的是它除了像支持MySQL、TiDB、HBase、pgSQL、kafka、ES等等数据源之外,还支持很多分布式系统,比如HDFS、Iceberg等等,总之就是非常强大。

这个项目就是大名鼎鼎的FlinkCDC,Flink不用我介绍了,CDC就是data capture的意思。这个项目现在已经捐献给Apache,作为ApacheFlink的一个重要组件。如果你需要做数据同步备份等操作,FlinkCDC一定是个不二选择。

        <flink.version>1.18.0</flink.version>
        
        <!--mysql-cdc-->
        <dependency>
            <groupId>com.ververica</groupId>
            <artifactId>flink-connector-mysql-cdc</artifactId>
            <version>3.0.1</version>
        </dependency>
        
       <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka</artifactId>
            <version>3.0.1-1.18</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-runtime</artifactId>
            <version>${flink.version}</version>
        </dependency>


http://www.niftyadmin.cn/n/5865261.html

相关文章

Flutter_学习记录_iOS 模拟器用Charles抓包

参考文章&#xff1a; Flutter 使用Charles软件抓包 1. 前言 Flutter应用网络请求调试一直是业内难题&#xff0c;原因在于Dart语言标准库的网络请求不会走Wi-Fi代理&#xff0c;常规通过配置Wi-Fi代理来抓包的方式行不通。这给我们日常开发测试造成了很大的阻碍&#xff0c;…

爱迪斯通虚拟针灸教学系统入选ARinChina2024 XR行业年度荣誉榜医疗榜单

爱迪斯通推出的“XR虚拟针灸教学项目”成功入选 ARinChina 2024 XR行业年度荣誉榜-XR行业创新应用榜单&#xff08;医疗领域&#xff09;。 入选榜单&#xff1a;XR行业创新应用榜单&#xff08;医疗&#xff09; 入选产品&#xff1a;虚拟针灸教学系统 XR虚拟针灸教学系统&am…

云计算及其他计算

云计算知识思维导图&#xff1a;https://kdocs.cn/l/cpl2Kizx7IyC 云计算的核心判断标准通常基于美国国家标准与技术研究院&#xff08;NIST&#xff09;的定义&#xff0c;并结合实际应用场景。以下是判断一个服务是否为云计算的关键标准&#xff0c;以及对应的服务类型&#…

python实现基于深度学习实现遮挡人脸识别系统的详细方案

以下是一个基于深度学习实现遮挡人脸识别系统的详细方案&#xff0c;使用 Python 语言完成。 方案概述 该遮挡人脸识别系统主要包含数据准备、模型构建、模型训练、模型评估和系统部署几个主要步骤。我们将使用深度学习框架 TensorFlow 和 Keras 来构建和训练卷积神经网络&am…

【Vscode 使用】集合1

一、使用make工具管理工程 windows下&#xff0c;下载mingw64&#xff0c;配置好mingw64\bin 为 Win10系统全局变量后。 在mingw64/bin目录下找到mingw32-make.exe工具。复制一份改名为&#xff1a;make.exe&#xff0c;没错&#xff0c;就是那么简单&#xff0c;mingw64自带m…

2020年蓝桥杯Java B组第二场题目+部分个人解析

#A&#xff1a;门牌制作 624 解一&#xff1a; public static void main(String[] args) {int count0;for(int i1;i<2020;i) {int ni;while(n>0) {if(n%102) {count;}n/10;}}System.out.println(count);} 解二&#xff1a; public static void main(String[] args) {…

前端Sass面试题及参考答案

目录 什么是 Sass? Sass 和 CSS 的主要区别是什么? Sass 中如何处理列表? Sass 中如何处理映射(map)? Sass 中如何使用函数? Sass 中如何使用内置函数? Sass 中如何设置默认值? Sass 中的 @function 和 @mixin 有什么区别? Sass 中如何实现模块化? Sass 中…

Mac中的oss上传

1️⃣Mac终端中输入&#xff1a; sudo mkdir -p /usr/local/bin sudo curl -L -o /usr/local/bin/oss https://gpucloud-static-public-prod.gpushare.com/installation/oss/oss_darwin_x86_64 sudo chmod ux /usr/local/bin/oss2️⃣输入查询oss版本&#xff1a; oss versio…