大数据-陈铭的个人小站

陈铭的个人小站

行动起来，活在当下

累计撰写 300 篇文章
累计创建 313 个标签
累计收到 11 条评论

目录CONTENT

以下是大数据相关的文章

2023-04-05
Prometheus监控初体验运行环境•CentOS7虚机 2核2GDocker安装# 安装docker社区版yum remove docker \docker-client \docker-client-latest \docker-common \docker-latest \docker-latest-logrotate
- 2023-04-05
- 216
- 0
- 0
- 大数据
- SpringBoot
2023-04-04
自定义Prometheus微服务监控 Docker部署# 安装prometheusdocker run -d -p 9090:9090 --name prometheus --restart=always -v /opt/prometheus/data/:/data -v /opt/prometheus/prometheus.yml:
- 2023-04-04
- 377
- 0
- 0
- 大数据
- SpringBoot
2023-03-03
Kafka集成Spark
- 2023-03-03
- 260
- 0
- 1
- 大数据
2023-03-03
Kafka集成SpringBoot pom依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi
- 2023-03-03
- 238
- 0
- 1
- 大数据
2023-03-03
Kafka集成Flume Flume 是一个在大数据开发中非常常用的组件。可以用于 Kafka 的生产者，也可以用于Flume 的消费者。Flume 生产者启动 kafka 集群# 启动zookeeper集群zk.sh start# 启动kafka集群kf.sh start启动 kafka 消费者kafka-console-
- 2023-03-03
- 210
- 0
- 0
- 大数据
2023-03-01
Kafka的Kraft模式使用 Kafka-Kraft 架构左图为 Kafka 现有架构，元数据在 zookeeper 中，运行时动态选举 controller，由controller 进行 Kafka 集群管理。右图为 kraft 模式架构（实验性），不再依赖 zookeeper 集群，而是用三台 controller 节点代替
- 2023-03-01
- 467
- 0
- 0
- 大数据
2023-03-01
Kafka-Eagle的安装与使用 Mysql之前在hadoop100上已经安装过Mysql了，是在部署Hive时安装的，但是为了给Hive提供元数据的储存安装从Mysql官网下载RPM Bundle，也就是rpm的捆绑包，解压后里面有很多rpm文件。我这里下载的是mysql-5.7.28-1.el7.x86_64.rpm-bundl
- 2023-03-01
- 364
- 0
- 0
- 大数据
2023-02-26
Kafka部署与基本使用安装部署集群规划如下，由于之前安装过ZooKeeper了，这里主要是安装Kafkahadoop100hadoop101hadoop102zkzkzkkafkakafkakafka上传安装包从官网下载安装包，放置到hadoop100的/opt/software下cd /opt/softwaretar
- 2023-02-26
- 222
- 0
- 0
- 大数据
2023-02-25
ZooKeeper部署与基本操作安装部署安装包下载官网下载，这边用的是apache-zookeeper-3.5.7-bin.tar.gz进行演示安装 JDK我们从之前部署Hadoop集群的三台机器进行安装ZooKeeper，这样JDK、环境变量和同步脚本xsync就不用再设置了本地安装安装ZooKeeper拷贝 apache-zo
- 2023-02-25
- 249
- 0
- 1
- 大数据
2023-02-17
基于DataHub、DataWorks和MaxCompute的阿里云离线数仓业务实操技术栈Flume：收集本地日志DataHub：消息总线，类似于Kafka，缓存Flume推过来的日志信息DataWorks：大数据业务开发平台，可以看成一个IDE，底层是用MaxCompute进行数据计算的MaxCompute：计算引擎，类似于MapReduce和Spark
- 2023-02-17
- 236
- 0
- 2
- 大数据

1
2
3
4