大数据-陈铭的个人小站

陈铭的个人小站

行动起来，活在当下

累计撰写 300 篇文章
累计创建 313 个标签
累计收到 11 条评论

目录CONTENT

以下是大数据相关的文章

2023-02-13
SparkStreaming 核心编程第 2 章 Dstream 入门2.1WordCount 案例实操需求：使用 netcat 工具向 9999 端口不断的发送数据，通过 SparkStreaming 读取端口数据并统计不同单词出现的次数添加依赖编写代码启动程序并通过netcat 发送数据：2.2WordCount 解析Discre
- 2023-02-13
- 220
- 0
- 0
- 大数据
2023-02-04
HQL（Hive SQL）核心语法 DDL（Data Definition Language）数据定义数据库（database）创建数据库语法CREATE DATABASE [IF NOT EXISTS] database_name[COMMENT database_comment][LOCATION hdfs_path][WITH
- 2023-02-04
- 479
- 0
- 0
- 大数据
2023-02-04
SparkSQL 核心编程 DataFrame和DataSetDataFrame 是什么在 Spark 中，DataFrame 是一种以 RDD 为基础的分布式数据集，类似于传统数据库中的二维表格。DataFrame 与 RDD 的主要区别在于，前者带有 schema 元信息，即 DataFrame所表示的二维表数据集的每一列
- 2023-02-04
- 222
- 0
- 1
- 大数据
2023-01-30
Spark核心编程（Scala语言） RDDSpark 计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于处理不同的应用场景。三大数据结构分别是：RDD : 弹性分布式数据集累加器：分布式共享只写变量广播变量：分布式共享只读变量什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分
- 2023-01-30
- 256
- 0
- 0
- 大数据
2023-01-30
Spark单机部署和集群部署前言整个Spark集群是建立在之前的Hadoop集群+Hive的基础上的。由于Hive的计算引擎默认是MR，计算效率相对较慢，主要是MR整个过程中有大量的IO操作。我们的目的是，在三节点上部署一个Spark集群部署，让Spark成为代替MR的计算引擎。由于Spark是基于内存的，对虚拟机的内存要求相
- 2023-01-30
- 722
- 0
- 0
- 大数据
2023-01-25
Hive的安装部署什么是HiveHive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质上它是一个Hadoop客户端，用于将HQL（Hive SQL）转化成MapReduce程序（极大的简化了编写Mapper和Reducer的工作量）。（1
- 2023-01-25
- 315
- 0
- 0
- 大数据
2023-01-25
DataNode启动源码解析工作机制DataNode启动后会向NameNdoe注册自己注册成功后，DN会每隔6小时上报当前节点的所有块信息并且每隔3s进行心跳如果超过10min30s没有心跳，NN会把这个DN当成死亡节点，去除掉环境准备创建一个Maven项目，pom文件依赖如下 <dependencies>
- 2023-01-25
- 321
- 0
- 0
- 大数据
2023-01-25
NameNode启动源码解析启动9870端口服务加载镜像文件和编辑日志初始化NN的RPC服务端NN启动资源检查NN对心跳超时判断安全模式
- 2023-01-25
- 193
- 0
- 1
- 大数据
2023-01-23
Yarn原理介绍及其基本操作 Yarn作业提交流程这里以hadoop命令启动一个MR任务为例，如上图所示：首先会找ResourceManager去申请一个Appilication，而ResourceManager会返回一个Appilication的资源缓存路径，专门存放启动MR任务的各类信息（切片、任务参数、jar包等）各类资源
- 2023-01-23
- 307
- 0
- 0
- 大数据
2023-01-17
HDFS基本操作 Shell命令hadoop fs xxx 和 hadoop dfs xxx是完全一样的命令，这里用hadoop fs 举例# 查看某个命令的帮助hadoop fs -help rm# 在HDFS根目录下创建文件夹myDirhadoop fs -mkdir /myDir
- 2023-01-17
- 189
- 0
- 1
- 大数据

1
2
3
4