课程介绍

本课程旨在帮助零基础学员从头开始学习和掌握数据湖架构开发技术，重点关注最新的 Delta Lake 技术。通过深入浅出的讲解、丰富的案例演示和动手实践，学员将掌握构建和管理可扩展、可靠的数据湖所必需的知识和技能。

课程目标

• 了解数据湖的基本概念和优势

• 掌握 Delta Lake 的架构和功能

• 学习如何使用 SQL 和 python 操作 Delta Lake 表

• 掌握数据湖的最佳实践和设计模式

• 了解数据湖中的安全性、治理和元数据管理

课程内容

模块 1：数据湖基础

• 数据湖概述

• Hadoop 分布式文件系统 (HDFS)

• Hive 及其局限性

模块 2：Delta Lake 简介

• Delta Lake 架构和特性

• Delta Lake 与 Hive 的比较

模块 3：使用 Delta Lake

• 使用 SQL 查询 Delta Lake 表

• 使用 python 操作 Delta Lake 表

• 数据合并和更新

模块 4：数据湖最佳实践

• 数据湖设计模式

• 数据湖治理和元数据管理

• 数据湖中的安全性

模块 5：高级主题

• 时空数据处理

• 流式数据处理

• 云数据仓库集成

受众对象

本课程适合以下人群：

• 数据工程师

• 数据科学家

• 大数据开发人员

• 对数据湖架构开发感兴趣的初学者

讲师介绍

本课程由经验丰富的行业专家授课，拥有多年的数据湖开发经验，并对 Delta Lake 技术有深入的了解。

课程特色

• 最新技术：重点关注最新的 Delta Lake 技术

• 动手实践：大量动手实践练习，让学员掌握实际技能

• 案例演示：通过真实案例演示，帮助学员理解概念和应用

• 技术支持：提供在线技术支持，解答学员的疑问和提供指导

课程收获

完成本课程后，学员将能够：

• 构建和管理可扩展、可靠的数据湖

• 熟练使用 Delta Lake 技术处理大数据

• 遵循数据湖最佳实践和设计模式

• 理解数据湖中的安全性、治理和元数据管理概念

课程目录

/14-140-黑马-小白从零快速掌握数据湖架构开发（最新技术Delta Lake）/
│├─01-第一章
│├─02-第二章
│├─03-第三章
│├─04-第四章
│├─05-第五章
│├─06-第六章
│├─07-第七章
│├─08-第八章
│├─09-第九章
│├─10-第十章

详细目录

01-第一章/
│├─00-课程目标.mp4 3.8MB
│├─01-1-1-企业的数据困扰.mp4 83.6MB
│├─01-1-2-补充-结构化-半结构化-非结构化数据.mp4 44.7MB
│├─01-2-数据湖的概念.mp4 50.1MB
│├─01-3-数据湖-数仓-数据集市的区别.mp4 81MB
02-第二章/
│├─02-1-写时模式和读时模式.mp4 7.8MB
│├─02-2-3种常见的数据湖实现方案.mp4 155.7MB
│├─02-3-数据湖对企业的价值.mp4 35.8MB
│├─02-4-数据湖概念的总结.mp4 75.4MB
│├─02-5-数据湖的4个设计原则.mp4 73.4MB
03-第三章/
│├─03-Lambda架构的简单介绍.mp4 358.8MB
04-第四章/
│├─04-数据湖的核心以及和普通大数据分析平台的不同.mp4 229.8MB
05-第五章/
│├─05-1-DeltaLake的简介和重点特性解读.mp4 182.5MB
│├─05-2-DeltaLake的使用形式.mp4 78.9MB
06-第六章/
│├─06-1-DeltaLake创建表-读取表-覆盖表操作.mp4 21.8MB
│├─06-2-DeltaLake有条件更新和合并操作.mp4 88MB
│├─06-3-DeltaLake的数据版本控制.mp4 92MB
│├─06-4-DeltaLake的事务日志.mp4 126.5MB
07-第七章/
│├─07-1-DeltaLake表分区和追加.mp4 123.4MB
│├─07-2-DeltaLake-Schema验证.mp4 242MB
│├─07-3-DeltaLake-更新和删除对Parquet数据文件的影响.mp4 173.8MB
│├─07-4-DeltaLake-vacuum方法.mp4 224.2MB
│├─07-5-DeltaLake-表常用工具和阶段总结.mp4 175.4MB
08-第八章/
│├─08-1-DeltaLake-事务日志概念回顾.mp4 140MB
│├─08-2-DeltaLake-Schema演化相关概念回顾.mp4 62.1MB
│├─08-3-DeltaLake-最佳实践和总结.mp4 204.3MB
09-第九章/
│├─09-1-案例需求分析.mp4 11.8MB
│├─09-2-1-基础数据（中间数据）的准备.mp4 383.6MB
│├─09-2-2-基础数据增加新列.mp4 112.2MB
│├─09-2-3-统计每小时TOP10热门查询关键词.mp4 455.3MB
│├─09-2-4-统计全天热门TOP100查询关键词.mp4 251MB
│├─09-2-5-导出数据为普通parquet文件.mp4 63.3MB
│├─09-3-第九章总结.mp4 23.7MB
10-第十章/
│├─10-1-1云平台的基础概念.mp4 153.6MB
│├─10-1-2-两类云平台和主流公有云平台介绍.mp4 59.1MB
│├─10-1-3-IaaS-PaaS-SaaS的概念.mp4 54.7MB
│├─10-1-4-云平台对企业的意义.mp4 58.3MB
│├─10-2-1-AWS-S3简介.mp4 147MB
│├─10-2-2-AWS-Athena分析框架简介.mp4 114.7MB
│├─10-2-3-AWS-EMR-集群模式介绍.mp4 411.1MB
│├─10-2-4-AWS-EMR-步骤运行模式介绍.mp4 287.7MB
│├─10-2-5-AWS-Glue-ETl-简单介绍.mp4 287.7MB
│├─10-2-6-AWS-其它辅助工具介绍和课程总结.mp4 43.8MB