数据处理学习路线

曦2025-01-132025-01-13

大数据数据处理学习路线

注意：下列无标注的全部要看

语言基础：python、java基础
- python：【黑马程序员python教程，8天python从入门到精通，学python看这套就够了】https://www.bilibili.com/video/BV1qW4y1a7fU?vd_source=3527d90a19fbfc4e630603c127d8bc58
  注释：第一阶段
- java：【黑马程序员Java零基础视频教程_上部(Java入门，含斯坦福大学练习题+力扣算法题和大厂java面试题）】https://www.bilibili.com/video/BV17F411T7Ao?vd_source=3527d90a19fbfc4e630603c127d8bc58
数据库基础：mysql
- 【黑马程序员 MySQL数据库入门到精通，从mysql安装到mysql高级、mysql优化全囊括】https://www.bilibili.com/video/BV1Kr4y1i7ru?vd_source=3527d90a19fbfc4e630603c127d8bc58
  注：基础篇
linux：命令基础（）
- 【黑马程序员新版Linux零基础快速入门到精通，全涵盖linux系统知识、常用软件环境部署、Shell脚本、云平台实践、大数据集群项目实战等】https://www.bilibili.com/video/BV1n84y1i7td?vd_source=df87f9e3a087dee96152d82cde6d8854

python第三方库：pandas、numpy、requests、bs4、jieba、snownlp

第三方库	链接
pandas、numpy	【千锋教育python数据分析教程200集，Python数据分析师入门必备视频】https://www.bilibili.com/video/BV15V4y1f7Ju?p=117&vd_source=3527d90a19fbfc4e630603c127d8bc58（注：p38-p117）
requests、bs4	【尚硅谷Python爬虫教程小白零基础速通（含python基础+爬虫案例）】https://www.bilibili.com/video/BV1Db4y1m7Ho?p=52&vd_source=3527d90a19fbfc4e630603c127d8bc58 (注：p52-最后)
jieba	【Python Jieba 中文分词工具】https://www.bilibili.com/video/BV1za4y117fE?vd_source=3527d90a19fbfc4e630603c127d8bc58
snownlp	【Lecture 12 基于Snownlp的文本情感分析】https://www.bilibili.com/video/BV1DP4y1F7Mg?vd_source=3527d90a19fbfc4e630603c127d8bc58（看完这集就行了）

excel：函数使用以及操作
- 【2025必看！全网最新最细最实用Excel零基础入门到精通全套教程！专为零基础小白打造！内容富含Excel表格基础操作、实用函数讲解、项目实战等！】https://www.bilibili.com/video/BV1wD4y1V7ZU?vd_source=3527d90a19fbfc4e630603c127d8bc58
hadoop：hadoop的基本使用命令
- hadoop的HDFS的shell命令大全（一篇文章就够了）_shell统计hdfs-CSDN博客

scala：scala语言基础
- 【黑马程序员Scala零基础入门到精通，大数据入门语言Scala精讲+案例】https://www.bilibili.com/video/BV1Q5411t74z?vd_source=3527d90a19fbfc4e630603c127d8bc58
  注：看完前十章
mapreduce：了解基本使用以及自定义方法
- 【黑马程序员大数据Hadoop3.x全套教程，一套精通Hadoop的大数据入门教程】https://www.bilibili.com/video/BV11N411d7Zh?p=214&vd_source=3527d90a19fbfc4e630603c127d8bc58
  
  注：p171-214
spark：掌握sparkcore sparksql
- 【全网最全大数据Spark3.0教程 Spark3.0从入门到精通黑马程序员大数据入门教程系列】https://www.bilibili.com/video/BV1Xz4y1m7cv?p=20&vd_source=3527d90a19fbfc4e630603c127d8bc58
  注：搭建部分不用看、只看sparkcore和sparksql
hive：了解hive命令以及udf自定义函数
- 【黑马程序员Hive全套教程，大数据Hive3.x数仓开发精讲到企业级实战应用】https://www.bilibili.com/video/BV1L5411u7ae?vd_source=3527d90a19fbfc4e630603c127d8bc58
  
  注：p0-p96

机器学习：了解机器学习原理以及sklearn使用
- 【黑马程序员3天快速入门python机器学习】https://www.bilibili.com/video/BV1nt411r7tj?p=18&vd_source=3527d90a19fbfc4e630603c127d8bc58
spark streaming：了解流式数据
- 自己找视频或文档
项目制作：尝试制作大数据项目