学习程序开发是可以多浏览一些开源软件平台上面的项目,博客,问答等。比较著名的平台如github开源,stackoverflow等。
在github上搜bigdata,变会再次出现相关的项目,有一个大数据入门指南的项目挺还好的,你是可以参照着学。地址:,如果ftp访问被取消,可以不点zan,评论。
万分感谢是内容摘自项目中的图解,和章节导航。
附:项目的查找知识点不胜感激
前言
大数据学习路线
大数据技术栈思维导图
大数据常用软件安装指南
一、hadoop
分布式文件存储系统——hdfs
分布式计算框架——mapreduce
集群资源管理器——yarn
hadoop单机伪集群环境搭建
hadoop集群环境搭建
hdfs正确shell命令
hdfsjavaapi的使用
实现zookeeper堆建hadoop高可用集群
二、hive
hive简介及核心概念
linux环境下hive的安装部署
hivecli和beeline命令行的基本使用
hive广泛ddl不能操作
hive分区表和分桶表
hive视图和索引
hive具体用法dml你的操作
hive数据查询详细解析
三、spark
sparkcore:
spark简介
spark开发环境搭建
弹性式数据集rdd
rdd具体方法算子请赐教
spark运行模式与假期作业并提交
spark累加器与广播变量
基于zookeeper垒建spark高可用集群
sparksql:
dateframe和dataset
structuredapi的都差不多使用
sparksql外部数据源
sparksql正确聚合函数
sparksqljoin能操作
sparkstreaming:
sparkstreaming简介
sparkstreaming基本操作
sparkstreaming全部整合flume
sparkstreaming整合kafka
四、storm
storm和流去处理简介
storm核心概念求高人
storm单机环境搭建
storm集群环境搭建
storm编程模型求答
storm项目三种打包对比分析
storm集成主板redis求高人
storm集成显卡hdfs/hbase
storm集成显卡kafka
五、flink
flink核心概念综述
flink开发环境搭建
flinkdatasource
flinkdatatransformation
flinkdatasink
flink窗口模型
flink状态管理与检查点机制
flinkstandalone集群部署
六、hbase
hbase简介
hbase系统架构及数据结构
hbase基本上环境搭建(standalone/pseudo-centralizedmode)
hbase集群环境搭建
hbase常用shell命令
hbasejavaapi
hbase过滤器详细解析
hbase协处理器请赐教
hbase容灾与备份
hbase的sql中间层——phoenix
spring/springboot整合起来mybatisphoenix
七、kafka
kafka简介
基于条件zookeeper垒建kafka高可用集群
kafka生产者求高人
kafka消费者详细解析
进入到理解kafka副本机制
八、zookeeper
zookeeper简介及核心概念
zookeeper单机环境和集群环境搭建
zookeeper具体方法shell命令
zookeeperjava客户端——apachecurator
zookeeperacl权限控制
九、flume
flume简介及基本是在用
linux环境下flume的安装部署
flume整合kafka
十、sqoop
sqoop简介与安装
sqoop的基本使用
十一、azkaban
azkaban简介
azkaban3.x编译及部署
azkabanflow1.0的使用
azkabanflow2.0的使用
十二、scala
scala简介及开发环境配置
基本是数据类型和运算符
流程控制语句
数组——array
集合类型综述
常用集合类型之——listset
广泛真包含于类型之——maptuple
类和对象
继承和特质
函数闭包柯里化
模式不兼容
类型参数
隐式转换和隐式参数
十三、二级内容
大数据应用具体方法打包
后记
资料分享与开发工具推荐推荐
1、在jupyter的首页点击“upload”选项,你选excel文件,接着然后点击上传再试一下导入到。
此方法导入是有大小限制的,这个可以就将excel文件图片文件夹到jupyternotebook目录下以免大小限制。
2、加载excel数据的方法:
新建项python3,输入真确代码即可读取。