自我介绍:
毕业于吉首大学张家界学院软件工程专业,22021.10-22021.7在浙江鸿程计算机系统有限公司上海分公司实习,主要工作有:
日常运维,协助同事重调 informatic 程序以及保障数据每日正常运行
为电信反诈提供反诈月报,参与对疑似号码相关信息取数
编写报表开发需求的开发文档,详细设计
为政企部提供楼宇升速报表、产数标品报表,为市场部提供外呼营销成功报表
为公司建立数据备份的 Hive 模型,并承担部分同步工
专业技能:
一、Linux
熟悉 Linux 开发环境,熟悉一些常用 Linux 操作命令;
熟悉 shell 简单脚本的编写;
二、Hadoop 生态圈
了解 Hadoop 生态体系,能够搭建 Hadoop 分布式集群;
了解 MR,Yarn 工作原理;
了解 Shuffle 流程;
熟练运用 HSQL 进行统计分析,并解决常见的数据倾斜问题;
三、Spark
熟悉常用算子,了解基本原理,了解 Spark Streaming 使用;
四、工具组件
了解 Kafka 工作原理和 Kafka 优化(数据丢失);
了解 Flume 的作用及原理;
了解 Zookeeper 工作原理;
五、数据库
熟悉 Mysql、Gbase 数据库;
六、其他
熟练使用 SQL 语言;
熟悉 Java、Scala、Python、Shell 语言 |