大数据工程师的通关攻略

大数据时代下,大数据工程师如何应对?

  • 平台型大于业务行

大数据工程师所需的核心技能

大数据团队构成以及岗位职责简介

  • Hadoop生态研发工程师(平台工程师)

    • 对Hadoop生态组件很了解,精度开源框架源码,对业务平台支撑,适合技术极客的人。
    • Java/Scala
  • 大数据开发工程师

    • 灵活使用大数据技术解决业务问题
    • 了解大数据工具使用原理
    • Java/Scala
  • 数据仓库工程师

    • 对业务敏感
    • 对数据建模
    • Java/HQL/Python
  • 数据分析师

    • 基于数仓工程师
    • 对数据业务敏感
    • 熟悉脚本Python
    • 统计学常识
  • 算法工程师

    • 熟练掌握机器学习算法
    • 必备的大数据开发技术
    • Java/C++/Python
  • Java工程师

    • 支撑各个模块工程开发
    • Java后端

大数据工程师面试前的准备工作

  • 个人觉得定位
  • 个人职业规划
  • 扎实的基本功
  • 开发语言
  • 公司项目回顾与梳理

    • 项目背景
    • 设计与架构
    • 选型与对比
    • 实现细节
    • 最后效果
  • 简历

面试技巧及常用面试题

面试技巧

  • 一面基本功技术
  • 二面业务项目面,广度,时间能力
  • 三面综合能力面,执行能力,沟通协调能力
  • HR面稳定性,抗压能力等

面试考核点

Hadoop工程师

  • 对工具的掌握程度
  • 熟读源码
  • 问题

    • 集群变大,节点过多,hadoop中namenode内存受限如何解决?namenode水平扩展
    • 在Hadoop生态中,敏感数据安全保护措施?采用服务器访问认证,底层目录权限,Hive表权限管理。
  • 推荐博客:董西成的博客:http://dongxicheng.org
  • 推荐书籍:Hadoop实战,Java核心技术

大数据开发工程师

  • 熟练使用各个组件,对各个组件调优,充分发挥大数据技术的价值
  • Java/Scala
  • HBase/Strom/MR

    • HBase使用适合RowKey怎么设计?
    • 怎么开发MR等?
    • Strom并发问题

数据仓库工程师

  • 数据倾斜如何优化,分析?
  • 数据仓库建设有点,解决那些痛点?
  • 日志系统的ETL环节具体都做了那些事情?

数据分析师

  • 数据分析项目流程,建模分析
  • 脚本语言
  • 行业相关的技术

    • 用户行为分析,常用指标有那些?

算法工程师

  • 工程实现拟合和算法深度
  • 数学的基础知识,矩阵变换,特征值等
  • 算法能力
  • 工程能力,常见机器学习的设计数据结构

    • 公式推导
    • 算法

大数据人的职业发展与进阶通道

  • 有一个明确的角色定位和职业规划
  • 转岗转行

相关推荐