北京快手大数据研发技术面经
昨天面的, 下午2点到6点多, 全程见了2位HR和4位研发, 其中2位研发是比较高级的leader. 目前等HR回复中
自己之前在小公司做了2年大数据, 人手少, 哪里需要哪里搬, 所以这次被考察的面也有点广
题目做了一下简单记录, 会有遗漏, 并且没有按顺序哈. 个人觉得大概回答下来80%多吧
Java
1. HashMap的底层数据结构, 为什么JDK8要用红黑树. ConcurrentHashMap的底层数据结构, 如何保证线程安全
2. synchronized关键字的本质, 作用是什么. volatile关键字的作用, 哪些情况下会用它
3. Java线程的几大状态及转换. 线程可重入是什么概念, 可重入锁呢
4. 如果要设计一个线程池, 需要考虑哪些要素. Executors工厂类能创建哪些线程池, 用过哪些
5. 讲一讲熟悉的设计模式. 单例模式及工厂模式的实现方法. 装饰器模式是怎么一回事
6. 讲一讲熟悉的JVM GC算法, 常用的垃圾收集器. CMS有什么优缺点
7. 一个Java应用上线后, 关注哪些性能指标. 如果响应时间过长或者CPU占用过高, 如何排查, 用哪些工具或命令
大数据组件
1. 是否自己搭建的集群, 集群节点数及配置
2. Hadoop的XML配置文件有哪些, 改过哪些参数, 分别代表什么含义
3. HDFS NameNode高可用如何实现, 需要哪些角色. YARN有哪些组件, 如何分配资源
4. Spark RDD有哪些特点, 宽依赖和窄依赖. RDD的缓存级别
5. DAGScheduler及stage如何划分. 给一个比较复杂的RDD lineage, 手动划分stage和task
6. Spark Streaming以一定的时间窗口统计PV/UV, 如果窗口内数据量暴涨, 如何保证稳定性. 如果会延迟上报, 如何保证实时性
7. Kafka与Spark Streaming集成, 如何保证exactly once语义
8. Spark/Hive中大表join小表的优化方法. 数据倾斜和shuffle调优方法
9. 调整过Hive的哪些参数, 用什么执行引擎. Hive UDF怎么写, 写过哪些. HiveQL是怎样解析成MR/Spark job的
10. HBase的数据在HDFS上是怎样存储的, 写入数据的流程是怎样的. 为什么HBase适合写多读少业务
11. HBase的一个region由哪些东西组成. RegionServer宕机之后如何感知, 如何迁移数据
12. 为什么选用Kudu作为HBase和Hive的折中方案, 它有什么特点. 如果不用Kudu, HBase的二级索引能解决问题吗
13. Impala的查询及执行与Hive有什么不同 [PS. 我之前的项目里用了Kudu+Impala]
数据仓库设计
1. 之前业务中的数据仓库是如何分层的, 怎样建模, 主题如何划分
2. 从ODS到DW层的ETL, 做了哪些工作
3. 1~3NF的含义. 维度建模中星型模型和雪花模型的不同. 代理键是什么, 支架表是什么
4. 如何处理缓慢变化维. 怎样建设拉链表, 如何在拉链表中恢复最新数据
算法和应用题
1. 最长公共子序列(LCS)问题. 动态规划
2. 找出二叉树中任意两个节点的最低公共根节点, 如果树是BST呢. 深度优先搜索+二分查找树性质
3. 10亿条64B长的URL, 限定1G内存, 做计数, 如果要TopN的话呢. 哈希分桶+堆排序时间复杂度
4. 用户行为日志有UID和时间戳, 设定一个session间隔. 离线及在线地计算用户的平均session长度
5. 之前做过标签推荐系统, 详细讲一下架构和自己设计的算法. 算法流程是行为评分+指数衰减+线性归一化+余弦相似度/皮尔逊相关性+TF-IDF打压
-
面试时刻薪酬要怎么说
李信万万没有想到,他的低薪影响他获得一份新的工作。某公司招聘主管在面试李信后,认为他的条件和工作技巧满足新的岗位需求,但招聘经理在了解到他以往的薪资标准后,认为太低不符合他所承担的工作职责,最终将他从候选名单中删除了。当一份梦寐以求的工作机会出现在你...
-
面试时一定要避免六个负面小动作
求职过程中,面试可以说是压力最大的一个环节。要想在面试中成为胜利者,要做好多方面的准备,就连一些不经意的小动作也不能忽略。美国心理学家近日指出,面试时一定要避免六个负面小动作。边说话边拽衣角。求职者在面谈时,由于紧张或不适应,无意间会拽衣角或摆弄纽扣。...
-
1对1面试的经验技巧
第一面和最后一面的区别,HR考察的是人的综合素质,是为了要部门经理推荐你,而部门经理是看喜不喜欢你,不再考察你的素质,所以最后一面一定要博得经理的喜欢,引导部门经理向自己准备的问题来问,但是对HR,这一招就不管用了,因为HR会看出来。HR拍桌子和部门经理拍桌子是不一...
-
你真的读懂了HR的“潜台词”么?
外地人一份调查发现,异地求职者的应聘理由,排在前列的是“工资高”、“从小向往这座城市”、“情感或家庭因素”。虽然,求职者认为这些理由很充分,但HR在招聘时却并不买账。于是,异地求职发现,他们比本地求职者找工作更为艰难。那么,问题出在哪里呢?[职场案例]小金面试...