字节数据开发/数据仓库面试二面
跨部门面试转正二面
数据工程入门路线图(必看)
『文字版 』：写在前面:本次文章主要分成三个部分【国内市场、海外市场、两者对比】
数据仓库八股
国内面试常考题目与考点
腾讯-PCG-内容平台-数据工程-一面(2025.3.10)
来自优秀学员～ 前三个是针对他简历提出的问题，大家可以看看学习思路，这位很厉害，2025年秋招已经提前批拿到了offer，30k
视频创作平台：创作者分层与生态优化【数仓项目】
这是一个某讯的数仓分层项目，很值得学习，以及借鉴。
【数仓项目】商业化广告
红某书数仓项目，不像是市面上大多是普遍的项目，很容易转化。
字节跳动-生活服务-大数据开发-二面(2025.3.25)
1. 实习学到什么 2. 本科到研究生的专业跨度 3. 你的优势。 4. 实习中成就感的事 5. Clickhouse 的每日百亿数据的优化 6. 分区的存储表现 7. Clickhouse 中物化视图的更新 8. Clickhouse 索引了解吗、Hive中有索引吗、
网站文章路线图「文字版」
对于想要快速进入数仓/数据开发岗位的在校大学生来说，学习必须有节奏、有重点。 本路线分为 三大阶段，既覆盖 大数据组件与数仓基础，又兼顾 编程与算法，最后再进入 简历优化 + 面试冲刺。 每个阶段都配套推荐文章，方便你逐步补齐。 🏗️第一阶段：大数据与数仓基础 目标：快速建立对大数据和数仓的 全局认知，
京东-零售-一面202509
限时开放~
【SQL】：行转列与列转行完全攻略
行转列、列转行这两个技巧在校招面试中的出现率仅次于连续登录问题，特别是做报表开发和数据分析的岗位，基本上是必考内容。 今天就来彻底搞定这两个"数据变形"技巧，让你在面试中游刃有余！ 为什么要学这两个技巧？ 想象一下你刚入职的第一周，领导给你一个Excel文件，说："小王，把这个学生成绩表处理一下，每个学生一行，科目做列，然后给我一个排名报告。
标题：三道经典SQL题解析，助你掌握复杂数据分析技巧
在数据分析和运营工作中，SQL是处理统计需求的必备技能。本文通过解析三个中等难度的SQL题目，带你掌握时间范围统计、比率计算、窗口函数等实用技巧。文末附完整代码，建议收藏练习！ 题目一：统计视频类别的转发率 需求场景 运营同学需要分析最近30天内，每类视频的转发量和转发率（转发量/播放量），按转发率排序，用于优化内容策略。 数据表结构 1. 用户互动表
Discord 社区
加入 Discord 服务器 小万的DATA成长营地！这是一个专注于 数据工程（Data Engineering, DE） 的实战型学习社区 ——你将在这里获得系统成长路径、学习资源、技术问答、打卡体系、职业指导、项目实践与 VIP 深度辅导。 | 45 位成员Discord
中国联通·大数据
📌 公司：中国联通·大数据 📌 岗位：数据开发实习生 📅 面试轮次：技术面 + 综合素质面 🧠 被问问题如下： 自我介绍（项目能说得细点最好） Hive和HBase的区别？适用场景分别是什么？ 说一下你熟悉的ETL流程，调度工具用过哪些？ Kafka和Flume的区别？Kafka有分区机制吗？ SQL题：窗口函数应用场景？写一个求分组TOP
Flink 状态管理深度解析
摘要：本系列文章旨在全面剖析 Apache Flink 的状态管理机制。作为上篇，本文将深入底层，探讨 Flink 为何能成为有状态流计算的王者。我们将详细拆解状态的内存模型、Key Group 的扩缩容算法、不同状态后端的物理存储差异，以及支撑 Flink 容错核心的 Chandy-Lamport 算法变体。
Spark 极致性能调优：内核、AQE与实战手册
Spark 性能调优的本质是消除瓶颈，而瓶颈的消除效果是分层次的。一个错误的架构或算法，即使配置了顶级的资源，其性能也远不如使用正确算法配合普通配置的作业。 我们将调优层次划分为三个重要级别： 1. 架构与算法层 (最高效，影响 80%)： * 优化：重写 RDD/DataFrame 逻辑，采用更高效的数据结构。 * 核心：消除数据倾斜（
Spark Streaming：流式计算的经典应用与深度实践
引言：流处理的微批次革命 在大数据处理的演进史上，Apache Spark Streaming 占据着承前启后的重要地位。在它出现之前，Hadoop MapReduce 定义了离线批处理的标准，而 Apache Storm 则引领了低延迟的逐条流处理。然而，企业在实际应用中发现，维护两套技术栈（Lambda 架构）
Spark SQL 实战：大规模数据分析
引言：大数据时代的分析利器 在当前爆炸式增长的数据环境中，快速、高效地处理和分析海量数据是企业取得竞争优势的关键。Apache Spark，凭借其卓越的内存计算能力，已成为大数据处理的标准框架。而 Spark SQL 则是Spark生态系统中最核心、最强大的结构化数据处理模块，它为用户提供了统一的接口，无论是使用传统的SQL查询语言还是编程语言的API（如DataFrame/Dataset API），都能实现对大规模数据集的交互式查询和分析。
在 Hadoop 集群调优 Hive
引言 Hive 在数据仓库中的核心作用与调优必要性 Hive 作为 Hadoop 生态系统中的核心数据仓库工具，提供了一种用户友好的 SQL-like 查询语言（HiveQL 或 HQL），将结构化查询转换为底层计算框架的任务执行计划，支持 PB 级海量数据的存储、查询和分析。在 Hadoop
Hive 与传统数据库的对比：适用场景、局限与面试指南
引言 在大数据时代，数据处理工具的选择直接影响企业的分析效率和决策质量。Hive 作为 Apache Hadoop 生态系统中的核心数据仓库工具，以其对海量数据的批处理能力脱颖而出，而传统关系型数据库（如 MySQL 和 Oracle）则以高一致性和实时事务处理著称。本文将深入探讨 Hive 与传统数据库的核心差异，包括架构设计、性能表现、
数据仓库中的广告归因模型：业务背景与应用指南
1. 引言 1.1 报告背景与目的 随着数字广告从传统媒体向多渠道、程序化投放演变，用户转化路径日益复杂，广告主面临着前所未有的效果评估难题。传统那句经典的营销吐槽——“我知道我的广告预算有一半被浪费了，但我不知道是哪一半”——在数字时代被进一步放大。广告归因模型作为核心方法论，旨在科学量化每个营销触点（广告点击、展示、社交媒体曝光、邮件互动等）对最终转化的贡献，
Lakehouse 实训手册（MinIO + Spark + Delta + Hive Metastore）
目标：在一台 Ubuntu 服务器上，快速搭建一个“类 Databricks”的教学环境：对象存储：MinIO（S3 兼容）元数据：Hive Metastore（PostgreSQL）计算：Spark Standalone（Master/
北美DE专区
pipeline 文章 Lakehouse 实训手册(MinI0Spark + Delta + Hive Metastore)
MapReduce 过程详解
MapReduce 是面向大数据并行处理的计算模型、框架和平台，对于大数据开发或者想要接触大数据开发的开发者来说，是必须要掌握的，它是一种经典大数据计算框架，现在有很多开源项目的内部实现都会直接或间接地借鉴了 MR 过程的实现。Hadoop 中的 MapReduce 是一个离线批处理计算框架。 1）MapReduce 是一个基于集群的高性能并行计算平台（Cluster Infrastructure）。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。
详解Yarn基础架构及其设计思想
1.Hadoop Yarn 目录组织结构 * YARN API（hadoop-yarn-api 目录）：给出了 YARN 内部涉及的 4 个主要 RPC 协议的 Java 声明和 Protocol Buffers 定义，
