大数据Spark实战项目 大数据实战之精准广告推送实战 完全实战化学习大数据开发：
大数据Spark实战项目 大数据实战之精准广告推送实战 完全实战化学习大数据开发
技术简介
1.传统的广告投放方式无法实现广告跟踪和效果评估，也给广告主带来了不必要的资金浪费；互联网技术的兴起，让传统的广告的投放方式从线下搬到了线上，大数据技术兴起，让不原本无法实现的广告跟踪和效果评估变成了现实；
2.精准广告推送数据分析平台是目前互联网广告投放的核心；
3.精准广告推送数据分析平台旨在利用大数据技术分析用户数据特征，根据用户特征进行精心的广告推送服务，如AnglelaBaby喜欢的口红，那么就给她推送口红的广告；
4.精准广告推送数据分析项目主要是Spark Transformations、Action、Broadcast、Spark Streaming、MLLib的技术点的综合案例实战，通过该项目实战让你的面试、就业不在是黄粱一梦。
课程大纲
|
项目
|
模块
|
具体内容
|
涉及技术
|
|
大数据Spark实战项目：
精准广告推送系统
DMP平台
|
广告行业现状
|
广告行业现状分析
|
传统广告和互联网广告投放优劣PK
|
|
广告行业知识介绍
|
互联网广告的程序化采买概念
|
||
|
DSP业务需求详解
|
SSP详解
|
||
|
AD Exchange详解
|
|||
|
RTB实时竞价详解
|
|||
|
DSP平台详解
|
|||
|
DMP平台详解
|
|||
|
项目背景
|
项目背景介绍
|
DMP平台建设的必要性分析
|
|
|
项目业务流程梳理
|
DMP业务流程详解
|
||
|
项目技术架构分析
|
DMP技术架构设计分析
|
||
|
日志采集
|
日志采集方案设计分析
|
||
|
日志格式
|
日志格式详解
|
||
|
项目数据采集
|
Flume自定义插件详解
|
Flume自定义插件开发流程详解及实际场景应用；
source、channel、sink的使用详解及实战经验； Flume HDFS sink深入剖析及实战经验； 数据存储目录结构设计； |
|
|
Flume组件使用详解
|
|||
|
Flume采集日志到HDFS
|
|||
|
日志存储目录设计
|
|||
|
数据存储技术选型
|
parquet选型
|
Paruqet存储原理详解
|
|
|
Parquet优势分析
|
Parquet存储优点详解
|
||
|
Parquet实战
|
日志文件转Parquet文件实战
|
||
|
离线业务
|
日志数据量分布统计
|
Spark SQL实战
|
|
|
广告投放效果地域分析
|
Spark Transformations各算子在各业务模型中的实战应用；
Spark Action的实战应用最佳实践经验； Spark SQL在项目数据分析业务场景中的各类复杂应用，如 如参与竞价数、竞价成功数、竞价成功率、ECPC、ECPM等。 |
||
|
广告投放效果渠道分析
|
|||
|
广告投放效果终端分析
|
|||
|
广告投放效果媒体分析
|
|||
|
实时业务
|
广告日志到Kafka
|
使用Spark Streaming结合Kafka对业务指标进行实时统计分析，并将计算的结果数据存储到Redis中
Kafka分区调优应用； Kafka整合Spark Streaming的数据可靠性优化实战； Kafka整合Spark Streaming的吞吐量协调优化实战； Spark Streaming在复杂业务模型下的逻辑开发实战； Spark Streaming线上环境各类复杂异常处理经验； Spark Streaming线上环境各类监控、JVM优化经验 |
|
|
媒体数据实时分析
|
|||
|
渠道数据实时分析
|
|||
|
用户画像
|
标签体系建设
|
定制一套标签体系
|
|
|
用户上下文标签
|
使用Spark Transformations、Action、Broadcast及外部爬虫抓到的网络数据进行处理分析将数据标签化
|
||
|
统一用户识别
|
使用Spark GraphX算法，对数据进行分析处理，识别出同一用户跨多个设备的问题
|
||
|
基于地理位置的广告投放
|
使用GEOHASH算法结合HBASE解决用户的地理位置识别问题
|
||
|
用户数据标签聚合
|
使用Spark Transformations、Action将上下文标签数据和统一用户数据进行合并
|
||
|
HBase存储用户标签
|
将合并的用户标签数据存储到Hbase中，并根据日志动态扩列
|
||
|
用户标签数据衰减
|
将Hbase中的标签数据按照日期自动衰减，形成当天最新的标签
|
||
|
数据可视化
|
ElasticSearch
|
使用Echarts、ELK将Hbase中的数据做可视化的web平台；
Echarts实际应用实战技能； ELK实际应用实战技能； |
|
|
Echarts
|
|||
|
标签可视化平台建设
|
===============课程目录===============
1.大数据实战之精准广告推送实战—广告形式介绍.avi
2.大数据实战之精准广告推送实战—几个思考.avi
3.大数据实战之精准广告推送实战—互联网广告概念及表现形式.avi
4.大数据实战之精准广告推送实战—广告名词概念.avi
5.大数据实战之精准广告推送实战—DSP原理.avi
6.大数据实战之精准广告推送实战—DSP流程.avi
7.大数据实战之精准广告推送实战—DMP项目背景.avi
8.大数据实战之精准广告推送实战—DMP数据处理技术架构.avi
9.大数据实战之精准广告推送实战—DMP业务流程.avi
10.大数据实战之精准广告推送实战—指标说明.avi
11.大数据实战之精准广告推送实战—日志字段属性说明.avi
12.大数据实战之精准广告推送实战—项目Maven工程构建.avi
13.大数据实战之精准广告推送实战—将日志转换成Parquet格式.avi
14.大数据实战之精准广告推送实战—Parquet文件分区操作.avi
15.大数据实战之精准广告推送实战—Spark SQL操作Parquet–地域数据量分布统计.avi
16.大数据实战之精准广告推送实战—Spark Core算子操作原始日志–地域数据量分布统计.avi
小牛学堂，十年沉淀，国内首家上市大数据教育机构 只为品质教育
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
