大数据处理(lǐ)行业应用(yòng)分(fēn)析与项目提案最佳实践

前沿技术 / 2023-11-21 17:34:55
大数据处理(lǐ)行业应用(yòng)分(fēn)析与项目提案最佳实践
    马上咨询

    讲师介绍

    杜威老师  高级研发管理(lǐ)顾问，资深系统架构师

    曾在多(duō)个全球500强研发中心研发中心服務(wù)近17年时间，参与多(duō)个全球协作的大型研发过程，积累了丰富的研发设计及管理(lǐ)的实战经验。

    國(guó)内最早接触大数据实时分(fēn)析平台的一批架构师，曾在某全球500强研发中心设计大数据平台的应用(yòng)架构，及海量实时数据分(fēn)析平台的架构。在Hadoop、Spark、私有(yǒu)云计算架构體(tǐ)系具有(yǒu)丰富的设计、原型、性能(néng)调优的实践经验。参与对Hadoop、Spark體(tǐ)系的源码深入分(fēn)析及研究工作。

    近17年从事研发管理(lǐ)、产品管理(lǐ)及高端架构设计方面的工作。杜先生同时是微软企业护航专家。具有(yǒu)10多(duō)款大中型产品的研发管理(lǐ)、设计、实施及质量管理(lǐ)经验，包括可(kě)口可(kě)乐GKPMS，Schlumberger Horizon（全球下一代能(néng)源勘探开发平台）Viewers，RTPM（全球实时油藏分(fēn)析与管理(lǐ)平台），Dolphin（面向全球的中间件开发平台），中國(guó)移动BI个性化客户沟通项目， CCM-Customer Communication Management（全球最大个性化客户沟通产品），Sagent（全球著名BI产品）。

    近17年的产品及项目的研发过程中，在多(duō)个全球协作开发的大型项目上实践过，如：大数据分(fēn)析體(tǐ)系架构设计， 基于大数据體(tǐ)系下的高并发架构设计，大型分(fēn)布式应用(yòng)系统的核心架构设计，基于领域模型的软件架构设计，大型海量数据处理(lǐ)系统架构设计，大型可(kě)扩展性系统架构设计，通用(yòng)解耦系统架构方案设计， 大型高并发系统架构设计， 大型高可(kě)靠系统架构设计，大型高性能(néng)系统架构设计，基于用(yòng)例的需求分(fēn)析，基于功能(néng)点的项目管理(lǐ)过程实践，敏捷开发， 单元测试， TDD(测试驱动的开发)， 持续集成， 高质量代码管理(lǐ)，等多(duō)种先进的软件架构

    课程介绍

    本次课程以实际的大数据应用(yòng)场景分(fēn)析与大数据项目提案為(wèi)主，并分(fēn)享大数据处理(lǐ)与实际大规模Hadoop/Spark应用(yòng)的一線(xiàn)经验，实践与理(lǐ)论相结合，让學(xué)员能(néng)够对大数据处理(lǐ)技术有(yǒu)一个清晰明了的认识，理(lǐ)解大数据系统系统适用(yòng)的场景，帮助學(xué)员更加有(yǒu)效的与甲方单位进行大数据项目的交流与提案。

    课程实施

    课程通过4种方式实施：

    • 实践经验分(fēn)享
    • 大型实例案例分(fēn)析
    • 深入探讨
    • 系统性理(lǐ)论知识梳理(lǐ)

    课程特色

    本课程方案注重课程的实战过程，去掉了一定量的理(lǐ)论，把实战的比重增大到总课时数的60%。其余40%為(wèi)理(lǐ)论以及指导性的流程。


    课程安排（2天）

    时间

    主题

    内容见要

    第一天

    大数据应用(yòng)综述及其前瞻分(fēn)析分(fēn)析

    • 海量数据的时代正在到来
    • 什么应用(yòng)适合大数据产品方案
    • 数据量激增的原因及其场景分(fēn)析
    • 大数据与传统关系型数据库的系统综合构建-统一与差异
    • 案例分(fēn)析：一个典型大数据处理(lǐ)平台的架构分(fēn)析
    • 大数据需要解决哪些问题
    • 关系数据库的瓶颈
    • NoSQL的优势
    • 数据处理(lǐ)的CAP原则

    海量数据处理(lǐ)系统

    的架构设计的解决方案分(fēn)析


    这个部分(fēn)主要讲解海量数据处理(lǐ)的架构设计，针对海量数据的问题设计海量数据的架构解决方案。

    • 海量数据处理(lǐ)的系统场景
    • 大数据时代的数据架构解决方案
    • 海量数据处理(lǐ)的架构汇总
    • 8种海量数据处理(lǐ)的架构设计比较
    • 分(fēn)布式系统架构的海量数据处理(lǐ)设计
    • 海量数据处理(lǐ)设计

    典型案例分(fēn)析：结合一个500强实时数据系统的实例案例进行分(fēn)析，详细分(fēn)析海量数据处理(lǐ)的架构设计

    大数据应用(yòng)的行业特点及其价值分(fēn)析

    • 在線(xiàn)旅游行业的大数据应用(yòng)特点及其架构分(fēn)析
    • 移动数据行业的大数据应用(yòng)特点及其架构分(fēn)析
    • 電(diàn)子商(shāng)務(wù)行业的大数据应用(yòng)特点及其架构分(fēn)析
    • 能(néng)源发现行业的大数据应用(yòng)特点及其架构分(fēn)析
    • 能(néng)源节省行业的大数据应用(yòng)特点及其架构分(fēn)析
    • 基础设施管理(lǐ)行业的大数据应用(yòng)特点及其架构分(fēn)析
    • 图像处理(lǐ)行业的大数据应用(yòng)特点及其架构分(fēn)析
    • 欺诈检测行业的大数据应用(yòng)特点及其架构分(fēn)析
    • IT安全行业的大数据应用(yòng)特点及其架构分(fēn)析
    • 医疗保健行业的大数据应用(yòng)特点及其架构分(fēn)析

    大数据行业解决方案的需求分(fēn)析

    • 承接大数据项目的主要关键技术点
    • 甲方企业所需要构建的大数据环境要求
    • 甲方企业对大数据的应用(yòng)场景要求
    • 甲方企业对大数据的应用(yòng)需求要求
    • 大数据行业解决方案的主要应用(yòng)模块分(fēn)析
    • 大数据行业解决方案的主要功能(néng)点分(fēn)析
    • 大数据应用(yòng)中的关键数据分(fēn)析模型的建立
    • 甲方客户中的关键角色-业務(wù)专家
    • 如何与业務(wù)专家确认大数据分(fēn)析的核心算法模型
    • 如何更加有(yǒu)效的促进大数据项目的承接与立项
    • 典型案例分(fēn)析：结合多(duō)个大数据提案的实例案例进行分(fēn)析，详细分(fēn)析大数据在行业的提案设计




    大数据行业解决方案的项目管理(lǐ)与实施

    • 大数据应用(yòng)的开发流程
    • 大数据应用(yòng)的团队构成及其工作过程：需求团队，实现团队，算法建模团队，实施团队
    • 大数据应用(yòng)的项目管理(lǐ)与项目实现的关键点管理(lǐ)
    • 大数据应用(yòng)的需求分(fēn)析阶段的项目管理(lǐ)过程
    • 大数据应用(yòng)的架构设计阶段的项目管理(lǐ)过程
    • 大数据应用(yòng)的代码实现阶段的项目管理(lǐ)过程
    • 大数据应用(yòng)的测试阶段的项目管理(lǐ)过程
    • 大数据应用(yòng)的实施过程管理(lǐ)

    典型案例分(fēn)析：分(fēn)析一个大数据的实例项目， 其项目管理(lǐ)过程与实施过程

    综合性架构综述及其应用(yòng)场景分(fēn)析-帮助进行大数据中NoSQL體(tǐ)系的认知及提案设计

    典型案例分(fēn)析：结合一个500强实时数据采集系统的实例案例进行分(fēn)析，详细分(fēn)析NoSQL的综合开源架构应用(yòng)多(duō)种NoSQL的产品集合应用(yòng)

    大数据下的数据挖掘體(tǐ)系与智能(néng)分(fēn)析-帮助进行大数据中数据挖掘的提案设计


    • 大数据中数据挖掘體(tǐ)系综述
    • 大数据系统的数据挖掘的核心架构
    • 找到大数据中关键数据关系-形成数据挖掘链
    • 使用(yòng)Hive进行数据分(fēn)析
    • 通过Pig进行关系型数据库的数据ETL过程
    • 大数据统计分(fēn)析
    • 优秀的大数据挖掘-R语言
    • 大数据挖掘可(kě)视化
    • 典型案例分(fēn)析：结合一个500强实时数据采集系统的实例案例进行分(fēn)析，详细分(fēn)析HBase的开源架构应用(yòng)及其使用(yòng)场景与整體(tǐ)系统架构的结合及其架构提案过程

    基于大数据的项目提案设计与撰写

    • 大数据方案的主體(tǐ)结构
    • 大数据方案中的应用(yòng)需求部分(fēn)撰写
    • 大数据方案中的业務(wù)體(tǐ)系设计部分(fēn)撰写
    • 大数据方案中的数据采集體(tǐ)系设计与撰写
    • 大数据方案中的数据传输體(tǐ)系设计与撰写
    • 大数据方案中的数据存储體(tǐ)系设计与撰写
    • 大数据方案中的数据分(fēn)析与核心算法建模设计与撰写
    • 大数据方案中的分(fēn)析结果展示设计与撰写
    • 大数据方案的整體(tǐ)架构设计与撰写
    • 大数据整體(tǐ)架构图建模
    • 大数据提案的撰写与评审

    典型案例分(fēn)析：结合多(duō)个大数据提案的实例案例进行分(fēn)析，详细分(fēn)析大数据在能(néng)源行业的提案设计

    大数据营销方案撰写-大数据系统白皮书

    • 大数据技术白皮书的文(wén)档结构
    • 白皮书中的行业分(fēn)析
    • 解决方案部分(fēn)的文(wén)档撰写
    • 白皮书中的行业特性功能(néng)分(fēn)析

    典型案例分(fēn)析：分(fēn)析一个全球100强研发中心的大数据项目， 其中技术白皮书的主要文(wén)档结构及其撰写的关键点

    咨询、建议及深入探讨

    • 基于大数据的项目如何立项
    • 基于大数据的项目如何与甲方单位更有(yǒu)效的沟通
    • 基于大数据的项目如何进行销售及服務(wù)、运维
    • 基于大数据的项目如何进行提案设计