蒋老师

毕业學(xué)校清华大學(xué)/荷兰Vrije大學(xué)博士

蒋老师 毕业學(xué)校清华大學(xué)/荷兰Vrije大學(xué)博士

对大数据关键技术有(yǒu)深刻了解和实践经验,如大数据处理(lǐ)、Hadoop、Hive、HBase、Spark、NoSQL数据库、键值存储系统、流数据处理(lǐ)、数据挖掘等,有(yǒu)多(duō)年存储系统研发经验,对本地与分(fēn)布式存储系统有(yǒu)深刻了解和项目开发经验,包括 IO栈优化,基于SSD的存储系统性能(néng)优化,集群文(wén)件系统研发,云存储等,对云计算关键技术有(yǒu)深刻了解和实践经验,如分(fēn)布式系统、虚拟化、分(fēn)布式文(wén)件系统、 云存储等,熟悉主流的云计算平台,有(yǒu)商(shāng)业(AmazonEC2)与开源云计算平台(OpenStack) 的实践经验,熟悉虚拟化关键技术,包括CPU虚拟化,IO虚拟化和内存虚拟化;熟悉主流虚拟化产 品,包括VMWare,Xen,KVM等;熟悉OpenStack云管理(lǐ)平台



主讲课程:大数据系统与架构;高可(kě)伸缩Web应用(yòng)架构;云计算平台、架构与技术;虚拟化;云 存储等相关课程



研究及项目经历

  • 基于Hadoop的海量时间序列数据分(fēn)析系统

  • 掌握Hadoop框架核心技术,HDFS部署,MapReduce开发,以及Hadoop调优

  • 基于列存储的Hadoop海量数据分(fēn)析系统开发,支持列存储,支持数据段内快速索 引查询,支持SQL接口查询,支持兼容Hive

  • 掌握Hadoop框架外延系统HBase,Hive等;设计与优化Hive SQL分(fēn)析引擎,支持Join查询;面向时间序列数据分(fēn)析,优化Hive存储引擎,支持高效Hive SQL查询



  • 面向实时网络数据包分(fēn)析的Spark流处理(lǐ)系统

  • 掌握流处理(lǐ)系统核心技术和基于内存的大数据分(fēn)析技术,包括Kafka,DistributedLog, Storm 和SparkStreaming

  • 面向海量网络包数据实时处理(lǐ)与分(fēn)析,基于Kafka,HDFS和SparkStreaming开发网 络包流处理(lǐ)系统,支持快速范围与扫描查询


  • 面向智能(néng)家電(diàn)物(wù)联网的高并发数据存取与分(fēn)析系统

  • 掌握NoSQL数据库核心技术与架构,包括HBase,Redis,MongoDB和Cassandra

  • 面向高并发读写的物(wù)联网小(xiǎo)粒度数据,基于HBase和Redis设计与开发分(fēn)布式海量 数据存取系统,并与Spark对接,支持快速的字段查询与分(fēn)析


  • 基于OpenStack的云计算平台开发项目

  • 基于OpenStack开发定制化云计算平台,提供虚拟机、虚拟集群和集群自动伸缩功 能(néng);支持主流虚拟化软件包括VMWare,Xen和KVM

  • 负责云计算平台总體(tǐ)架构设计;负责大规模虚拟机操作性能(néng)调优,网络虚拟化和存储虚拟化实现和性能(néng)优化


  • 基于AmazonEC2云计算平台的Web应用(yòng)动态资源分(fēn)配与调度

  • 针对云计算平台虚拟机性能(néng)异构特性,测试不同虚拟化产品性能(néng)差异,包括 VMWare,Xen,KVM,并提出利用(yòng)在線(xiàn)Profiling技术对虚拟机进行性能(néng)建模,并进 行性能(néng)预测的动态资源分(fēn)配机制

  • 在AmazonEC2虚拟机平台上开发实现上述动态资源分(fēn)配机制




  • 高可(kě)伸缩性Web应用(yòng)系统开发

  • 深入了解提高Web应用(yòng)可(kě)伸缩性的主流技术,深入了解主流的Key-Value数据存储 和NoSQL数据库,如GoogleBigtable,AmazonDynamo等

  • 根据数据库事務(wù)处理(lǐ)、写操作和读操作的不同特点,对Web应用(yòng)数据按属性和语 义进行垂直和水平分(fēn)解,并对数据进行重新(xīn)聚合,提高应用(yòng)可(kě)伸缩性



授课经历

◇   中國(guó)移动  ◇   中國(guó)石油  ◇   新(xīn)华社  ◇   中國(guó)電(diàn)信  ◇   中國(guó)烟草(cǎo)  ◇   中國(guó)银行


上一篇
下一篇