楚門智能創(chuàng)始人，昆士蘭理工大學數(shù)據(jù)科學碩士，前阿里高級研發(fā)工程師，Cloudera認證講師，Cloudera認證大數(shù)據(jù)管理員；多年大數(shù)據(jù)行業(yè)經(jīng)驗，原聯(lián)想電商大數(shù)據(jù)平臺負責人，主要科研方向為數(shù)據(jù)科學，在自然語言處理領(lǐng)域有資深的經(jīng)驗,參與過多個百億級別得大數(shù)據(jù)項目，操作過真正得大數(shù)據(jù)集群。并擁有咨詢、大數(shù)據(jù)產(chǎn)品設(shè)計、商務(wù)等多方面得資深經(jīng)驗。擅長Spark、Hadoop等平臺架構(gòu)，講課風格幽默風趣、實戰(zhàn)為主。

國內(nèi)首批獲得美國cloudera 認證大數(shù)據(jù)架構(gòu)師

精通課程

Spark相關(guān)技術(shù)

數(shù)據(jù)挖掘

Java及數(shù)據(jù)架構(gòu)

Python高級開發(fā)系列課程

Android

大客戶培訓經(jīng)驗<部分>

中國電子科技集團公司第28所-----------------云計算架構(gòu)與實踐

華為終端有限公司-----------------大數(shù)據(jù)助力用戶行為分析

廣州民航信息技術(shù)有限公司-----------------Hadoop 調(diào)優(yōu)與集群管理

廣東省通信產(chǎn)業(yè)服務(wù)有限公司朗訊-----------------大數(shù)據(jù)最佳實踐與建設(shè)技術(shù)

中國農(nóng)業(yè)銀行北京分公司-----------------金融大數(shù)據(jù)的困擾與解決方案

廣東電信-----------------云計算與大數(shù)據(jù)對電信的影響及技術(shù)架構(gòu)

……..

項目經(jīng)驗<部分>

項目經(jīng)驗

2014年至今：聯(lián)想網(wǎng)絡(luò)監(jiān)控大數(shù)據(jù)平臺-Spark

2014年至今：聯(lián)想自然語義分析平臺

2012/2-至今：某金融行業(yè)海量數(shù)據(jù)分析與存儲平臺

項目描述：某金融企業(yè)海量數(shù)據(jù)分析與存儲平臺，目前處于POC階段，主要用來解決大數(shù)據(jù)環(huán)境下，金融行業(yè)面對的挑戰(zhàn)與成本問題

責任描述：架構(gòu)設(shè)計，重要模塊實現(xiàn)，Python 構(gòu)建的核心算法模塊

2012/5-至今：某國企知識庫系統(tǒng)

項目描述：基于云搜的一個企業(yè)應用，主要用來處理企業(yè)內(nèi)部文檔搜索的需求

責任描述： 需求調(diào)研，架構(gòu)設(shè)計，Python 構(gòu)建的核心算法模塊

2012/1-至今：云計算實時分析ETL系統(tǒng)

項目描述：該項目為海量數(shù)據(jù)實時分析系統(tǒng)，可以處理實時數(shù)據(jù)分析的需求，如數(shù)據(jù)統(tǒng)計，網(wǎng)站分析數(shù)據(jù)統(tǒng)計等

責任描述：架構(gòu)設(shè)計

2011/9-至今：云搜

項目描述：該項目為解決大數(shù)據(jù)時代海量數(shù)據(jù)搜索而設(shè)計，解決了原有基于Solr等搜索的局限性與問題

責任描述：架構(gòu)設(shè)計，Python Django架構(gòu)設(shè)計

2011/5 --至今：某國企指紋智能匹配平臺

項目描述： 匹配指紋系統(tǒng).系統(tǒng)能力達到2千萬條指紋數(shù)據(jù)通過算法匹配,5秒內(nèi)返回結(jié)果.

責任描述： 架構(gòu)設(shè)計，Python 構(gòu)建的核心算法模塊

2011/1 --至今：海量數(shù)據(jù)實時分析平臺

項目描述： 該項目是我們自主研發(fā)的產(chǎn)品,全稱為海量數(shù)據(jù)實時分析系統(tǒng).系統(tǒng)實現(xiàn)目標為,對很多日志進行實時的統(tǒng)計,如網(wǎng)站的PV,UV,分類的排名等.實基于日志的統(tǒng)計信息,能夠?qū)崿F(xiàn)準實時的顯示統(tǒng)計結(jié)果,實現(xiàn)業(yè)務(wù)包括網(wǎng)站的PV,視頻,廣告點擊率等.功能強大,具有高可靠性,強擴展性.

責任描述： 架構(gòu)設(shè)計,研究

2011/1 --至今：海量數(shù)據(jù)自動部署與智能運維平臺

項目描述： 該項目為云平臺自動部署運維平臺，可以通過簡單的配置，自動安裝所有云平臺的組件。提供強大的運維功能

責任描述： 架構(gòu)設(shè)計研發(fā)

2010/6 --至今：某國企電力項目海量數(shù)據(jù)收集分析

項目描述： 該項目為統(tǒng)計某地單位時間內(nèi)全部電表用電量情況。數(shù)據(jù)規(guī)模：3千萬數(shù)據(jù)收集點 每分鐘9千萬數(shù)據(jù)需要入庫 并同時產(chǎn)生實時分析數(shù)據(jù)結(jié)果，包括用電量等

責任描述： 架構(gòu)設(shè)計，Python 構(gòu)建的核心算法模塊

2010/4 --至今：大數(shù)據(jù)平臺

開發(fā)工具： java shell

項目描述： 該項目為海量數(shù)據(jù)挖掘系統(tǒng)。采用了Hadoop 作為文件系統(tǒng)，并且采用了HBase hive作為分析工具 與 分布式數(shù)據(jù)庫。對Hadoop等有長時間的研究

責任描述： 架構(gòu)，優(yōu)化，研發(fā)

2009/10 -- 2010/3 ：XXX號碼百事通預定平臺

項目描述： 該平臺為XXX電信 官方預定平臺，包含吃住行游購娛，多方面咨詢及預定服務(wù)，同時整和了支付寶，翼支付等第三方支付平臺。項目中涉及到webservice freemaker等技術(shù)，包含了多平臺整和 其中有.net PHP

責任描述： 該項目中，擔任了項目經(jīng)理 主要是作了 單點登陸的實現(xiàn)，解決了跨平臺webservice速度慢的問題，數(shù)據(jù)庫的優(yōu)化，SQL語句的優(yōu)化，并開發(fā)了工具類庫

2009/6 -- 2009/8 ：XXX移動身份與認證管理平臺手機客戶端

開發(fā)工具： android2.1

項目描述： 該項目為移動身份認證管理平臺手機客戶端實現(xiàn) 包括ssl telnetd登錄 配置服務(wù)器等功能

責任描述： 本客戶端中 為項目經(jīng)理 軟件的設(shè)計開發(fā) 與客戶的協(xié)調(diào)工作

2009/5 -- 2009/12 ：XXX人壽身份與認證管理系統(tǒng)

軟件環(huán)境： Windows server 2003 , Weblogic 8.x ，Spring2.0 ，Struts,Hibernate

硬件環(huán)境： WINDOWS B/S ， CVS

開發(fā)工具： JAVA(JDK1.5.8),采用MyEclipse6.0等工具開發(fā)

項目描述： 該項目為XXX人壽的資源 身份認證管理系統(tǒng)

責任描述： 需求調(diào)研，網(wǎng)元模塊開發(fā)

2009/4 -- 2009/10 ：XXX移動短信動態(tài)網(wǎng)關(guān)認證平臺

項目描述： XXX移動短信動態(tài)網(wǎng)關(guān)認證平臺.是為解決移動集團用戶通過VPN登錄集團時，忘記密碼的情況而開發(fā)的一款中間件，現(xiàn)該產(chǎn)品在移動內(nèi)部使用，穩(wěn)定運行，分1.0，2.0兩個版本，主要應用技術(shù)有webservice等，認證產(chǎn)品為cisco acs。主要采用的線程池，緩沖隊列來解決項目中并發(fā)數(shù)的問題，采用的是LDAP，數(shù)據(jù)庫采用SQLSERVER。對并發(fā)量的控制有自己的見解

責任描述： 負責設(shè)計，開發(fā)，需求調(diào)研等。全權(quán)負責開發(fā)工作，負責所有功能的開發(fā)，包括下發(fā)短信，取回密碼，VPN登陸

2009/1 --至今：XXX移動身份與認證管理平臺

軟件環(huán)境： apache jboss

開發(fā)工具： apache jboss

項目描述： 簡稱為全網(wǎng)4a 我主要參與了3。0 3。1 版本的開發(fā) 而且對產(chǎn)品升級提出了自己的見解，獲得領(lǐng)導的表揚。實現(xiàn)了對移動身份及資源的管理，具體資源包括網(wǎng)元等核心設(shè)備。實現(xiàn)了自動代添等功能，解決了移動賬號口令認證管理多方面需求 涉及到東西很多包括各種網(wǎng)元客戶端 及各種操作系統(tǒng)，同時包括安氏防火墻，安盟認證等第三方安全產(chǎn)品,同時該項目數(shù)據(jù)庫為posgre 身份存儲為ldap。 項目中 我整和了安盟產(chǎn)品，并且開發(fā)了網(wǎng)元模塊

責任描述： BS方面：參與系統(tǒng)的設(shè)計工作 需求分析，詳細設(shè)計，權(quán)限的設(shè)計，登陸模塊，并且開發(fā)了流程管理，審計管理模塊，并且參與用戶溝通，并對組內(nèi)成員進行輔導，技術(shù)難點攻克。CS:方面 運用c++代添組件的開發(fā) 包括華為

2008/9 -- 2008/12 ：XXX聯(lián)通合同管理系統(tǒng)

項目描述： XXX聯(lián)通合同管理系統(tǒng) 是XXX聯(lián)通客服服務(wù)部為了將XXX聯(lián)通的合同錄入 修改查看，數(shù)字化 并可以進行網(wǎng)上審批 而委托我們做的一個簡單的合同管理系統(tǒng)，屬于OA的一部分。由于該項目為黑龍江省聯(lián)通分公司的需求，所以整個系統(tǒng)的需求，設(shè)計，代碼，實現(xiàn)都是由我們委派到黑龍江的項目組來實現(xiàn)。項目中，由于具體業(yè)務(wù)的需求，我們采用的是我來封裝的struts框架，spring框架，及現(xiàn)有的hibernate來實現(xiàn)。

責任描述： 該項目中，由需求分析，軟件的設(shè)計，是由我來做，并且實現(xiàn)了一部分代碼功能，由我的同事來完成其他的工作。整個項目采用比較流行三層架構(gòu)即view層 service層 dao層，整個項目的接口由我設(shè)計