海猫云平台
why 海猫?
hcat
Hadoop Cluster Access Toolkit
主要功能
数据接入到海猫的入口
原始数据查询
调度任务配置
任务或数据异常及时通知
元数据信息查询
集成
- 服务端采集
- 客户端上报
查询
hive数据仓库工具
结构化的表
映射
文件
通过HQL查询
SELECT dt, count(1) as pv FROM default.yy_web_original
WHERE dt='20170711' AND fd='cloud.hiido.com' GROUP BY dt自动化
调度系统
任务1
任务2
1am执行
select pv,other field from database1.table_foo
where age>18 and city = 'gz' and dt=20170711...
00:00
01:00
02:00
03:00
04:00
05:00
06:00
...
任务3
结果导出
结果文件
导出服务
业务方的库
结果路径
全局
和移动统计的关系
原始数据
用户直观的数据
- 网站统计--海猫pv、uv统计图表
上报
计算&统计
结果导出
step2
step1
step3
Thank you
to be continue