hive项目
最新推荐文章于 2024-04-29 16:23:07 发布

龙技术 于 2021-11-14 21:57:05 发布
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
新零售项目
项目背景介绍、业务需求、虚拟机环境准备;
零售行业的发展历程
地摊、货郎 价格老板自己说了算不稳定,流动性大质量没有保障种类少 百货商店 门店货物多明码标价随进随出质量有所保证 超级市场 自选商品购物效率环境更好商品的包装等,竞争更激烈,质量也更高 连锁门店 标准化管理,减少个人经验带来的损失分工管理、提升了效率供应链完备,进货成本更低店面更方便 电商 没有地域限制成本进一步降低(没有了租房费用)促进实体店的改进改变了零售行业的主体业务,从前卖得好就得选个好店面,现在卖得好需要好的促销经营手段 新零售 线上线下结合+物流解决一部分线下实体店面临的问题大数据推荐、智能门店新零售业务流程
核心流程:
发布商品流程——》下单流程(单店订单、跨店订单)——》配送流程——》退款流程。
发布商品流程[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RH4RB




原始数据(重要)
原始数据,按照子系统划分为这些模块:▁▁▁▁▁▁订单子系统、用户子系统、商品子系统、支付子系统、店铺子系统,分别有哪些表?

研发团队(重要)
项目经理 1
大数据开发 3
数据分析师 2
开发时间 3个月
报表需求(重要)
包含▁▁▁销售、▁▁▁商品、▁▁▁用户、促销、配送三大主题。
数据量(重要)
总的历史数据35T左右;
每日增量25G。
技术方案(重要)
用到了▁▁▁▁mysql、sqoop、HDFS、Hive、Presto、springboot、vuejs等技术。
虚拟机使用(重要)
动手操作。
Linux优化
内存:Swappiness虚拟内存、关闭内存页透明化(内存动态分配)
网络:TCP Socket端口数、缩减Socket闲置时间
IO:最大文件句柄、关闭系统日志
进程:最大派生进程数
相关知识
Hive :sql语法详解
Hive在load时是不检查数据是否符合schema的,Hive遵循的是sche
2020年07月
OLAP
植物健康,Spring Boot来助力
CDH集群规划
HCNA
花+(Flower Plus)招聘
小麦病害检测数据集【‘细菌叶斑病‘, ‘褐斑病‘, ‘叶瘤病‘】
数据分析师的书单
原文链接: hive项目 https://m.huajiangbk.com/newsview899518.html
| 上一篇: Python在线零售数据关联规则... | 下一篇: 路演直击 |



