大数据和云计算技术周报（第162期)

科技2022-09-12 129

导语

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

本期会给大家奉献上精彩的：微服务、Flink、数仓、Hbase、spark、hive、MongoDB、ES。全是干货，希望大家喜欢！！！

1Linux

开源先驱ESR：微软将放弃Windows内核，转Linux

https://mp.weixin.qq.com/s/R11garczYIMEXthyYJBURg

2Flink

随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子，从引擎侧、平台侧和业务侧各个不同方面，来阐述滴滴所做的工作，分享在建设过程中的经验。

https://mp.weixin.qq.com/s/ayHiMNlQ8IF00-bylQQnuw

3ElasticSearch

滴滴ElasticSearch平台承接了公司内部所有使用ElasticSearch的业务，包括核心搜索、RDS从库、日志检索、安全数据分析、指标数据分析等等。平台规模达到了3000+节点，5PB 的数据存储，超过万亿条数据。平台写入的峰值写入TPS达到了2000w/s，每天近 10 亿次检索查询。为了承接这么大的体量和丰富的使用场景，滴滴ElasticSearch需要解决稳定性、易用性、性能、成本等诸多问题。我们在4年多的时间里，做了大量优化，积攒了非常丰富的经验。通过建设滴滴搜索平台，打造滴滴ES引擎，全方位提升用户使用ElasticSearch体验。这次给大家分享的是滴滴在写入性能优化的实践，优化后，我们将ES索引的写入性能翻倍，结合数据冷热分离场景，支持大规格存储的物理机，给公司每年节省千万左右的服务器成本

https://www.iteblog.com/archives/9850.html

4设计

本文主要讲述了在传统电商企业中，订单系统应承载的角色，就订单系统所包含的主要功能模块梳理了设计思路，并对订单系统未来的发展做了一些思考。

https://mp.weixin.qq.com/s/O2Xgf9CV-zjg9C4gPIPTAg

5数仓

本文主要介绍美团外卖离线数仓的历史发展历程，在发展过程中碰到的痛点问题，以及针对痛点做的一系列优化解决方案。

https://mp.weixin.qq.com/s/BUs6MvKTOMOfEjar_Br44Q

6MongoDB

本文讲述了采用OnGres用于MongoDB与PostgreSQL基准测试对比，基准测试报告的注释，以及OnGres基准测试用于MongoDB时发现的错误；

https://mongoing.com/archives/75035

7Flink

本文来简单了介绍笔者团队在点击流实时数仓方面的一点实践经验。采用主流的Flink+ClickHouse技术栈，基于架构设计与常见问题做了简述。

https://mp.weixin.qq.com/s/kgL8jBqcOV9EEBNH8b168w

8AI

在这篇文章中，我不会具体去推导检验统计量和相应拒绝域的得出，这对于大部分非统计学专业的人士来说是晦涩的，我只想通过一个案例告诉大部分初学者假设检验怎么在数据挖掘中使用。

https://mp.weixin.qq.com/s/MkR3WUzXNl1rtKJx4TE13g

9Binlog

笔者写这篇文章，目的是把实际工作中对于Binlog数据采集的开发流程的原则、注意事项、可能存在的问题点展示出来，其中也会有笔者自己的一些个人总结数据采集中的原则，为大家作参考，都是干货哦。

https://mp.weixin.qq.com/s/CB5zxtP4CMdb7yBjOlfioQ

11开心一刻

老婆：人家XX订婚，光聘金就100万；你的聘金硬是比人家少了两个零！还如数归还了。。。到现在，我家还一直倒贴。老公：我才委屈呢，便宜哪有好货？老婆：你。。。你。。。

致谢：

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞