从区块链到分布式账本 从分布式记账问题说起 区块链概念三次热潮 分布式记账的重要性 分布式账本的现状与未来 从区块链到分布式账本 随着最前沿的信息科技成果不断融入金融行业，以区块链（Blockchain）为基础的分布式账本科技（Distributed Ledger Technology，DLT）崭露头角，并在部分场景（如跨境支付）中得到探索...

6.4 分布式搜索引擎 搜索引擎 倒排列表 查询 DSL 基于client SDK做开发 将 sql 转换为 DSL 异构数据同步 通过时间戳进行增量数据同步 通过 binlog 进行数据同步 6.4 分布式搜索引擎 在Web一章中，我们提到MySQL很脆弱。数据库系统本身要保证实时和强一致性，所以其功能设计上都是为了满足这种一致性需...

MapReduce和分布式文件系统 MapReduce作业执行 分布式执行MapReduce MapReduce工作流 Reduce端连接与分组 示例：分析用户活动事件 排序合并连接 把相关数据放在一起 GROUP BY 处理倾斜 Map端连接 广播散列连接 分区散列连接 Map端合并连接 MapReduce工作流与Map端连接 ...

第八章：分布式系统的麻烦 第八章：分布式系统的麻烦 邂逅相遇 网络延迟 存之为吾 无食我数 ​ —— Kyle Kingsbury, Carly Rae Jepsen 《网络分区的危害》（2013年） ​ 最近几章中反复出现的主题是，系统如何处理错误的事情。例如，我们讨论了副本故障切换 （“处...

Hyperledger - 超级账本项目 Hyperledger - 超级账本项目 Uneasy lies the head that wears a crown. Hyperledger 项目是首个面向企业的开放区块链技术的重要探索。在 Linux 基金会的支持下，吸引了包括 IBM、Intel、摩根等在内的众多科技和金融巨头的参与。 本...

分布式锁和同步器 TOC Lock Fair Lock MultiLock ReadWriteLock Semaphore CountDownLatch Lock Redisson 分布式可重入锁，实现了 java.util.concurrent.locks.Lock 接口并支持 TTL。 RLock lock = ...

分布式训练使用手册 分布式训练基本思想 使用parameter server方式的训练 选择同步或异步训练 选择是否使用分布式embedding表进行训练 选择参数分布方法 关闭切分参数 开启内存优化 使用NCCL2通信方式的训练 启动多进程模式 NCCL2 分布式训练作业 NCCL2分布式训练注意事项 分布式训练使用手册 分...

分布式数据库能力 可获得性 特性简介 客户价值 特性描述 特性增强 特性约束 依赖关系 分布式数据库能力 可获得性 本特性自openGauss 2.1.0版本开始引入。 特性简介 基于分布式中间件shardingsphere使openGauss具备分布式数据库能力。使用32个鲲鹏920(128核)节点组网(1*shardingsph...

对于Sharing Nothing的分布式系统来说，由于一个关系数据表的数据会以分区的方式存放在系统里面的各个节点上，对于跨分区的数据查询请求，必然会要求执行计划能够对多个节点的数据进行操作，天然的具有分布式执行计划生成和执行能力的需求。与之相对应的，并行查询是指通过对查询计划的改造，给每一个查询计划增加更多的CPU和IO处理能力，来提高单个查询的响应时间...