Scalability

Source: https://github.com/binhnguyennus/awesome-scalability at c9ca9f248d4d
License: MIT
Read the English original

This edition is an AI-assisted translation.

更新和有条不紊的阅读清单,以说明可扩展、可靠和能发挥作用的大规模系统的模式。 著名工程师的文章和可信的参考文献对概念作了解释。 案例研究来自为数百万至数十亿用户服务的战役测试系统。

如果你的系统变慢

理解您的问题: 伸缩性问题( 对单个用户来说是快速的, 但负重情况下是慢的) 或 性能问题( 对单个用户来说是慢的) 通过审查一些 设计原则 并检查如何 可缩放性 和 业绩 技术公司的问题解决了 节 资料 是为那些在大(数据)和深(学习)尺度上从事数据和机器学习工作的人创造的。

如果你的系统失灵

“即使你一天都输了,只要你保持冷静,你就能再重建!” 所以,保持冷静,注意 可用性 和 稳定 问题!

如果你正在接受系统设计面试

看看这个 访谈说明 和 完成真实世界建筑 在白板上设计您的系统之前,要获得一个全面的视图。 你可以检查一些 会议 来自科技巨头的工程师们 了解他们是如何建造 规模化和优化他们的系统的 祝你好运!

如果你正在建立你的梦想团队

规模化团队的目标不是扩大团队规模,而是增加团队产出和价值. 您可以从各方面了解技术公司如何实现这一目标:招聘、管理、组织、文化和通信。 组织 节。

社区权力

我们非常欢迎捐款! 你也许想看看 缴款准则。如果在此看到一个不再维持或不适合的链接,请提交拉动请求!

许多长时间的辛勤工作已经进入这一项目。 如果你觉得有用 请在Facebook上分享 在推特上, (中文). 腾讯微博.,或者在您的聊天小组! 知识就是力量 共享的知识就是力量的倍增 谢谢!

内容

• 原则
• 可缩放性
• 可用性
• 稳定
• 业绩
• 资料
• 建筑业
• 面谈
• 组织
• 说话
• 书籍

原则

• 从特大型服务中汲取的教训——Eric Brewer, UC Berkeley & Google
• 大型分布式系统的设计、经验教训和建议 — — Jeff Dean, Google
• - Joshua Bloch,CMU & Google
• 关于效率、可靠性、扩增的VP - James Hamilton, AWS
• 混沌工程原则
• 在混乱中寻找秩序.
• 十二种因数应用
• 清洁建筑
• 高聚变和低耦合
• Monolite和微型服务
• CAP 理论和平衡
• CP和AP数据库
• 无国籍人和国家的代价
• 缩放和缩放: 隐藏成本
• ACID和BASE组织
• 块/ 非块和同步/同步
• 数据库性能和可扩展性
• 数据库隔离程度及其对性能和可扩展性的影响
• 大型集群数据的潜在损失
• 数据访问高可扩展性解决方案:持久性使用SQL、NoSQL和Polyglot
• (原始内容存档于2017-09-21). SQL. 无SQL.
• SQL vs NosQL - 销售公司的经验教训
• 没有SQL数据库:调查和决策指导
• 如何去哈登工作
• 继续
• 趋同:算术权衡
• 别被哈西特骗了
• Netflix的同一只吊车.
• - Werner Vogels,亚马逊CTO
• 缓缓为王.
• 反偷猎
• 罗杰·莱滕特时装
• 每个程序员都应该知道紧急人物
• A. 服务供应的计算
• 扩大网络应用程序的结构问题: Bottlenecks, Database, CPU, IO
• 常见穹顶
• 分布式交易以外的预期寿命
• 通过依赖软件来调整不同层次的流量
• 故意破坏东西。
• 避免超出工程范围
• 最恶劣的做法
• 使用固态技术-不要重现轮子-保持简单!
• 分散复杂性的简单性
• 为什么过度使用不好?
• 表现是一种特征。
• 业绩作为工作流程的一部分
• 服务器侧渲染对客户端渲染的优势
• 自动和摘要:从Facebook获得的经验教训
• AWS 做和没有
• (UI) 不缩放的设计 - Stanley Wood, Spotify Design主任
• Linux 性能
• 创建快速和有弹性的网络应用程序- Ilya Grigorik
• 接受部分故障,尽量减少服务损失
• 复原力设计
• 自愈设计
• 缩放设计
• 进化设计
• 从错误中吸取教训

可缩放性

• 微型服务和管弦乐团
  • Uber 面向地区的微服务结构
  • 服务架构(3个组件:域网关,增值服务,BFF),位于SoundCloud
  • 暴动游戏容器(8部分)我不确定.
  • Plis 容器化
  • Netflix容器使用的演变
  • 在 Uber 上嵌入 MySQL
  • 在Spotify测试微服务
  • 树屋生产中的家庭
  • SoundCloud 微服务
  • 以条纹稳定运行 。
  • 与伊斯蒂奥在特里瓦戈的交叉交通镜像.
  • Kubernetes,农业规模(3个部分),纽约时报
  • BBC 纳米服务
  • 威力封印:布隆伯格的Kubernetes集群测试工具
  • 指挥:Netflix的小型服务管弦乐团
  • 100 000多家商店
  • 中型微型服务建设
  • 从裸体金属到Betabrand的Kubernetes.
  • 丁德之忽必烈.
  • (原始内容存档于2018-09-21). Kubnets, Kura.
  • 一个感兴趣的Kubernetes平台
  • 努银行的微型服务
  • Mercari 微服务支付交易管理
  • Snap 的服务网格
  • GRIT:eBay服务间分销贸易协定
  • 鲁比克斯:帕兰蒂尔的库伯涅斯
  • CRISP: Uber微服务结构临界路径分析
• 分发缓存
  • EVCache:Netflix发行中的内存缓存
  • Netflix 的 EVCache 缓存警告基础设施
  • Memsniff: 盒式磁盘交通分析器
  • 一个恒定的Hashing和慢 Etsy贴
  • 分析 Facebook 上的照片缓存
  • Facebook上的缓存效率练习
  • tCache: Trivago Java Caching 的可缩放数据识别
  • Pycache: Quora 缓存
  • 将特里瓦戈的中继内存使用减少50%
  • 寻找内部服务电话
  • Allegro 使用大数据来估计缓存效率
  • Zalando 缓存分布
  • S3 的 Crickhouse 分发缓存
  • NetFlix 应用程序数据缓存从内存到 SSD
  • Skyscanner 复制缓存平衡
  • 在Yext和Quadtrees缓存位置
  • 视频元数据缓存
  • 微博上的Redis
  • 以 Redis 放大 Slack
  • 将连续数据移出 Github 的 Redis
  • 在 Instagram Redis 中存储数亿个简单密钥 - 等价对等
  • 莱迪斯在特里瓦戈
  • 在交货时优化 Redis 存储
  • Wattpad Redis 内存优化
  • 在哈鲁库的雷德斯舰队中.
  • 在 SoundCloud 中解决远程构建缓存(2 部分)
  • Flipkart 的评分和审查(2个部分)
  • 预选 eBay 上的工程缓存
  • Wix 跨区域缓存库
  • 改善分权层的业绩和效率
  • Mendash微型服务的标准化和改进
  • HTTP 缓存和 CDN
    • Zynga Geo 代理游戏:在Zynga减少移动游戏的休闲
    • 康德纳特的谷歌.
    • A/B ” 交付 ” 中的托管基础设施测试
    • HAProxy和Kubernetes为SoundCloud的用户提供交通服务
    • Bandaid: 在 Dropbox 服务器上
    • 服务工人
    • CDN 监视服务
• 分配锁定
  • 胖胖:为Google提供的Loosely综合分发服务
  • Uber 发行锁定
  • 使用 Redis 在 Gosquared 中分发锁
  • 动物园管理员在Twitter.
  • 使用分布式锁定删除重复查询
• 分配跟踪、跟踪和计量
  • Zipkin:在Twitter上发布系统跟踪
  • 使用 Kubernetes Pod 元数据来改进 SoundCloud 中的 Zipkin 跟踪
  • Canopy:在Facebook上扩大分发跟踪和分析
  • Pintrace: 普利希的音轨
  • XCMetrics:用于跟踪Xcode的所有工具在Spotify中创建量子
  • 链接到实时分配跟踪
  • 跟踪服务基础设施的规模
  • 你好,新鲜的发售轨迹
  • 分析按价格分发的跟踪数据
  • 在 Uber 分布跟踪中
  • JVM 配置: 在 Uber 中跟踪分发的 JVM 应用程序
  • 在 Dropbox 中检查数据
  • 在 Showmax 中跟踪分布的系统
  • Parantier企业的Osquery。
  • Etsy 的 StatsD 数据
• 分配时间
  • PagerDuty(第3部分)中的任务分配时间表
  • 在谷歌创建 Cron
  • 分布于夸拉的克朗结构
  • Chronos:空中替换Cron
  • 隔壁的调度员
  • Peloton:Uber设备中不同组组工作量的统一资源转移
  • Fenzo 的开源软件时间表:Netflix Apache Mesos 框架设备
  • 气流 - 工作流管弦乐团
    • 气流b
    • 亚甸气流.
    • 潘朵拉流传.
    • 罗宾的当前。
    • 左边
    • 是德里克的电流
    • 盖布气流.
    • 阿多贝的气流.
    • 对沃尔玛空运业务的审计
    • Maat: 位于阿里巴巴的DAG分发任务调度器
    • 边界级别:Etsy 流程声明
• 分配监测和警报
  • 独角兽:eBay补救系统
  • M3:Uber测量和监测平台
  • Athena: Dropbox 自动保健管理系统
  • Vortex: 在 Dropbox 中监视服务器应用程序
  • 努吉:链接In的云管理处
  • Telltale:Netflix应用程序监测
  • 第三眼:链接In的监测平台
  • Periskop: SoundCloud的特殊监测服务
  • 安全器: 在 Dropbox 中分发提醒
  • 阿里巴巴监测系统
  • 日常活动的真正用户监测
  • 警告Uber生态系统
  • 空中警报框架b
  • SoundCloud的服务级别目标警告.
  • Uber 异常检测可观测工作流程预测
  • 使用 Heike 地球和Cabot 监测和警报系统的石墨
  • 推特上的观察(2部分)
  • 斯莱克的安全警报
  • 彭博现场新闻提示.
  • 链接到数据管道监测系统
  • 皮尼克的监测和观察
• 分配担保
  • Aardvark and Repokid:Netflix发行,高速发展的最低特权
  • LISA: 在 LinkedIn 中分发防火墙
  • 把比特币存放在库因基地的安全基础设施
  • 二进制提醒: Airbnb 实时服务器无恶意软件测试
  • 部分确保100个AWS账户接入的可扩展IAM架构
  • OAuth 审计工具箱
  • Yelp 活动目录密码黑名单
  • Syspall 对黑体积的审计
  • Athenz:雅虎精致,角色化的准入控制
  • Slack的安全发育生命周期
  • 在Kinvolk建造无特权集装箱
  • 迪菲:Netflix的数码数码鸿沟引擎
  • 在Netflix测试 AWS 以获取可信的妥协
  • 突出可扩展用户隐私
  • AVA: 审计网络应用记录
  • TTL 作为服务: 帮助自动取消 Stale 权限
  • Slack 企业密钥管理
  • 切换可缩放性和认证
  • Netflix 边缘认证和托肯 - 未知身份传输
  • 加强Palantil的Kubernetes基础设施与Cilium
  • 通过Lyft自动化改进网络脆弱性管理
  • Drobbox 同步密码有效载荷上的时钟扭曲
• 分配通信、排队和活动流动
  • Cape: 滴放箱事件流框架
  • 布鲁克林: 链接 在向近实时数据流分配服务时
  • 萨姆扎:已链接 在缓冲系统中
  • Blood: Yahoo 的流数据前进搜索引擎
  • 事件展望:在Etsy观看事件流的工具
  • Qmessage: 分发, 同步任务Queora
  • 切拉米: 传输 Async 任务的 Uber 队列系统
  • 戴宁:气温bnb
  • 时间尺度:Netflix的无辅助工作量排队系统
  • 暴动游戏的通信服务
  • Dropbox 信件系统模型
  • Zillo 调试事件日志
  • Netflix 跨平台
  • Netflix的视频守门员.
  • 在Netflix上放大数百万个设备的压缩
  • 处理信件到 RabitMQ 的延迟
  • Yahoo 进程计算引擎基准
  • Protobuf Schema,用于提高交付时的流量数据质量
  • 中型电子邮件基础设施
  • Slack Live 通讯
  • 耐克事件流数据库
  • Udemy 事件跟踪系统
  • 事件驱动消息
    • 阿里巴巴域内驱动.
    • Weebly 域驱动程序
    • Moonpig 域驱动程序
    • Netflix 下载扩展事件搜索
    • 在 Jet.com 中展开事件搜索
    • eBay测试事件(2个部分)
    • 现在我们在寻找自由。
    • 备忘列表
  • Pub-Sub 通讯
    • Pulsar:雅虎Pub-Sub通信
    • 错误漏洞: Facebook上的 Pub- 子系统
    • MemQ:普里切的云母子系统
    • Netflix微服务中的Pub-Sub
  • Kafka - 邮件经纪
    • 链接卡夫卡
    • 卡夫卡在普利策尔.
    • 卡夫卡在特雷罗
    • 卡夫卡的销售。
    • 纽约时报的卡夫卡.
    • 卡夫卡在耶尔普
    • 卡夫卡在克里特奥.
    • 卡夫卡在库珀涅茨, 肖普菲尔德.
    • 卡夫卡运行在帕斯塔(Paasta):雅尔普的库伯涅茨(2个部分).
    • 卡夫卡的动物园管理员在雅尔普没有休息时间.
    • 卡夫卡进程和Uber死亡线
    • Chaperone:对卡夫卡至Uber的审计
    • 在 Dropbox 中找到 Kafka 基础设施的吞吐量限制
    • 沃尔玛成本管弦乐团
    • InfluxDB和Kafka在Hulu筹集了100多万公吨至秒
    • 延长PayPal的Kafka,以支持数据增长
  • 流数据复制
    • 一对与卡夫卡.
    • 在塔普乔伊
    • 分区复制
    • 邮件副本. 卢曰.
    • 用于 Mixpanel 的 Petabyte 缩放数据副本
• 分发日志
  • 链接日志
  • 可伸缩和可靠的记录摄入量
  • Twitter上的高性能复制日志服务
  • CERN 加速器的 Spark 日志服务
  • Quora记录和摘要
  • Badao 守护进程日志的收集和分析
  • 使用静态代码分析的 Parantier 日志分析
  • eBay 集中应用程序日志
  • 在Netflix中提供网络可视化的丰富 VPC 进程日志
  • 保存书籍:在雅虎分发日志
  • LogDevice:在Facebook上分发日志数据存储
  • LogFeeder: 帮助日志收藏系统
  • DBLog:Netflix 通用数据变化能力框架
• 分配搜索
  • Instagram 搜索架构
  • eBay 搜索架构
  • 在框中查找结构
  • 库班搜索与发现索引平台
  • Ples 一般搜索系统
  • eBay搜索引擎效率超过25%
  • 与 Lucene 的 Palantir 索引和查询遥测日志
  • 在 TripAvisor 中查询理解
  • Linked In 搜索集团大楼(2018)
  • 在 Slack 中搜索
  • 门窗搜索引擎
  • Twitter搜索的稳定性和可扩展性
  • Twitter搜索服务(2014年)
  • 旅行卡自动完成搜索(2个部分)
  • Canva 数据驱动自动校正系统
  • 印度语音搜索 Flupkart
  • 鹦鹉螺: Dropbox 搜索引擎
  • Galene: 链接搜索架构
  • Manas: PICS 高性能自定义搜索系统
  • 夏洛克近实时搜索索引: Flipkart
  • 星云:在 Airbnb 创建搜索后端的存储平台
  • ELK (弹性搜索、 日志、 基巴纳) Stack
    • 实时使用 Uber 中的 ELK 预测
    • 在 Envato 中创建可缩放的 ELK 堆栈
    • 在罗宾汉的ELK。
    • Uber 放大弹性搜索集群
    • eBay 灵活搜索性能培训
    • 在 Tinder 中使用灵活的搜索插件( 第 2 部分)以改善性能
    • KickStarter 弹性搜索
    • 使用 Logstat 和 Google 缓冲器在 Trivago 中日志解析
    • 在 Yelp 中使用数据管道和灵活搜索快速命令搜索
    • 将核心业务搜索移动到帮助的灵活搜索
    • 在 Vinted 中解缩搜索
    • 在Wattpad,使用灵活搜索进行自我搜索.
    • Vulcanizer: Github 操作柔性搜索库
• 分布式存储
  • 内存
    • MemSQL结构——快(MVCC,InMem,LockFree,CodeGen)和家庭(SQL).
    • 优化夸拉的效率
    • Cisco UCS 上的实时数据仓库
    • 移动到塔普乔伊的MemSQL.
    • 迪士尼的MemSQL和基尼斯
    • 我们在潘多拉的Dashboard上寻找上千亿.
  • 对象存储
    • 放大 Uber HDFS
    • 在 Databricks 中选择 S3 超过 HDFS 的原因
    • Quantcast 上的 Amazon S3 文件系统
    • 在 Trivago 中使用 S3 版本恢复图像
    • 雅虎云对象存储
    • 嵌入: 在 LinkedIn 中分发不可移动对象存储
    • 动态: LinkedIn 最小硬件上的 HDFS 尺度测试
    • 锤子空间:持久性、同步性、室外储存
    • MezzFS:Netflix 媒体处理器上传对象存储
    • 魔法袋:Dropbox内置的多字节存储系统
• 关系数据库
  • 在Uber 的 MySQL
  • MySQL atPinterest 页面存档备份,存于互联网档案馆
  • 在 Twitch 中显示 PostgreSQL
  • 扩大基于MySQL的财务报告系统
  • 在 Wix 中缩放 MySQL
  • 在Meta建造和部署MySQL Raft
  • Airbnb上的 MySQL 数据库代理
  • 在 Uber 从 Postgres 切换到 MySQL
  • 从 Instagram 处理后生长
  • 在传输中
  • 更新 Adyen 的 50 Terrabite PostgreSQL 数据库
  • 在PayPal中,扩大每天100亿个数据库的访问范围.
  • 在叶利钦休息期间最小读写 MySQL
  • 将Facebook上的MySQL从5.6移动到8.0.
  • 从 HBase 到夸拉的 MyRocks
  • 复制
    • MySQL 并行副本( 4 部分) at Booking.com
    • 复制 Github 中的 Lag 少读 MySQL
    • 读取和复制与 Shopify 数据库的一致性
    • Blackbox审计:在Yerp验证MySQL和RedShift之间的端到端复制完整性
    • 师主 MySQL Airbnb 数据库
    • Herb:用于Uber的Schemaless数据存储器的多DC复制引擎
  • 粘着
    • Harden MySQL 到 Pinterest 键盘
    • 将MySQL困在Twilio
    • 硬化 MySQL 到广场
    • Quora 的软 MySQL
    • 压缩 Uber 中的 Schemaless 数据存储器
    • 已擦除的ID( I)
    • 斯考奇贴在点。
    • 费格玛硬邮局.
    • Solr: 提高框中音量索引的性能
    • (三部分)
    • 在Facebook上扩展Shard管理器
  • 预览 SQL 分发查询引擎
    • 普利斯大学
    • 左侧的基础设施
    • 取前标.
    • 使用 Presto 和 Apache Parquet 的 Uber 项目数据分析
    • 黑数据
    • Netflix AWS 大数据平台预览
    • 在事件写入时自动缩放
    • 以 Uber 的 Aluxio 本地缓存加速 Presto
• 没有 SQL 数据库
  • 密钥数据库
    • 尼克的迪纳摩DB.
    • DynamoDB 区域
    • 在 Mapbox 中的 DynamoDB
    • 曼哈顿:在推特图书馆发布的密钥值数据
    • Sherpa:在雅虎上分布的无SQL密钥
    • HaloDB:嵌入式密钥器存储引擎于雅虎
    • MPH: 快速和紧凑的关键价值商店
    • 威尼斯:在 Linkedin 库中发布密钥值数据
  • 列数据库
    • 卡桑德拉岛
      • 卡桑德拉,Instagram (英语).
      • 我们把图像存放在沃尔玛卡桑德拉
      • 带有 Cassandra 的 Discord 存储信件
      • 在沃尔玛扩展卡桑德拉集群.
      • 在雅尔普与卡桑德拉进行扩展分析
      • 与 Spark 和 Cassandra 一起放大到 1亿+百万
      • 把食物从雷迪丝搬到佐马托的卡桑德拉.
      • Netflix的AWS可扩展性基线
      • 卡珊德拉快书
      • 卡珊德拉曾经在声音云中同步计数
      • Cassandra 驱动程序配置,以改善玻璃门的性能和负载平衡
      • Cassandra 管弦乐定位工具
    • HBase 常规
      • HBase在卖电
      • 脸书中的 HBase
      • Imgur 通知书中的 HBase
      • 提高HBase备份效率
      • 米语中的HBase.
    • 红色
      • 在GIPHY的红调
      • 海德勒红班.
      • 德利维的红班.
  • 文件数据库
    • eBay: MungoDB的Multidata Centre应用程序
    • Baidu’s MongoDB:160个区20亿+亿文件
    • 在 Addepar 上移动 Mongo 数据
    • AWS和MongoDB分析基础设施(可在Facebook上查阅)
    • 在Addepar,来自蒙戈山脉的移徙数据
    • 链接的烹饪生态系统
    • Zendesk 的简单 DB
    • Espresso: LinkedIn 中分发文档存储
  • 图表数据库
    • FlockDB: 在Twitter 库分发的图表数据
    • TAO:在Facebook上分发的社会图表数据存储
    • Akutan:在eBay图书馆分发知识地图
• 时间序列数据库
  • Beringue: Facebook的高性能时间系列存储引擎
  • MetricsDB:在Twitter 库中存储度量衡的时间序列数据
  • Atlas:Netflix的内存维度时间序列数据库
  • 英雄:Spotify时间序列数据库
  • Roshi: SoundCloud时间序列事件的发行存储系统
  • 悟空:普利斯时间序列数据库
  • 在Netflix放大时间序列数据存储(第2部分)
  • Netflix 时间序列数据摘要
  • Druid - 数据库实时分析
    • 德鲁伊在机场
    • 沃尔玛的德鲁伊.
    • 德鲁伊在eBay。
    • 来自Netflix的德鲁伊德.
• 分发的仓库、附件和配置管理
  • DGit: 在 Github 发行
  • Stemma: Plantir 分布的 Git 服务器
  • Flickr 分发系统配置管理
  • 微软 Git 仓库
  • 微软解决大型仓库的 Git 问题
  • Google的单仓库.
  • Adyen 扩展基础设施和(Jet)工作流程
  • Dotfiles in Booking.com 互联网档案馆的存檔,存档日期2013-03-02.
  • 秘密探测器:Yelp源代码防止秘密
  • 在 LinkedIn 按大小管理软件依赖性
  • 合并 LinkedIn 高速仓库中的代码
  • Twitter 动态配置
  • Mixpanel 的动态配置
  • GoDaddy 的动态配置
  • 车队管理(3个构成部分)
• 扩大和持续整合与交付
  • 脸书上的收藏堆栈
  • 不断与Netflix的分布式仓库和配件进行整合
  • 与位于Dropbox的Bazel进行整合和部署
  • 在 Airbnb 中使用 Bazel 网络
  • 持续部署在Buzz Feed
  • 方案:持续交付雅虎动态基础设施的建筑系统
  • CI/CD 改进
  • 大脑中的CI/CD
  • 在iOS CI中缩放 Anka 在 Shopivy
  • Yelp 缩放 Jira 服务器
  • Flexport 自动缩放 CI/CD 集群

可用性

• 复原力工程:学会抵御故障
  • 链接 在水手恢复项目中
  • iHeartRadio的交通过度饱和
  • GO-JEK分配系统的复原力
  • eBay企业实用NOSQL复原力设计模型
  • 确保Quora的复原能力
  • 现场复原能力
  • 在eBay与Kafka进行救灾和恢复
  • 乌贝尔地区Kafrka的灾后恢复
• 失败
  • 全球运输业务的演变和失败
  • 灾后恢复故障测试
  • 为失败设计微服务结构
  • GOSquare 自动失效ERB
  • 取消美国快车的更高可用数据库
  • 在文特的雷迪斯哨兵队失败.
  • 为免费代理商提供大量SaaS基础设施
  • GitHub 的高可用性 MySQL
  • 大量提供 MySQL 活动
  • 沃尔玛的业务连续性和灾后恢复
• 装入余额
  • 现代网络负载平衡和代理显示
  • 前五( 下余额) 可缩放模式
  • 在脸书上装入支持13亿用户的平衡基础设施
  • DHCPLB: Facebook上的 DHCP 负载平衡器
  • Katran: Facebook上的扩展网络负荷平衡器
  • 中断孔径:在Twitter上带有均衡算法的分布
  • 在 Netflix 上装入 Eureka 余额
  • Netflix 的边界负载平衡
  • Zuul2:Netflix的云门
  • 装入帮助平衡
  • Github 的负载余额
  • 在 Vimeo 保留负载平衡
  • UDP 负载平衡 500 像素
  • QALM: Uber 的 QoS 负载管理框架
  • 在 LinkedIn 中使用 Rum DNS 进行交通指导
  • Dropbox 运输基础设施
  • 基于 DNS 的智能负载平衡
  • Stale的DNS监测系统
  • 星期一的多DNA结构(3个部分)
  • Anycast DNS Hulu 的动态基础设施
• 费率限制
  • 云层面积限制为百万
  • 云雾喷雾器:雅虎的分布限制
  • 缩放 API 和 Strepe 参数的速度限制
  • Allegro 分配限制
  • latequue: Twilio 的核心队列 - 并行 - 限制系统
  • 配额处
  • 指示性关税限额
• 自动Zoom
  • 自动缩放利息
  • 基于 Square 请求队列的自动缩放
  • Trivago Jenkins 自动缩放
  • Spotify 自动缩放 Pub-Sub 消费者
  • 基于 Spotify 的 CPU 自动加载缩放组
  • 帮助自动缩放 AWS 步骤活动
  • 螺旋:Netflix预测车放大引擎
  • Palantir 的简单 AWS 缩放
  • 集群: Yelp 自动缩放集群
• 谷歌全球发行存储系统中的可用性
• Yahoo 节点 JS 高可用性
• (11个部分)
• 与大量提供饲料的联系
• 支持脸书上的全球活动
• 布莱尔卡有空
• Netflix的高可用性
• Twilio高可用性云基础设施
• Airbnb中库伯涅特河上的DB的分布非常可用.
• 运行于 Dropbox 自动数据中心
• 暴动游戏中的全球玩家账户

稳定

• 断线器
  • 分布式系统中的电路中断
  • 缩放容器的断路器
  • 从语音云的复原力中吸取的教训
  • 保护者:Trivago时间序列数据库断路器
  • 在赫鲁库使用断路器提高生产稳定性
  • 禅桌的断层器
  • 旅行卡断路器.
  • 断店者.
• 超时
  • Netflix的故障耐受性(超时和超读,线条分离,断路器)
  • 执行超时: DoorDash 的可靠性方法
  • eBay 中的连接超时以启用 tcp tw 循环
• 在预订.com中为 MySQL 提供崩溃安全副本
• 块头: 拆分失败
• 稳定状态:总是把日志放在单盘上,我们走吧.
• 喉咙稳.
• 多重分类:加强LinkedIn大型单一石化API服务的复原力和稳定性
• 联盟服务器上的传说固定( 4个部分)

业绩

• OS,存储,数据库,网络性能优化
  • 使用Instagram背景数据预选以提高性能
  • 在 LinkedIn 中修复 Linux 文件系统
  • eBay溶液网络 I/O Botlenecks 压缩技术
  • 优化Dropbox的高通量和低空网络服务器
  • Linux Netflix的性能分析 6万毫秒
  • 在 Mixpanel 中下载 Google 云长期磁盘( PD- SD)
  • 使用Python & Celery的Jemoloc减少40%
  • 减少Slack的记忆足迹
  • 黑负载连续测试
  • 提高利息业绩
  • Wix 服务器渲染
  • 帮助 MySQLStreamer 30x 性能改进
  • 在Netflix 优化 API
  • 与Riemann和Clojure在沃尔玛进行业绩监测
  • Zynga现场游戏板的性能跟踪
  • 优化 CAL 报告 Hadoop 地图
  • eBay Quartz 调度器上的性能调试
  • 在暴动游戏中诊断C++(第1部分:优化,第2部分:测量和分析)
  • HomeAway 的反向服务器侧渲染
  • 硬件辅助视频转码
  • 在 Dropbox 中以 1 000 万 RTS 的跨盘交易
  • PICS 说明
  • 在 Yerp 面条中同步服务器侧处理页面 。
  • 升级 Redis 的密钥在 Twitter 上过期
  • 利用明奇克的火焰图形优化Ad发送的网络性能
  • Netflix集装箱的预测CPU隔离
  • 在Uber改进氢氟碳化合物I/O的使用
  • 云珠宝:估计伊兹云中的kWh
  • 解冻:修改云中的CPU限制(2部分)
• 优化Tanning垃圾收集器的性能
  • LinkedIn 的 Java 应用程序垃圾收集
  • Adobe 的低密度机器学习服务
  • SoundCloud Redux 应用程序中的垃圾收集
  • Twitch 应用程序中的垃圾收集
  • 分析阿里巴巴的 V8 垃圾收集日志
  • 在 Instagram 为50% 的内存增长收集 Python 废物
  • Github拆卸废物收集器(OOBGC)的性能效应
  • Allegro 调试 Java 内存 出来
  • 优化阿里巴巴联合核查机制
  • Uber 大服务 Tunning JVM 内存
  • 沃尔玛溶解调试器
  • Fripkart的内存调制高通量微服务
• 优化图像、视频、页面加载
  • 优化Facebook上的360张照片
  • Etsy 照片基础设施中缩小图像文件大小
  • 改善全球投资框架在收益方面的绩效
  • 优化 Pinterst 的视频播放性能
  • 优化低频段的视频流,在Netflix中设置动态优化器
  • YouTube 可修改视频流
  • 每天移动时减少视频加载时间
  • 提高齐洛主页的绩效.
  • 优化Exceldia客户端性能的进程
  • BBC 网络秀
• Brotli 压缩性能优化
  • 在 LinkedIn 中使用 Brotli 压缩速度网站
  • Brotli at Booking.com. (原始内容存档于2017-09-29).
  • 布罗利在树上.
  • 在 Dropbox 为静态内容部署Brotli
  • Yelp和Brotli逐渐增强
  • 在 DoorDash 中通过压缩加速重排顺序
• 语文和框架业绩优化
  • Netflix 的 Python 数据
  • Instagram 的 Python 比率( 3 部分)
  • OCAML 在伊苏的最佳做法(两部分)
  • Slack 的首选项
  • 去特里瓦戈那边
  • 用 Etsy 键入脚本
  • 埃西的科特林在驯服的状态
  • 科特林在孟达施.
  • BPF和Go at Bumble (英语).
  • 吉特拉布铁路上的Ruby
  • 法格玛制作的废墟.
  • 在 WeWork 中选择语言堆栈
  • 从磁盘切换到 Rust
  • ASP.NET 阿戈达核心性能优化
  • Uber 数据种族模式
  • Java 21 Netflix 虚拟线索

情报

• 大数据
  • Uber 数据平台
  • BMW 数据平台
  • Netflix 数据平台
  • 翻转数据平台
  • 库邦数据平台
  • 门牌数据平台
  • 汗学院数据平台
  • Airbnb 数据基础设施
  • 链接数据基础设施
  • GO-JEK 数据基础设施
  • 利息数据接收基础设施
  • Plich 数据分析架构
  • Spotify 数据管弦乐服务
  • 大数据处理(2个部分)
  • Uber 大数据处理
  • 左侧分析管道
  • 语法分析管道
  • 茶叶分析管道
  • ML 实时防止 PayPal 欺诈的数据管道
  • LinkedIn的大数据分析和ML技术
  • 与 In 链接的 Hardop 自助报告平台
  • 在链接中保存隐私分析和报告
  • 沃尔玛跟踪项目可用性分析平台
  • Uber 使用 Apache Pinot 实时分析移动应用程序崩溃
  • HALO: Facebook上的硬件分析和生命周期优化
  • RBA:国王实时分析平台
  • AresDB: Uber GPU 电源实时分析引擎
  • AthenaX: Uber流分析平台
  • 木星:Uber的配置驱动Adtech的批量摄入平台
  • Delta:Netflix数据同步与浓缩平台
  • 键盘石:Netflix的实时流线平台
  • 数据簿:将大数据转化为Uber元数据的知识
  • Amundsen: Lyft 数据发现和元数据引擎
  • Maze:Uber的漏斗可视化平台
  • Metacat:让大数据在Netflix上找到并有意义
  • SpinalTap: Airbnb 改变数据获取系统
  • 加速器:eBay快速数据处理框架
  • 奥米德:雅虎交易平台
  • TensorFlowOnSpark:雅虎大数据集群深度学习.
  • CafeOnSpark:在雅虎深入学习大数据组
  • Spark on Scala: Adobe 分析参考架构
  • 分散实验平台(2个部分)
  • Airbnb 实验平台
  • Zalando 智能产品平台
  • LINE 逻辑分析平台
  • Mintra 数据可视化平台
  • Netflix 构建和扩展数据行
  • 为Plich的计算机视觉任务建立可扩展数据管理系统
  • Etsy 结构数据
  • 缩放自然数据管道 — — 管理Airbnb的间接费用
  • 空中火花分区战略
  • 在链接中缩放指定文件系统
  • 将LinkedIn的Hadoop YARN集群放大到10,000多个节点
  • 将大数据访问控制放入 PIC
• 分配机学习
  • Yelp 机器学习平台
  • Etsy机器学习平台
  • 扎兰多机器学习平台
  • Uber 扩展AI/ML 基础设施
  • Lynft推荐的系统
  • Lyft 强化学习平台
  • Etsy 执行平台
  • Spotify 操作用户预测基础设施
  • 阿罗玛:在Facebook上使用 ML 代码
  • Flyte:Lyft的云形机器学习和数据处理平台
  • LyftLearn:在Lyft的Kubernetes上建造的ML模式培训基础设施
  • 霍罗沃德:Uber的TensorFlow开源发行深层学习框架
  • Genie: Gen AI On-Call 副驾驶 乌伯
  • COTA:学习使用NLP和Uber机器改善客户照顾
  • Manifold: Uber 机器学习模型 未知的视觉调试工具
  • Repo-Topix:Github专题采掘框架
  • 连接器: 在 LinkedIn 中生成个性化内容通知
  • Altus Care:在eBay平台项目中应用聊天机
  • PyKrylov:eBay加速机器研究
  • 框图:自主社交网络
  • 定价网络:Skyscanner的Neuronet定价模式
  • PinText: 多任务文本嵌入系统
  • 搜索Sage:学习搜索价格的表达
  • 戛纳:ML每年在Dropbox文档预览中节省1.7M.
  • 单击 - 在 yerp 中传送预测梯度助推树
  • 学习苹果尺度
  • Mercari图像分类实验的深入研究
  • 在 Allegro 产品图像中深处学习帧检测
  • 基于Hulu的视频相关性预测
  • Yelp 调和不适当的视频内容
  • 通过深入学习 TripAvisor 改进图像选择
  • 关于利用TripAvisor深入学习经验的个别建议
  • BBC个人化推荐系统
  • Condé Nast的机器学习(2个部分)
  • Condé Nast的自然语言处理和内容分析(2部分)
  • iHeart电台使用机器学习绘制音乐世界图(2个部分)
  • 学习Netflix以提高流线质量
  • GO-JEK机器学习与司机和骑手匹配
  • 改进YouTube上带有深层神经网的视频缩写
  • 在Instatart上及时交货后返回数量
  • 通过扎兰多的深入学习进行跨语言到端产品搜索
  • 在简街学机器
  • Quora 排名 机器到端学习
  • 排名平台 at Booking.com
  • 使用 LDA 在翻盘上组合类似的故事
  • Flickr 相似性搜索
  • 大型机器学习管道 工作咨询,实际上。
  • 在塔博拉从原型到生产深入学习
  • 利用机器学习在CERN中制造原子
  • 在媒体上绘制标签
  • 与蒙桑托斯卡的Dirichlet进程混合模型
  • 在 Foursquare 用 DBSCAN & 随机森林绘制地图
  • Uber 预测
  • Uber 财务预测
  • 在推特上制作 ML
  • 由 eBay 深层学习驱动的图形用户界面测试
  • 改进机器学习,推荐驱动
  • DoorDash 实时预报
  • 机器学习从 Dropbox 数十亿图像获取文本索引
  • 通过 Etsy 嵌入语义模拟用户进程
  • 自动连接到虚假账户检测
  • Airbnb 建筑知识图
  • Instagram 核心模型
  • Mercari的神经结构搜索.
  • Airbnb的计算机视觉
  • Ziro的3D家后端算法
  • Lyft的长期预测
  • 我们在雅尔普发现了流行的碎片
  • 推特排名候选人的SplitNet结构
  • 任务过滤器
  • 等待时间预报 在雅尔普建餐厅
  • Spotify 音乐个性化
  • Go Daddy 域评价深度学习
  • 相似之处. 集群捕捉条纹上的环.
  • Etsy 的个性化搜索
  • 左侧的 ML 特殊服务基础设施
  • Etsy 特定选择系统
  • Yelp 在照片中平等宣传垃圾邮件和不当内容
  • 优化付款, Dropbox 中的学习机
  • 在Netflix 中扩大媒体机器学习
  • eBay 的类似引擎
  • Etsy 内容调节中的机器学习

建筑

• 中型技术堆栈
• 位于 Shopivy 的技术堆栈
• Airbnb的建筑服务(4个部分)
• 宁定大楼
• 暴动游戏聊天服务(第3部分)
• 传奇联盟客户端更新结构
• Twitter平台架构
• Uber API 网关的结构
• Tinder 的 API 网关结构
• 斯拉克基本建筑
• 在eBay处理数千个图书馆轻量级分发结构
• 链接 在后端
• Flickr的后端页面
• Zendesk基础设施(3个组成部分)
• 格鲁布布云基础设施
• 链接到 Live 平台
• 链接设置平台
• 玻璃门尺寸和性能近距离系统(2个部分)
• 实时用户动作计数系统
• API 暴动游戏中的平台
• 纽约时报游戏平台
• Kabootar:斯威吉通信平台
• Simone:Netflix发行模拟服务
• 海鸥:帮助在Yelp运行每天 > 2 000万次的分发系统
• 价格目录器:阿古达酒店价格检索智能系统(3部分)
• 凤凰网:测试平台(3个组件)在腾讯网
• Netflix 六边形
• 线路海报服务结构
• 帕兰蒂尔超级流企业
• 后续种子、兴趣种子和Pince为你选择的结构
• API WeWork 规格工作流程
• Netflix 媒体数据库
• 沃尔玛成员贸易历史结构
• Dropbox( 第2部分) 同步引擎
• 推特上的Ads Pacing服务
• Netflix 快速事件通报系统
• 金融、银行和支付系统的结构
  • 门佐银行后端
  • 财富交易平台.
  • 马尔戈核心银行系统银行
  • 银行大楼
  • 传送智慧技术堆栈
  • 在Addepar 执行技术堆栈
  • 避免在空运付款制度中重复付款
  • Etsy( 3个部分)
  • 每天在Patham安全处理数以百万计的数字交易。
  • 语法:账单和付款平台

访谈

• 设计大型系统
  • 杰夫・阿特伍德
  • 大型分布式系统提供的软件工程咨询 - Jeff Dean
  • 规模设计系统说明
  • 系统设计面谈
  • 8个系统设计面试前要知道的
  • 10大系统设计面试问题
  • 船体常见的前十大软件结构.
  • 云形数据设计模式 - Lynn Langit
  • 你怎么不为45分钟的系统设计面试设计Netflix?
  • API 最佳做法:网页、折旧和设计
• 低级系统(操作系统、网络/协议、数据库、储存)的解释
  • Linux 中 I/O 等待时间的确切含义
  • Paxos Made Live - 工程视角
  • 如何分配锁
  • SQL 贸易隔离水平
• “当… 和如何发生。”
  • 网易:按下后会怎样?.
  • 梦佐: 同侪付款如何运作
  • 过渡和互惠:如何满足 GitHub 的要求
  • 如何传播音乐

组织

• 声音云的项目级别
• 帕拉蒂尔的工程角色.
• Dropbox的工程职业框架
• 推特上的扩展工程团队
• 扩大联系团体的决策范围.
• GOJEK 数据科学小组
• 增加扎兰多的动机
• 缩放于 Bol.com
• 从扩大的Intercom产品组吸取的经验教训
• 租用、管理和扩充Typeform的工程团队
• 缩放Instagram 数据图形组
• 扩大Flexport设计小组
• 营销推广设计系统的团队模式
• Wish Building 分析小组(4个组成部分)
• 从2名创始人到1 000名雇员
• 在Adobe培训中将UX小组从10个增加到170个的经验
• 从收益中汲取的5个教训
• Vintered的近地点项目
• 利用衡量标准改进发展进程(和建设人的能力)
• Skyscanner 创建内部产品时避免的错误
• RACI(负责、负责、咨询、知情)
• 扎兰多领导的四大支柱(同情、激励、信任、诚实)
• 在 Shopivy 执行对等程序
• 阿萨纳的责任分配
• 轮调工程师,Zalando
• 普里什实验思想评论.
• 分散技术迁移
• 改善 Yelp 的代码所有权
• eBay 的 Agile 代码基础
• 米洛的敏捷数据项目
• 通过Slack at Airbnb自动管理事故
• 英国广播公司
• 代码审查
  • Palantir 代码审查
  • LINE 代码审查
  • 中码审查
  • 链接代码审查
  • 迪士尼的代码审查.
  • 网络编码审查

说话

• 分布式课程系统 - Tim Berglund,精通开发者经验高级主任
• Facebook上 - Jeff Barber和Shie Erlich, Facebook分部的软件项目
• 为谷歌建立可靠的社会基础设施 - Marc Alvidrez,Google高级经理
• 在Google-Aysylu Greenberg, Google 构建一个发行系统
• Dropbox 可靠性工程 - Tammy Butow, Dropbox 站点可靠性工程管理器
• Google Planet-Scale for Planet-Scale-Infra-Melissa Binde, Google云平台 SRE主任 谷歌云平台
• Netflix微服务指南 - Netflix运营工程总监Josh Evans
• 在大型在线服务中实现快速反应时报 - Jeff Dean, Google高级研究员
• 建筑处理 80K RPS 名人销售在 Shopify - Simon Eskildsen, 工程铅在 Shopify
• Facebook上的”Size”——Facebook上的工程总监Bobby Johnson
• 优化销售力业绩 中国-杰夫·程,销售力企业建设司.
• GIPHY如何向3亿用户提供GIF-GIPHY服务工程师Alex Hoang和Nima Khoshini.
• 阿里巴巴高档包装平台 - 阿里巴巴高级总监王海勇.
• 解决大型数据中心和云层互联 - 伊哈卜·塔拉齐,Equinix的CTO
• Dropbox 缩放后端工程 - Kevin Modzelewski, Dropbox 分区
• -比尔・贾 Facebook上的基础设施副总裁
• 该视频在Facebook上被用于将视频扩展至十亿用户.
• Instagram扩展基础设施 - Lisa Guo, Instagram 工程
• 推特扩展基础设施 — — 姚瑜,工作人员软件工程司
• Etsy-Bethani Macri扩建基础设施,Etsy工程经理
• 阿里巴巴全球购物胜地实时基础设施扩建-阿里巴巴高级局长江晓伟.
• Spotify - Matti (Lepistö) Pehrs, Spotify 数据基础设施缩放
• Magazing Pinterest - Marty Weiner, Pinterest创始工程司
• Slack - Slack软件工程师(基础设施) Bing Wei
• 在YouTube - Sugu Sougoumarane, 在YouTube的SDE
• Uber 缩放后端 - Matt Ranney, Uber系统首席师
• Dave Temkin,Netflix全球网络主任
• Facebook支持1.3亿用户 - Facebook制作工程师Patrick Shuff
• 放大(NSFW网站)到2亿日视与超越 - Eric Pickup,MindGeek的主要平台开发者
• 扩大Quora的基础设施统计 — — Chun-Ho Hung和Nikhil Gar,Quora
• Git-Saeed Noursalehi,微软首席程序经理
• 在Shopify-Weingarten的多个数据中心扩大多功能结构,在Shopify的工程领导

一块蛋糕

玫瑰红. 紫罗兰是蓝色的。 宾hy. 喜欢甜的。 给小斌的提拉米苏? {\fn黑体\fs20\shad2\2aH82\3aH20\4aH33\fscx95\3cH592001\be1}你觉得怎么样