推特架构图简化版

　　OG算法
　　在 Twitter 上，我很好奇算法的通用概念是什么，所以我询问并得到了一系列不同的、有趣的答案，这些答案通常汇总为＂算法是程序的一组指令，就像食谱一样。＂
　　算法似乎很新，因为我们认为它们与计算机有着内在的联系。但是，只要人类需要在极其复杂的多维空间中进行狭窄导航，这个概念就一直伴随着我们，这些空间可以产生无限多的结果。换句话说，几千年来人类一直在为如何生活创造算法。
　　这是一个算法，用于弄清楚我们在地球上的时间应该如何分配以及为什么： 凡事都有定期，天下万物都有定时：
　　生有时，死有时；栽种有时，收割所栽种的也有时；
　　这是麦克白中女巫的算法，关于如何准备有效的致幻饮料： 双倍的辛劳和麻烦；
　　火燃烧和大锅泡沫。
　　凤尾蛇片，
　　在大锅里煮和烤；
　　蝾螈的眼睛和青蛙的脚趾，
　　蝙蝠的毛和狗的舌头，
　　毒蛇的叉子和盲虫的毒刺，
　　蜥蜴的腿和吼叫的翅膀，
　　对于强大的麻烦的魅力，
　　像地狱肉汤沸腾和泡沫。
　　双倍的辛劳和麻烦；
　　火燃烧和大锅泡沫。
　　以狒狒血凉之，
　　则神韵固佳。
　　这是一个非常长的优雅算法，用于构建以人为中心的建筑和城市。
　　我们编织了一张极其纠结的网
　　然而，当我们今天谈论＂算法＂时，它指的是任何能够塑造和影响我们在线遍历的不同地方的内容海洋的任何程序。该算法似乎完全不受我们控制，无法渗透。为了开始理解它，需要记住几件重要的事情。当我们说＂算法＂时，我们作为从业者的含蓄意思不是一个单一的算法，而是：
　　代码逻辑 包括： 机器学习算法 简单的 if/then 语句/硬编码启发式 混合在一起 隐式或显式声明的 业务逻辑： 会议结果 备忘录、讨论和 RFC 的结果 外部驱动因素，如市场变化、支持票等。 组织架构
　　所有这些导致一个系统由两部分组成，这两个部分同样影响算法：一个是机器生成的，另一个是人（业务逻辑）。因此，系统从来都不是任何一个单一的事物，而是由许多许多运动的复杂部分组成的生物体。我们在线消费的每一个电子商务或基于内容的提要本身就是一个世界，需要大量的技术和业务背景才能理清。
　　例如，假设您可以通过以下方式构建在 Flutter 上填充＂主页＂提要的算法，Flutter 是带翅膀的事物聚集的主要社交网络。
　　但是，让我们从头开始。
　　算法的核心：代码逻辑
　　当计算机科学家和产品经理非常相爱，拥有产品愿景，并决定他们想要提高点击率或收入时，算法就诞生了。
　　项目经理、计算机科学家和工程师团队（称为像 BirdFeed 这样吸引人的东西）开始创建提要。BirdFeed 团队发现，在最初的 Flutter 主页时间线上，鸟类显示的内容纯粹来自它们关注的帐户。
　　但是，这可能不符合他们业务所需的参与度指标。因此，BirdFeed 引入了算法时间线。（顺便说一句，每条时间线都是算法的——逆时针也是一种算法设计选择。）
　　正如Twitter 时间轴上这篇非常非常出色的帖子所概述的那样， 从用户体验的角度来看，这种解释是有道理的，算法提要无疑给了推特更多的自由来试验产品。
　　然而，真正的动机是因为使用算法提要是受到 Twitter 当前的广告驱动商业模式的激励。Feed 中的更多相关内容⇒ 更高的参与度⇒ 更多的广告收入。这是一种经典的社交网络策略，已被证明行之有效。
　　在这个阶段，我们面临一个基本问题：如何调整现有时间表，使其包含人们更有可能感兴趣和参与的内容？
　　一般来说，有几种方法可以解决这个问题，它们涉及查看用户过去的活动并将其与类似用户的活动进行比较（协同过滤），或者查看用户过去的活动并比较用户与之交互的项目到目录中的类似项目（基于内容的过滤）。
　　一旦您收集了用户的日志历史记录并构建了一个模型，该模型会生成一个潜在的候选 Flit 目录，以根据过去的用户活动向他们推荐。但是假设你想出 10000 个 Flits 来推荐？你不能在任何给定的时间线中全部展示它们，那你会怎么做？
　　您对候选 Flit 进行排名，然后根据一组业务逻辑过滤它们，然后再次排名，直到您到达只有少数 Flit 可能会插入到时间线中的程度。
　　这一步是算法的核心，它通常涉及构建多步机器学习模型，这些模型最终会生成一小组候选人。 每家公司都有一个使用这些步骤的变体开发的系统，它们看起来都惊人地相似。
　　与机器学习代码混合在一起的是来自业务逻辑的决策：Flits 中是否有一个我们需要从所有潜在建议中过滤掉的坏词列表？也许我们根本不想展示来自蜂鸟的 Flits？也许我们只需要 9 个 Flits，而不是 10 个，出于一些神秘的商业原因，比如 CEO 可能喜欢数字 9。这些都是硬编码在 ML 流程中。
　　然后，这些机器学习系统变得如此复杂，以至于正在开发元系统来管理它们。下面是 MLOps 所涉及内容的图表，即围绕这些算法进行操作的领域。我有时会在噩梦中看到这张图。
　　算法之魂：业务逻辑
　　模型本身通常就是我们在考虑算法时所考虑的内容。但是，系统的第二部分同样复杂，包括许多参与者：产品经理、项目经理、广告团队、内容安全团队，还有很多很多的人，他们在讨论提要应该是什么样子.
　　因为，那么问题就变成了，既然我们有了一些候选 Flits，我们如何将这些 Flits 插入鸟类已经接收到的按时间顺序排列的 Flits 中？您的提要应该完全按时间顺序排列吗？50% 时间顺序和 50% 算法？主要是算法？如果您有不止一种算法，一种向您显示其他鸟类喜欢的最相关的 Flits，另一种显示 Flutter 上热门鸟类主题的热门飞翔怎么办？你如何结合这两个来源？如果同一只 Bird 在 n 秒内有太多 Flits 怎么办？你如何将多样性与蝴蝶和蚊子的飞行融合在一起？如果你有 Bad Bird Actors 不断向时间轴发送垃圾邮件或发送他们泄殖腔的淫秽照片怎么办？你如何贬低他们？你应该？
　　现在，终于到了注入广告的问题，这是 Flutter 继续工作的全部原因。在不让用户感到疲劳的情况下，您可以多久插入一次它们，同时仍能最大限度地提高收入？他们可以在什么内容旁边？您能否向被描述为蝴蝶且因此不吃蠕虫的 Flutter 用户展示蠕虫广告？您应该如何跨时间线推广广告？这本身就是一个完整的世界。
　　这些灰色地带的业务逻辑问题，在这些问题中，推荐系统既是一门艺术，又是一门科学，继续为推荐生成潜在的内容，混合它，过滤掉平台上的负面或禁止的内容，以获得＂好的＂提要可参与的内容。
　　它们不仅涉及代码本身，还涉及数百小时的对话、来回、数百万用户的 A/B 测试结果，对提要进行重新排名、更改、不断将其塑造为最佳版本公司认为它应该是什么。
　　除了所有这些决策对话之外，您还发生了数百种组织变化，这些变化悄悄地塑造了提要，但从未在任何地方记录下来。也许记录用户数据的工程团队不小心不再记录 Bird Geolocation。现在你的模型不准确，但你还不知道。也许移动团队正在运行与您的提要更改直接冲突的 A/B 测试。也许你进行了重组，最后一位 CMO 喜欢算法，但新的 CMO 却不喜欢。反之亦然。所有这些更改每天、每分钟都在隐式地悄悄地更改提要，但并不在模型的文档代码中的任何地方。
　　当黑匣子打开时
　　我所描述的场景是假设的，只是在遗憾的是（目前）还没有专门针对鸟类和昆虫的社交网络的意义上。但是，这些类型的系统每天都会在所有公司中建立起来并做出决策。例如，这是来自 Pinterest的最新一则，这里是 Netflix，推荐系统之王的整个网站上的方法论。这是 Facebook 在他们重新算法化的主要提要上。
　　但是，对于最终用户而言，存在几个基本问​题。首先，您不需要能够对学术论文进行逆向工程来理解您的内容提要。其次，系统中注入了如此多的隐式业务逻辑，任何人怎么可能在脑海中掌握整个提要的上下文？你怎么知道为什么只向你展示了一个 Flit？时间线怎么样？公司中的许多人，甚至有时构建系统的工程师，都不知道。
　　因此，即使 Twitter 将算法开源，并且你有计算机科学背景，你所需要看的也只是一堆看起来很像这里生成的伪代码的代码，还有许多其他的，相关系统输入此时间线代码。
　　您将对用于生成的代码和业务逻辑的上下文为零，而且最重要的是，您将无法访问使该系统运行的核心：用户日志数据及其存储、清理方式的逻辑，并进行处理，以便在推荐算法和提要本身的构建中使用。
　　打开算法的代码可能是一个很好的起点，但这与将建筑发掘现场向公众开放没有什么不同：没有考古学家的指导来解释它，它只是一组陶器碎片。
　　作为最终用户，我们无法按原样使用＂算法＂做很多事情。
　　我们从哪里开始算法？
　　好消息是，随着越来越多的人对查看这些内部结构表现出浓厚的兴趣，越来越多的公司也在考虑如何在公开场合谈论算法。
　　首先，产品管理团队正试图让他们的算法透明化。或者，在不暴露专有内部业务逻辑的情况下尽可能透明。我第一次看到这种情况发生是在 Instagram 写了一篇关于2021 年面向公众的 推荐系统的入门读物时。他们写道，
　　很难相信你不理解的东西。我们希望更好地解释 Instagram 的工作原理。那里有很多误解，我们认识到我们可以做更多的事情来帮助人们理解我们所做的事情。
　　当然，它的级别非常高，只涉及我在这篇文章中提到的一些元素，但这确实是我第一次看到向非技术人员解释推荐的性质。
　　Instagram 在几周前对他们的算法进行了巨大的改变以优先考虑视频内容时进行了第二次尝试，这样他们就可以像现在地球上的每个社交平台一样与 TikTok 竞争。
　　Twitter 最近还解释了它在推荐算法中所做的一些更改，例如，最近，它被一个名为＂Shirts that Go Hard＂的帐户的推文推荐所淹没，作为回应，Twitter 暂停了几次 A/B 测试和个性化变化：
　　这些解释不会也不能提供所有产品背景：其中大部分是专有的。其中一些会让公司看起来很糟糕。其中一些，并不是每个人都知道。但这是一个开始。
　　除了产品管理驱动的解释之外，在这些系统的技术实现中变得越来越普遍的是推荐系统的更多注释表面区域。这意味着该算法，正如它在提要中所呈现的那样，被标记或注释了一定程度的解释。我见过的最有趣的地方是 Meta 的新BlenderBot （整个互联网都可以输入自由格式文本的实验性聊天机器人总是一个好主意）。
　　当您输入文本时，它允许您将即时响应标记为正面或负面，大概是用户对模型的显式反馈（而不是通常生成的隐式、基于日志的反馈）。
　　然后它还有一个简短的解释，解释为什么 AI 会回应它所做的消息，这会围绕用户输入拉出一个对话框。在我的案例中，AI 对响应上下文的判断是 100% 错误的，但至少现在我（有点）知道为什么了。我什至还可以返回模型并尝试对发生的事情进行逆向工程。
　　这种 UI 需要大量的工作来实现并作为反馈循环返回到模型的后端，并且还会增加任何给定站点的加载时间，所以我很感激这种努力，也很感激现在它可能会大部分仍然是原型。但是，它仍然是一个很好的例子，说明像这样的带注释的系统可能是什么样子。
　　我们仍处于机器学习的蒸汽动力时代，所有这些事情、自上而下的执行解释和透明的工程努力表明 A) 定义算法有多么困难。B) 捕获其表面积 C) 了解其范围和影响以及 D) 尝试对其进行更改。
　　这并不意味着我们不应该尝试。但这确实意味着我们应该更加慎重，而不是仅仅尝试＂开源算法＂。
　　构建和强化这些系统是我们过去 15 年的工作。继续构建它们以免它们损坏并弄清楚如何打开它们并解释它们将是下一个 15。