【前沿技术】AI芯片的未来之战:英伟达真“霸主”?
共
10468字,需浏览
21分钟
·
2021-07-21 11:10
正文共:9711字-10图
预计阅读时间:25分钟
英伟达的 GPU 统治了 AI 芯片市场。但众多初创企业表示,快速发展的人工智能领域需要新的架构。业内有一个传说,讲的是英伟达怎样从游戏和图形硬件转向了 AI 芯片市场的统治者 — 这个故事中有猫的身影。早在 2010 年,现任英伟达首席科学家 Bill Dally 有一天正与斯坦福大学的前同事、计算机科学家吴恩达共进早餐,当时吴正在与谷歌合作一个项目。“他试图在互联网上找猫 — 他描述的不是那样,但他就是那样做的,”Dally 说。吴当时在谷歌 X 实验室从事一个项目,旨在构建一个可以自行学习的神经网络。这个神经网络在 YouTube 上观看了 1000 万个视频,并学会了如何认出人脸、身体和猫 — 但要准确做到这一点,系统需要数千个 CPU(中央处理器),即为计算机提供动力的主要处理器。“我说,‘我敢打赌,我们只需要几个 GPU 就可以做到同样的事情,’”Dally 说。GPU(图形处理单元)专门用于处理更密集的负载,例如 3D 渲染 — 这让它们比 CPU 更适合用来为 AI 提供算力。Dally 找到了现在在英伟达领导深度学习研究的 Bryan Catanzaro 来实现这一目标。他做到了——只用了 12 个 GPU——就证明 GPU 提供的并行处理能力可以比 CPU 更快、更高效地训练吴的猫识别模型。但 Catanzaro 想让人们知道,英伟达开始在 AI 领域投入的契机并非只是那一次早餐。 事实上,在 2008 年加入英伟达之前,他还是伯克利分校的研究生时就一直在为 AI 开发 GPU。“英伟达在这个市场上的地位并非偶然,”他说。现在英伟达主导了 AI 芯片市场,当初的契机和开始的时间看起来也就不那么重要了。英伟达由首席执行官黄仁勋于 1993 年与他人共同创立,其主要收入来源仍然是图形和游戏。但在上一个财政年度,公司用于数据中心的 GPU 销售额攀升至 67 亿美元。2019 年,前四大云供应商 AWS、谷歌、阿里巴巴和 Azure 中 97.4% 的 AI 加速器实例(用于提高处理速度的硬件)部署了英伟达 GPU。Cambrian AI Research 的分析师 Karl Freund 表示,它占据了人工智能算法训练市场“近 100%”的份额。Top 500 超级计算机中近 70% 使用了它的 GPU。吴的 YouTube cat finder、DeepMind 的围棋游戏冠军 AlphaGo、OpenAI 的语言预测模型 GPT-3 都运行在英伟达硬件上。它是人工智能研究人员安身立命的基础。尽管取得了骄人的成绩,但 Catanzaro 很不爽那些说英伟达只是偶然从游戏转向人工智能市场并取得成功的暗示。“我发誓,几乎我读过的每一个故事都在说 GPU 只是恰好被发现在人工智能领域表现出色,而英伟达向新市场出售已有芯片时幸运地获得了短期的意外收获,很快它们就会被由初创公司提供的硬件取而代之,”Catanzaro 说。“但英伟达进军 AI 市场的战略已经布局十年之久了。”十年过去了,这个市场已经足够成熟,到了变革的前夜。越来越多的企业开始使用人工智能来理解他们收集的海量数据,而各国政府则在向深度学习研究领域投入资金以保持领先地位。中美之间的竞争尤为激烈;德勤分析师 Costi Perricos 表示,人工智能将成为各国竞争“下一个超级大国”的焦点领域。与此同时,深度学习模型的规模和复杂性不断增加,需要更多的计算能力。OpenAI 的 GPT-3 是一个可以编写有意义文本段落的深度学习系统,它就是一个极端的例子;它由 1750 亿个参数组成,这些参数是构成模型的变量。它的计算成本约为 460 万美元,之后被具有 1.6 万亿个参数的谷歌语言模型超越。行业需要更高效的硬件来处理更多参数和更多数据以提高准确性,同时还要防止人工智能成为环境灾难,丹麦研究人员计算出训练 GPT-3 所需能量的碳足迹相当于驾车行驶 700,000 公里。虽然英伟达的早期工作为这家 GPU 制造商提供了领先优势,但挑战者正在竞相迎头赶上。谷歌于 2015 年开始制造自己的芯片;在 2016 年收购 Annapurna Labs 后,亚马逊去年开始将 Alexa 的大脑转移到自己的 Inferentia 芯片上;百度拥有昆仑,最近估值为 20 亿美元;高通拥有 Cloud AI 100;IBM 正在致力研发一种节能设计。AMD 收购了 Xilinx 用于 AI 数据中心产品,英特尔在 2019 年为其 Xeon 数据中心 CPU 添加了 AI 加速模块;它还收购了两家初创公司,2016 年以 4.08 亿美元收购了 Nervana,2019 年以 20 亿美元收购了 Habana Labs。尚未被抢购走的初创公司则纷纷发布了他们自己的硬件:在过去几年中,Graphcore、SambaNova、Cerebras、Mythic AI、Blaize 和 TensTorrent 等公司都发布或展示了自己的 AI 芯片。我们仍处于人工智能的早期阶段。 那些猫是十年前才算出来的;这些初创公司中多数只有几年的历史。随着智能物联网设备开始掀起一场机器对机器的革命,越来越多的数据将汇聚起来,奔流不息。所有人都在渴望实现同一个目标:掌控人工智能芯片的未来。Bryan Catanzaro,英伟达应用深度学习副总裁机器学习是一种与众不同的计算负载,需要使用不是特别精确的数字进行大量数学运算。传统的高性能计算(HPC)是将多个系统连接在一起以构建超级计算机来处理复杂负载,例如科学模拟或金融建模,而这种负载需要高精度的数学计算 — 至少 64 位精度。AI 计算也需要庞大的计算基础设施,但所使用的数字不那么精确,精度只有 16 位甚至 8 位—这和 HPC 比起来就像是 80 年代像素游戏碰上了超现实图像。人工智能芯片初创公司 Cerebras 的首席执行官 AndrewFeldman 说:“用到的数学很简单,但计算量很大。”AI 芯片指的是经过优化以通过谷歌的 TensorFlow 和 Facebook 的 PyTorch 等编程框架运行机器学习负载的处理器。 在训练或运行深度学习模型时,AI 芯片不一定会完成所有工作,而是扮演加速器的角色,快速处理最密集的负载。例如,英伟达的成品 AI 系统 DGX A100 使用 8 个自研的 A100“安培”GPU 作为加速器,但还配备了 128 核的 AMD CPU。AI 并不是什么新概念,但我们以前缺乏让深度学习模型跑起来的算力,研究人员只能等待硬件发展赶上他们的想法。“GPU 的引入打开了大门,”另一家制造 AI 芯片的初创公司 SambaNova 的联合创始人兼首席执行官 Rodrigo Liang 说。2012 年,多伦多大学的研究员 Alex Krizhevsky 在一年一度的 ImageNet 计算机视觉挑战赛中击败了其他竞争对手。这个挑战赛让研究人员相互竞争,以开发可以识别图像或图像内物体的算法。Krizhevsky 首次使用由 GPU 驱动的深度学习技术来击败手工编码的竞争算法。到 2015 年,ImageNet 比赛的所有顶级玩家都用上了 GPU。英伟达的技术太优秀了,可以提供 20 倍或更多的性能提升,以至于当英国芯片初创公司 Graphcore 的联合创始人开始创业时,他们都找不到投资人开会。“我们从风投那里听到的是:‘什么是人工智能?’”联合创始人兼首席技术官 Simon Knowles 回忆起 2015 年去加利福尼亚寻求风投资金的旅行时说。“这真的很令人惊讶。”几个月后,也就是 2016 年初,一切都变了。“一下子,所有人都开始热衷于人工智能,”Knowles 说。“然而,他们对芯片并不感冒。”新的芯片架构被认为是没有必要的;英伟达已经覆盖了行业需求。GPU、IPU、RPU — 它们都用于处理深度学习的数据集,但它们名称的不同确实反映了各自架构层面的差异。Graphcore 的 Colossus MK2 IPU 的核心是大量独立运行、并行工作的处理器,这种技术称为多指令多数据。软件是按顺序编写的,但神经网络算法需要一次性完成所有工作。Graphcore 的 CTO Simon Knowles 说,为了解决这个问题,一种解决方案是列出所有数据及其约束,比如声明问题的结构。这是一个图 — 这也是他的公司的命名来源。但在 2016 年 5 月,谷歌改变了一切 —— Cerebras 的 Feldman 称之为“虚张声势的战略决策” ——宣布它已经为人工智能应用开发了自己的芯片。这些芯片被称为张量处理单元(TPU),旨在与该公司的 TensorFlow 机器学习编程框架搭配使用。Knowles 表示,此举向投资者发出了一个信号,即新的处理器设计可能存在市场空间。“一夜之间,所有的风投都在想:那些疯狂的英国人在哪里?”他说。从那时起,Graphcore 已经筹集了 7.1 亿美元(5.15 亿英镑)。英伟达的竞争对手辩称,GPU 是为图形而非机器学习设计的,尽管其强大的处理能力意味着它们在人工智能任务领域比 CPU 表现更好,但由于精心的优化和复杂的软件层,它们的市场主导地位也只能到此为止了。“英伟达在隐藏 GPU 的复杂性方面做得非常出色,”Graphcore 联合创始人兼首席执行官 Nigel Toon 说。“它之所以如此成功,归功于他们创建的软件库、框架和隐藏复杂性的种种优化。英伟达在底层做了非常繁重的工作。”但就算不考虑 GPU,争论也还是会继续下去,你可能会从头开始设计一个具有全新架构的 AI 芯片。有很多选项可供选择。谷歌的 TPU 是专用集成电路(ASIC),专为特定负载而设计;Cerebras 制造了一个晶圆规模的引擎,这是一个比其他任何芯片大至少 56 倍的庞然大物;IBM 和 BrainChip 基于人脑模型制造神经形态芯片;Mythic 和 Graphcore 都做的是智能处理单元(IPU),但它们的设计有所不同。此外还有很多例子。但 Catanzaro 认为,许多芯片只是 AI 加速器的变体 — 任何能提升 AI 性能的硬件都可以叫这个名字。“我们会谈 GPU、TPU 或 IPU 或其他各种名词,但人们对这些字母过于执着了,”他说。“我们之所以叫 GPU 是因为我们过去做的事情……但 GPU 一直就是用于加速计算的,只是人们关心的负载性质在不断变化。”任何人都可以参与这场竞争吗?英伟达在核心基准测试,也是深度学习芯片的黄金标准 MLPerf 中占主导地位,要知道这种基准测试里很难保持领先。Cambrian AI Research 的分析师 Karl Freund 指出,由包括谷歌在内的学术界和行业参与者设计的基准测试工具 MLPerf 是由谷歌和英伟达主导的,但初创公司通常不会费心完成所有测试,因为系统的研发成本最好花在刀刃上。英伟达确实很在意这个测试 — 而且每年的成绩都超过谷歌的 TPU。“谷歌发明了 MLPerf 来证明他们的 TPU 有多好,”英伟达解决方案架构和工程负责人 Marc Hamilton 说,“黄总说,如果我们每次运行 MLPerf 基准测试时都能向谷歌证明我们的 GPU 比 TPU 只快一点点,那就太好了。”之前,为了确保它在这个基准测试的一个版本中拔得头筹,英伟达将一台自研超级计算机从 36 个 DGX 模块升级到了惊人的 96 个。这需要重新布线整个系统。为了尽快做到这一点,他们直接把电线都剪断了 — Hamilton 说这是价值约 100 万美元的套件 — 并发来了新设备。这可能进一步说明了争夺测试冠军的战斗有多疯狂,但它也激发了 DGX 的新设计:现在这一代模块无需任何重新布线就可以将 20 个组成一组。对于基准测试和超级计算机来说,你可以随时添加更多芯片。但对于 AI 计算的另一领域 — 边缘推理,情况就不是这么一回事了。一个英伟达 SuperPOD,Cambridge-1 超级计算机是用很多机柜的这种模块搭建而成的英伟达在 2020 年以 400 亿美元的价格收购了英国芯片设计公司ARM,引起了全世界的关注, 因为ARM 的架构为全球 95% 的智能手机提供支持。但随之而来的反应并不都是积极的。ARM 联合创始人 Hermann Hauser 不再在公司任职,但仍保留了股份。他称这是一场“灾难”,可能会破坏 ARM 在市场上的中立性。 世界各地的监管机构——欧盟、英国、中国和美国—正在密切研究这项交易。ARM 设计芯片,并将知识产权授权给其他公司以供它们使用。如果 AI 芯片制造商需要在系统中搭载 CPU,它们可以从 ARM 获得芯片设计许可,并按照自己的规格制造芯片。竞争对手担心英伟达控制的 ARM 可能会限制这些合作伙伴关系,尽管黄“明确”表示英伟达会尊重 ARM 的开放模式。据报道,英国政府正在考虑该交易对国家安全是否有任何影响,尽管 ARM 目前归日本软银所有;而中国则担心 ARM 归一家美国公司所有后,可能意味着其设计在现有贸易限制下被禁止出口到列入黑名单的中国公司。在 Cerebras,首席执行官 Andrew Feldman 意识到片上通信是很快的,但跨芯片之间的通信速度会变慢。那么为什么不建造一个足够大的芯片,这样你的数据就永远不必离开片上了呢?Cerebras 晶圆级引擎将 400,000 个内核塞进了 46,225 平方毫米的芯片上。“GPU 的内核很棒,但通信架构是不够好的,”他说。ARM 是边缘推理芯片的一家主要设计者,这种芯片将深度学习技术应用在了现实世界。这意味着这笔交易可能会对市场形态产生巨大影响;英伟达可以凭借其 GPU 和来自 ARM 的边缘推理优势在数据中心领域占据主导地位。什么是边缘推理?英伟达强大的高性能系统会处理数据以训练和应用模型,但还有另一种 AI 负载称为推理,这种更轻量级的任务使用经过训练的模型来解释某些东西,例如无人驾驶汽车理解它的相机看到的事物、智能手机应用找到你的脸部边缘,从而将猫耳朵贴在你的自拍照上,或者医学成像模型在扫描结果中发现癌症的迹象。需要大量算力的训练过程是在数据中心完成的,但推理过程在数据中心和终端设备上都存在。推理的第一步也在数据中心处理:当你向 Alexa 或 Siri 提问时,它会被发送回亚马逊和苹果的服务器进行解码和回复。第二步推理发生在用户终端设备中,例如相机、汽车和智能手机,这被称为边缘计算。这一步只需要较少的处理能力,但速度必须很快(没有人愿意看到他们的无人驾驶汽车思考一阵儿后再决定是否刹车)。英伟达目前在数据中心市场占据主导地位。 它的 A100 处理用于训练的数据,而推理则被虚拟化到更小的微型服务器上,在同一硬件上可以同时进行 50 个或更多推理负载。这对于像 AWS 这样提供 AI 即服务的科技巨头来说很有帮助,因为多家公司可以使用相同的硬件而无需担忧数据泄露的风险。在边缘场景,英伟达有用于无人驾驶汽车的 DRIVE 和用于现场推理的 EGX,但低功耗芯片不是它的传统优势所在。如果你曾用过游戏笔记本电脑,你会注意到它插电的次数要比 Chromebook 频繁许多。低功耗芯片是 ARM 的优势领域,这也是英伟达斥资 400 亿美元收购该公司的原因所在。谈到人工智能,ARM 的努力主要集中在两个领域。首先,它正在将很多软件框架适配到其现有的 CPU 上。对于更密集的负载,它开发了一种称为 Ethos 的神经处理单元(NPU)用作加速器。ARM 的 IP 产品部总裁 Rene Haas 表示,使用 Ethos-U55 的设备应该很快就会面市,因为获得对应设计许可的公司已经生产了芯片。有了边缘人工智能,语音助手将不再需要将语音上传到 AWS 或苹果服务器进行处理,而是可以基于本地智能算力做出响应。“它让工作可以在靠近源头的地方完成,这在很多层面上都有助于提高效率,”Haas 说,并指出设备与云端之间来回发送数据会消耗电池电量。英伟达欧洲、中东和非洲地区副总裁 David Hogan 表示:“我们谈论物联网已经很长时间了,但直到现在才实现这一愿景。”“这种转型是我们收购 ARM 计划的核心诉求。”Cambridge-1 超级计算机受控环境内的技术人员去年,当我们其他人在烤香蕉面包和追 Netflix 时,英伟达解决方案架构和工程负责人 Marc Hamilton 花了一年中大部分时间建造了一台价值 4000 万英镑的超级计算机。他解决了疫情造成的供应短缺,基本按时完成了这台 Cambridge-1 的组装。英伟达的乐高式系统简化了构建工作。八个 A100 芯片构成了称为 DGX 的核心计算系统,就像是笔记本电脑里面的英特尔或 AMD 芯片。DGX 成本 199,000 美元,是一台完整的 AI 计算机,具有内存和网络以及其他所有功能,基本设计成即插即用式的。Cambridge-1 由成机柜的金盒子组成,每个盒子里有 20 个 DGX,称为 SuperPod。Hamilton 说,Cambridge-1 将成为英国最大、最强大的人工智能超级计算机,在世界上排名第 30 位(尽管排名可能会发生变化)。但它只会是英伟达自研系列中的第五大。Cambridge-1 使用 80 个 DGX A100 建造,而最大的 Selene 则用了 560 个。英伟达在英国建造 Cambridge-1 的部分原因是收购 ARM 的交易,因为这单收购意味着该公司新增了很多英国员工。虽然它不是最快的,也不是最大的超级计算机,但 Cambridge-1 声称自己实现了两个第一。Hamilton 称其为世界上第一台云原生超级计算机,因为它具有类似于 AWS 的分区功能,让不同公司可以使用相同的硬件而无需担忧安全漏洞或数据泄露的风险。这还让 Cambridge-1 拿到了第二个第一头衔:这是英伟达将向外部合作伙伴开放的唯一超级计算机,可以让各个大学和医疗保健巨头 Astra Zeneca、Oxford Nanopore 和 GSK 运行自己的深度学习模型。为什么英伟达要建造自己的超级计算机? 原因之一是它需要很多大“玩具”来吸引最优秀的人才。早在 2016 年,英伟达还没有造过超级计算机,Facebook 和谷歌彼时正在抢夺最优秀的人工智能研究人员。“这不是因为他们给的钱更多,”Hamilton 说。“这是因为谷歌和 Facebook 拥有数以千计的 GPU 来运营他们的业务,并且他们的 AI 研究人员可以访问这些 GPU。”SambaNova Systems 的软件定义方法将数据放在首位,用过滤和减少指令代替加法和减法等整数计算。SambaNova 将其设计称为可重新配置的数据流,这是通过在每个“Cardinal”芯片上搭载 1.5TB 内存实现的,而每个 DataScale SN10-8R 系统中有 8 个这种芯片。现在,英伟达的超级计算机 Selene 是世界第五大计算机,仅次于日本一台、中国一台和美国政府拥有的两台。Hamilton 说,这意味着如果你是一名想要获得最快 AI 硬件的研究人员,你可以为中国、美国或英伟达工作。中国的目标是到 2030 年成为人工智能产业的全球领导者,而美国则希望保持其在技术上的领先地位;在人工智能前沿领域,局势已经很紧张了,但最近两国之间的贸易战可能会将它变成一场军备竞赛。作为一家美国公司,英伟达并不能完全避免此类问题。Catanzaro 的 40 人实验室的研究人员开发了可在英伟达自己的系统中使用的 AI,但这个实验室还充当系统架构师的“玻璃容器”,可以窥视未来的深度学习模型的工作方式。“如果你想为未来制造芯片,你希望它能满足未来需求,你必须有能力预测未来最重要的负载是什么 — 它们在计算层面是什么样子,”Catanzaro 说。“如果你搞砸了,你就会制造出错误的芯片。”芯片的设计和制造需要数年时间,因此这种远见是必要的。如果行业开发的模型不再在 GPU 上运行,或者至少不能在 GPU 上运行,会发生什么事情? 英伟达的 Dally 承认这是一种可能性,但由于大多数研究人员都在使用 GPU 做研究,他认为这不太可能。“在新模型崛起之前,我们应该已经听说过它了,也有机会测试它,并确保它在我们的 GPU 上运行良好,”他说。其他人并不同意这一观点 —还认为 GPU 可能会阻碍深度学习模型发挥其全部潜力。Cerebras 的 Feldman 说:“大家都在将他们的模型转向当今的技术。”“最让我们高兴和兴奋的事情之一是一群客户正在编写全新的模型。”他说,今年 Cerebras 将展示它所谓“GPU 不可能完成的工作”的例子 — 也就是根本无法在 GPU 上完成的负载。Graphcore 的 Toon 说,很多研究人员早就告诉他,今天的硬件阻碍了他们的进步。他的搭档 Knowles 将其比作著名作家奥威尔发明的“新语”,这是一种简单的语言,可以预防人们思考更复杂的想法。“有一些想法(例如概率机器学习)的发展仍然受阻,因为今天像 GPU 这样的硬件不允许它继续前进,”Toon 说。“英伟达能够以多快的速度发展 GPU,还是会有新的东西来实现这一点?这将是竞赛的焦点。”麻省理工学院计算机科学和人工智能实验室研究员 Neil Thompson 在一次 AI 会议上注意到一种趋势,就是 研究人员暗示计算限制阻碍了他们的模型发展,限制了他们的选择和数据集,并迫使一些人在他们的工作中留下错误,因为他们没钱重新运行模型来解决问题。“这种现象真的很普遍,如果我们要像迄今为止一样继续实践深度学习,这种局面对深度学习的未来来说是一个非常大的问题,”他说。Thompson 及其同事分析了 1,058 篇 AI 论文,发现 机器学习的计算需求远远超过了硬件改进或模型训练效率提升带来的增益。这样下去,系统迟早要花费数亿甚至数十亿美元来训练 —并且还有其他成本。“使用更多 GPU 的问题在于,GPU 数量每增加一倍,成本就会增加一倍,环境足迹、碳和污染也会增加一倍,”Thompson 说。他认为,仅靠硬件解决方案— 无论是来自英伟达还是挑战者的 — 都无法阻止人工智能创新陷入困境。相反,我们需要构建更高效的模型并更好地利用我们已有的模型。 诸如稀疏性之类的想法— 忽略数据集中的零以节省计算需求 — 可以提供帮助,因为它可以更有效地利用数据,只将其对比相关参数。另一个想法是将我们从模型中学到的东西提炼成更轻量级的方程,只运行模型的相关部分而不是大量的通用部分。如果没有这些努力,我们将需要更大的数据中心。但人工智能不应该只让那些买得起超级计算机的人们来研究。Thompson 说,“没有强大计算机的大学已经远远落后于那些进行高端深度学习的大学。”“能玩的人还是不少的,但是随着计算量的增加,玩家的数量越来越少。我们已经到了一些人被排除在外的地步。”成本是可以削减的,这可能是初创公司赢得客户并对抗现有企业的一种方式。AWS 去年在自己的云中加入了 Habana Labs 的芯片,称这家英特尔拥有的以色列设计企业将运行成本降低了 40%。Habana Labs 首席商务官 Eitan Medina 表示:“为了让 AI 惠及所有人,而不仅仅是富人,你确实需要提高性价比。”AI 本就存在着偏见问题,而对硬件的不平等访问加剧了这一问题。“这意味着我们只会看到硬币的一面,”英伟达新兴领域负责人 Kate Kallot 说。“如果你不考虑世界上的大部分人口……我们将如何解决世界各地的挑战?”她提到了联合国的可持续发展目标:许多人工智能研究人员正在将他们的工作转向应对贫困和气候危机等挑战,但这些问题将在很大程度上影响新兴市场。要考虑的还有其他挑战。疫情期间处理器的制造受到限制,而去年中美之间的贸易摩擦引发了人们对全球芯片工厂主要集中在亚洲的担忧。 欧盟最近承诺到 2030 年生产全球五分之一的高端芯片。芯片设计企业大都将制造外包——英伟达芯片是由台湾台积电制造的——不过英特尔有自己的代工厂。今年 3 月,英特尔宣布计划在美国开设两家新工厂,首次为外部设计企业生产芯片,这或许可以让美国在制造方面拥有更多控制权。随着这些障碍得到克服,芯片不断发展,人工智能继续扩张,直到触及所有事物。这一趋势很像连接革命,其中从烤面包机到冰箱的各种事物都加上了 Wi-Fi 和应用支持。但在未来,智能不仅意味着连接互联网,还意味着嵌入人工智能。“它将无处不在,”ARM 的 Haas 说。“在未来几年内,它的身影将出现在每一个计算应用中。”版权声明:本号内容部分来自互联网,转载请注明原文链接和作者,如有侵权或出处有误请和我们联系。
浏览
34点赞
评论
收藏
分享
手机扫一扫分享
分享
举报
点赞
评论
收藏
分享
手机扫一扫分享
分享
举报