万字长文:无论何时何地,亚马逊都在“注视”着你

日期:07-03
亚马逊AI隐私

万字长文:无论何时何地,亚马逊都在“注视”着你

编者按:Facebook和Google最近几年因为侵犯在线隐私的问题在美国被抨击得很厉害,但其实大家都忽视了另一家可能体量同样巨大而且潜在带来的问题更多的公司——Amazon。大家对这家公司的印象可能还停留在电商巨头上面,但是随着它在智能家居以及AI方面的不断渗透,Amazon已经悄然在我们周围布下了耳目,就连大家的线下隐私也可能受到威胁。Medium上的OneZero栏目聚焦了这个问题。原文作者是Will Oremus,标题为:Amazon Is Watching

当你想到Amazon时,你可能会想到坐在沙发上比较购物,买到自己正好想买的东西,而且花的钱比你在店里支付的还要少。你可能会想到快递员正好按时把包裹放到你门口,以及如果东西有问题的话你可以寄回去并拿到全额退款。你可能会想到让Alexa放首歌或者某个电视节目,或者叫它开灯,并且对它居然都能照做(通常)感到啧啧称奇。你可能会想到Prime会员到全食超市(Amazon于2017年收购)买牛油果能获得折扣。

Amazon以用低价以及无情的效率去服务客户著称,这也许有助于解释为什么在一个接一个的调查中,这家公司总是占据美国最有价值或者最受欢迎品牌的榜首。最近的一项研究发现,Amazon在美国最受信任的机构里面排名第二,领先于Google、警察以及高等教育体系,仅落后于美国军队。在一连串没完没了的隐私和选举丑闻令Facebook名声扫地,而Google受累于YouTube的激进化与内容审核之时,Amazon正变得比以往任何时候都要强大。

但Amazon作为一个可信赖的“万物商店”的公众形象,掩饰了它已经变成的神秘巨兽的形象——也掩盖了它今天建造的产品在侵蚀我们的(线上乃至线下的)隐私的行为。即便在竞争对手重新评估自身的数据实践,反思所肩负的责任,并呼吁制定新法规时,Amazon仍在正在对监控设备加倍下注,拒绝承担别人对其技术使用方式的责任,并无视学者、媒体、政治家以及自己员工的关切。

乔治城大学公共利益律所(Georgetown Law’s Institute for Public Representation,IPR)的专职律师Lindsey Barrett说:“我们都希望他们造的不是圆形监狱。”该律所是19家监督组织组成的团体的法律顾问。上个月,IPR向FTC(美国联邦贸易委员会)发出呼吁,要求调查Amazon是否涉嫌违反保护儿童在线隐私方面的联邦法律。包括其他关切在内,他们发现即便父母试图删除数据,Amazon的Echo Dot儿童版智能音箱仍保留了儿童的录音和个人数据。Amazon将至少该问题的一部分归咎于一个软件漏洞,并且说已经得到了修复。

虽然此案的结果仍有待观察,但这个诉讼只是冰山一角。今天的Amazon在公共互联网上的势力范围很广;它利用了人工智能来处理世界上许多大公司和机构(包括中央情报局)的数据;它还跟踪用户购物习惯,为定向广告建立详细的用户画像;并且把连接云的、由AI支持的音箱和屏幕买到家庭里面。它收购的一家公司生产的Wi-Fi路由器可以组成网状网访问我们的私有互联网流量。通过子公司Ring,Amazon将监控摄像头放置到数百万家庭的门铃上,并邀请他们跟邻居与警方一起在一个面向预防犯罪的社交网络上分享镜头。它还向警方和私营企业出售人脸识别系统。

Amazon基本上是在贩卖恐惧

就像专利、合同标书以及营销材料所勾勒那样,明天的Amazon可能会更加无所不在。想象一下到处都是Ring门铃摄像头的情形,想象一下多到你没法不惊动邻居和警察的情况下出门会如何。设想如果这些摄像机内置了人脸识别系统,可以作为一个网络一起工作,从而识别被认为可疑的人会如何。再设想汽车和无人机上的Ring监控摄像头,托儿所里面的Ring婴儿监视器,以及从学校到酒店乃至于医院的各种Amazon Echo设备。现在再想象一下,所有这些Alexa支持的智能音箱和屏幕均可识别你的声音并分析你的讲话模式,可以知道你什么时候生气、生病或想买东西。《电讯报》上周报道了Amazon在2015年申请的一项专利,即所谓的“监视即服务”系统,用这个来概括它已经在售的许多产品似乎挺贴切的。

万字长文:无论何时何地,亚马逊都在“注视”着你

在这背后的是同一家公司,这家公司的领导曾经常将隐私问题视为夸大其词,将内部异议视为无足轻重,把对Amazon技术可能的滥用视为别人的问题。

Amazon云业务的负责人Andy Jassy在本月早些时候的Code Conference上曾说:“仅仅因为技术有被滥用的可能性并不意味着我们就应该禁止并声讨它。”。他认为禁止人脸识别系统(也许是有效的监视工具,但往往会歧视有色人种)就好比禁止使用电子邮件或刀具——这两种技术一种是新的,一种非常古老,它们既可用于行善也可用于作恶。他说:“你可以偷偷摸摸地用刀。”

应该说,Amazon在做的每一样东西都有可能用来行善。它的门铃摄像头可以逮住顺手牵羊的;它的人脸识别软件可以帮助当局追踪嫌疑人; Alexa在家里可以有无数种用处。但是,当你把这些拼凑在一起时,该公司接入云的眼睛和耳朵就可以产生奥威尔式的影响,与之相比,在隐私方面消费者往往最为担忧的科技公司——Facebook和谷歌,似乎也相形见拙。

客厅有耳

让我们从该公司那些以Alexa为引擎的设备开始,比如Amazon Echo、Echo Dot以及Echo Show等,这些已经成为了智能家居的主要产品。他们把接入互联网的、永远在线的麦克风(有时候也包括摄像头)放到了你的厨房,客厅或者卧室。对于偏执狂来说,光是这一点可能就有理由要对其退避三舍:为什么要冒险在互联网和家人最私密的空间之间开放一个永久门户?但超过1亿的买家已经接受了他们,相信Amazon会在此过程中保护好他们的记录。

Amazon说Echo设备只有在听到预设的唤醒词,比如例如“Alexa”时才会开始录制。不幸的是,他们的系统跟万无一失还差得远——几乎每一位Alexa用户都遭遇过类似这样的惊吓——错听成唤醒词的设备突然之间就被激活了。Alexa因此经常会错误地收集到对话片段并保存起来,并且至少有一次,Amazon曾意外地将这些记录发送给了一位陌生人。Amazon忽视了竞争对手智能音箱包含有的数据隐私功能,这是无济于事的。而且从Echo上删除录音要比Google Home或Apple HomePod难,对于给 Echo Show等设备的摄像头上配置物理快门以防止意外录制,Amazon一直在拖沓。(就算Facebook都一个。)

作为一家引领人机关系革命的公司,Amazon对隐私关切的态度有时候似乎不屑一顾。去年在Slate的播客节目《If Then》上接受采访时,我曾向Alexa Engine Software的副总裁Al Lindsay提问,请他指出一项他认为是有效的跟Amazon相关的数据隐私问题,或者说出一项他的团队正在进行的与隐私有关的挑战。他说他一个都想不出来。

万字长文:无论何时何地,亚马逊都在“注视”着你

但Amazon以外的监督者已经找到了一些。今年4月,彭博社报道称Amazon在全球各地办事处雇用了数千合同工来听毫无戒心的Alexa用户的录音。其目标不是监视,而是想改进设备软件。这是训练AI的常见做法–无论个人是否知晓,像Alexa和Siri这样的智能数字助理的人类用户是训练过程的一部分——但Amazon并没有向用户明确披露其系统的机制。Apple的Siri和Google的助手也用人工审核员,但他们采取了措施对用户的录音匿名化,而Alexa的录音则与每个用户的帐号、设备序列号和名字相关联。

然后还有人指控Amazon的Echo Dot Kids Edition违反了联邦儿童在线隐私保护法案(COPPA)。在父母试图删除孩子的个人信息后设备仍设法保留,除此之外,该设备还无限期地存储了这一信息,并使用了一种有缺陷的签署父母同意书的方法。IPR的Barrett说,这么大的一家公司居然敢这么直接地在明确面向孩子的设备上侵犯隐私,这实在是令人难以相信。

针对本文Amazon发来了一份声明,表示自己有严格的协议来保护客户的隐私和安全,并指出客户可以随时在Alexa应用程序或访问在线Alexa Privacy Hub来查看和删除他们的录音。

考虑到Amazon是在把Alexa设备部署到汽车,旅馆客房,教室,甚至儿童医院,该公司却没有在隐私和安全方面多做公关,这就有点古怪了。这一点似乎最终开始有所改变,上个月,Amazon声称推出了一系列新的Alexa隐私功能,其中包括用户可以说“Alexa,删除我今天说的一切。”但结果证明这个功能具有浓厚的拜占庭风格:Alexa不是在你第一次提出时删除录音,而是引导你打开智能手机上的Alexa app,然后经过一长串菜单选项导航。在这之后,你只能删除一天的记录,而不是更长的一段时间。要想删除一切需要经过8个步骤,还需要Alexa app。Amazon仍然没有像Google那样提供自动删除录音的选项。

迄今为止,Amazon还没有在Alexa上推出语音广告,这可能有助于强化公司是卖东西的形象,而不是让你成为产品。但这并不意味着你的Echo不会收集数据并从中获利。现在它已经跟踪你的购买和音乐选择以用于产品推荐了。虽然它没有像Google或Facebook那样受到同样的审查,但Amazon的数字广告业务正在悄然蓬勃发展:它现在已经是排在双寡头后面的第三大。根据最近的估计,Amazon 2019年预计将拿下美国1300亿美元市场近10%的份额。

街上有眼

然后就是Ring,Amazon在2018年初以10亿美元收购的“智能门铃”初创企业。其他的互联网巨头大多将自己的窥探行为限制在用户的在线行为上,而Ring让Amazon以及你可以监控其他人在现实世界中的行为。其安装在家庭和企业门外的Wi-Fi连接设备可不间断监视30英尺半径范围的情况,并在检测到运动时捕捉视频。用户可实时查看摄像头内容,付费后还可以存储和观看录制的内容。

这些监视能力并不新鲜:企业和大厦一直都部署有昂贵的安防摄像头系统。但就像Amazon之前的电子商务将其带给大众一样,Ring通过将门铃摄像头嵌入到一个简单的200美元套餐中来让这项服务变成主流,同时还不断地向普通家庭以及警察部门积极推销。Amazon现在是门铃摄像头市场的主要玩家,一位分析师预测,这个家庭监控摄像头的子市场到2023年的规模将达100亿美元。

Ring不满足于让用户监视他们自家的前院,还通过名为Neighbors的应用程序将其摄像头变成了半公共的搜索网。Neighbors让Ring的所有者可以上传、分享监控录像并彼此发表评论,用户还可以选择将其提供给警方。Amazon在一份声明中表示,“Ring的Community Alerts鼓励社区与当地警方就活动案件进行合作,以帮助社区保持安全。”

这一功能可让部分执法机构乐坏了。CNET的一份报告发现,从休斯敦到印第安纳州哈蒙德的警察部门都在跟Amazon合作向市民提供打折的Ring,同时鼓励他们在Neighbors上分享监控视频。新泽西州布卢姆菲尔德的警官告诉CNET说,感谢Ring,“现在整个镇区已获摄像头的全覆盖”。阿拉巴马州Mountain Brook的警察局长告诉该网站,通过Neighbors访问居民的Ring视频让他的部门几乎免费实现了全市安全摄像头的全覆盖。Amazon不要求用户向警方共享监控视频,但它面向执法部门的网站使得官方很容易就可以对任何特定用户提出要求——而很多人可能会觉得难以拒绝这样的请求。在技术上用户在应用程序中仍保持匿名,但他们的大概位置已经很明显了。Ring告诉OneZero称自己致力于保护用户隐私,并指出要求客户与警方分享视频以换取设备折扣的计划自己是不支持的。

你可能会认为,在大家对在线隐私的关注增加的时候,科技巨头对涉足线下监视的想法应该给更加谨慎才是。但在Amazon这里,你错了。在Ring创始人Jamie Siminoff的带领下,公司内部显得群情激昂。2016年,Siminoff曾向员工发放迷彩T恤衫,并向“人渣犯罪分子(declared war on“dirtbag criminals)”宣战。

但该公司自己的安全,至少在被收购Amazon之前,有时就似乎有些松懈: Ring曾多次被发现以纯文本存储客户的家庭WiFi密码,并发送20毫秒的短音频数据包给外面的服务器。Ring迅速采取措施解决了这两个问题,没有任何证据表明造成了任何伤害。根据The Information的2018年报告,从2016年开始,Ring还让乌克兰的研发人员可访问用户的个人视频记录进行分析。Amazon后来称拦截这种做法仅限于在Neighbors app上公开分享的视频,但拒绝透露该政策是何时生效的。Ring在一份声明中称:“作为一家致力于减少社区犯罪的安全公司,安全是Ring的核心,它推动了我们所做的一切,除非用户允许或分享出去,否则没有人可以查看用户的视频录像。”

Amazon已经接受了Ring这种打击犯罪的想法。Amazon负责设备的副总裁Dave Limp在2018年9月的一次活动中表示,“我想不到有比这更高尚的使命了。”今年早些时候,Ring还在Facebook上推出了定向广告,向加州山景城的居民展示了实际的监控录像,镜头里面显示一位女性似乎正试图破车而入。

Macomb Community College的英语教授Chris Gilliard说,“Amazon基本上是在贩卖恐惧。他们在贩卖这样一个想法,一个看得更紧的社会是更安全的社会。”但这取决于你是不是被监视的人。Gilliard认为,Ring和Neighbors实际上会让社会对有色人种更不安全,他们在具有邻里监督要素的社交网络中被认定为“可疑”的占比不成比例。在过去,如果居民看到自认为可疑的人时可能会告诉邻居或报警,“但他们可能不会广而告之到整个街区。但现在是了。”

云端的脑

尽管大多数人对Amazon的印象主要还停留在线零售商上,但其实它大部分的利润都是来自AWS,据估计,它的云服务器几乎支持着半个互联网。对于规模小一点的网站来说,AWS主要是充当起基础架构提供商的作用。但对于世界上一些最大型的机构和公司来说,AWS还会挖掘和分析数据,对文本和图像进行解码,并做出预测和推荐。

美国国土安全部、国防部和中央情报局等主要执法和情报机构就是它的客户之一。2017年,Amazon在AWS成立了一个特别的部门,负责处理机密的政府情报。AWS的客户还包括由Peter Thiel与人共同建立的硅谷大数据公司Palantir,后者为美国移民和海关执法部门(ICE)提供软件。现在,AWS正在跟微软Azure争夺一份价值100亿美元的巨额合同,让五角大楼上它的云,此前Google已经在自家员工的压力下退出了。

万字长文:无论何时何地,亚马逊都在“注视”着你

AWS最具争议性的服务是Rekognition,这是一个使用机器学习来分析图像和视频片段的平台。Rekognition还能够将视频录像中的人脸与数据库中的人脸进行对比,还有选择面部特征和表情的面部分析技术。ACLU 2018年的报告聚焦了Amazon如何向执法机构推广其面部识别功能的事情,同时还指出该公司跟佛罗里达州奥兰多市和俄勒冈州华盛顿县的警方也建立了合作伙伴关系。

根据NPR的消息,在韩国首尔举行的一次开发者大会上,Amazon的Ranju Das解释说奥兰多的警察拥有“遍布整个城市的摄像头”,可以为Amazon提供镜头进行实时分析。然后,它可以将监控视频中的人脸与数据库中的一组照片进行比较,以便重建“嫌疑人”的下落。三月份CNET的一份报告详细说明了华盛顿县警长办公室是如何使用Rekognition来识别和逮捕入店行窃嫌疑犯的。

人脸识别软件的有一个问题证据充分,那就是不准确,特别是在识别有色人种时。在2018年ACLU的一项测试中,Rekognition错误地将28名国会议员的匹配到犯罪嫌疑人的照片上。在错误匹配里面,有色人种的国会议员占比过高。Amazon认为这项研究存在若干方面的误导性,因为它使用匹配置信度阈值低于AWS建议,并用了过时版本的Rekognition软件。

一些员工和股东认为Amazon为Palantir和ICE等开发人工智能工具和面部识别的想法并不合适。一位匿名的Amazon员工去年秋天在Medium上写道,约有450名员工联名签署了一封致CEO贝索斯的信,呼吁该公司放弃跟Palantir合作并停止向警方提供Rekognition。该员工写道:“像我们这样的公司不应该掺和这样的事”。在随后的一次采访中,该员工表示Amazon领导层对此的回应是“无线电静默”。

这并不奇怪,因为AWS副总裁Teresa Carlson在2018年7月的一次安全会议上宣称公司对警方与军方使用人脸识别的“坚定承诺”。Gizmodo在2018年11月报道说,AWS CEO Andy Jassy在内部会议上再次肯定了对执法部门推销Rekognition的做法。他说这项技术大体上是积极的,还用一个组织利用该软件帮助查找和营救人口贩运受害者的工作来强调了这一点。Jassy补充说,如果Amazon发现客户违反了服务条款或侵犯了大家的宪法权利,将会停止与其合作。但是,当之前Carlson被问到Amazon是否会给自己所承担的防务工作划任何的红线或制订指导方针时,她的答案很明确:“我们不划任何的红线。”

在2019年2月的一篇博客文章里,Amazon表示,它将对人脸识别进行某种形式的立法以促进透明性和尊重公民权利等目标持开放态度。此举追随了微软在2018年迈出的脚步,不过后者比Amazon走得远多了,是直接呼吁要对该技术进行监管,而Amazon则一直为其使用进行辩护。“在我们提供Amazon Rekognition两年多的时间里,我们尚未收到一份关于执法滥用的报告,”该公司在博客文章中说。

监视即服务

专利申请无法说明公司是否真的会做。通常,他们尽量多地申请专利只是为了万一自身知识产权有朝一日能用到商业上。但尽管如此,专利仍然可以揭示特定公司对其未来几年竞争环境的看法。如果说Amazon的专利申请可以透露任何东西的话,那就是公司将监控能力的扩展视为其未来的重要组成部分。

其中一些跟Alexa和语音识别有关。2017年的一项申请描述了一种“语音嗅探器”算法,该算法可以从朋友间的对话中选出关键字为可定向广告服务。另一项申请提出根据咳嗽声,鼻塞声或语调来推断大家的健康或情绪状态——再次地,定向广告是潜在用例。

Amazon对于Ring的未来也有一些大想法。本月早些时候,Quartz报道了Amazon拿到了可能涵括安装在汽车或婴儿监视器上的摄像头的设备商标,也就是所谓的“家庭与企业监控系统”。2015年时该公司提交的另一项专利明确指出,在收购Ring之前很久Amazon就一直在考虑这些问题:专利描述了这样一个系统,客户雇用的快递无人机可以通过该系统飞到特定目标上方然后拍摄侦察视频。Amazon将这一想法叫做“监视即服务”。”

Amazon会不会推出个有名字的产品或者显然颇为敌托邦的功能令人怀疑。但是app他们还有其他一些专利,2018年11月公开的那批专利似乎是公司正在做的东西。专利描述了一个共享数据的摄像头网络如何可以与软件一起使用,从而自动识别面孔出现在可疑人员数据库里面的人。正如CNN首次报道的那样,这听起来很像是将人脸识别与Ring及Neighbors相结合的路线图。ACLU律师称之为为“对未来的令人不安的愿景”,大家甚至无法在不被邻居追踪的情况下走上街。

在一份发给OneZero的声明中,Ring重申专利申请未必意味着就会去做产品,该公司表示:“我们一直在替街坊邻里进行创新,让我们的社区成为更好、更安全的居住地,而这项专利是增强服务的众多想法之一”。

智能音箱、AI语音助手、门铃摄像头以及在公共场所的人脸识别都有好处。这些为我们提供了便利,让我们安心,并有可能解决可能一些否则无法解决的犯罪问题。但是如果把这些凑到一起——由一家非常大的公司控制完所有的数据,并且还跟警方和情报机构密切合作——你可能就会拥有一个规模见所未见的监视设施。

要是没人要阻止Amazon建立这个网络的话,问题就变成了我们是否可以信任它,相信Amazon在设计产品和保护所收集的大量数据时会负责任,能考虑周到、小心谨慎——以及我们是否可以信任所有使用Amazon技术的实体也能够负责任。

头上的云

跟最近几年为隐私过失道歉并承诺解决自身问题的Facebook(且不管有没有用)或苹果公司(已将隐私作为明确的卖点)相比,Amazon迄今为止对其庞大的监控能力所引发的伦理影响几乎没有显示出任何的关注。在微软拒绝向警方出售人脸识别技术,而Google根本没有这一销售业务的情况下,Amazon却在向全国各地的警察部门进行兜售。

如果对Amazon在开发监控技术时牵涉到的社会责任所持(或没有)立场仍有疑问的话,今年5月CTO Werner Vogels在一场官司活动中已经给出答案了。Vogels在接受BBC采访时解释说,确保负责任地使用其人脸识别系统并不是Amazon要承担的角色。他说:“这不是我要做的决定,这项技术在很多地方都得到了很好的应用。哪一项技术在什么情况下可以用得由社会来决定。”

这种声音被调到了最大。在2018年10月在旧金山举行的一次技术会议上,贝索斯将该公司签订的军事合同视为应尽的爱国义务的一部分。他把公司开发高科技监控工具与书的发明进行比较,说书曾被用于行善,也曾被用于作恶。据CNN报道,贝索斯说:“新技术裹足不前是我们最不想做的事情。”有人可能希望Amazon最不想做的是开发会造成伤害的新技术,但显然它的高管更加关注的是不要妨碍创新。

创新前进的步伐不可阻挡,自己创造的新技术不该由公司来引导怎么去用,数十年来这些一直体现在科技公司的策略中。它隐含在“快速行动,打破陈规”的思潮里,相信创新者请求宽恕要比请求允许更好。但随着这些创新的社会成本变得越来越沉重,像Facebook,Google和Twitter这些一度违法的平台——在自家员工的敦促下——开始接受至少在某种程度上,他们确实应该对自家产品对社会的影响负责任的看法,认为自己还是有一些能力可以去积极地塑造它的。

不过似乎Amazon对他们的看法不敢苟同。

一直在研究Ring和Neighbors如何影响少数族裔的研究员Gilliard表示,他怀疑Amazon对其产品影响这种无所谓(不管是有意还是无意)的态度可能难以为继。他告诉我说:“Amazon只是还没有遭遇他们的Cambridge Analytica时刻”。

如果遭遇了那一刻会是什么样的?Gilliard犹豫了一下,然后勾勒出一个假设的场景。他指出,Amazon的Key送货进家门服务可以让送货人利用智能锁打开客户车库把包裹放进去。(一开始是想开前门。)Gilliard设想有位Amazon的快递员是有色人种,当他进入客户的车库时,客户可能会收到Amazon自己的产品(Ring或者Neighbors app)发来的可疑人告警。这种情况可能就会很难堪了。Gilliard说说:“我非常非常希望不会发生这种事:有人可能会因此受到伤害。一名Amazon员工可能会受到伤害,被逮捕或者受到攻击。”

在还没有出现霸占新闻头条的大规模惨败,或者出现Amazon员工和管理层良心发现的突然转折点之前,对该公司脖子伸得太长最好的防御手段也许是监管。5月,旧金山成为美国第一个禁止人脸识别的大城市。该技术的捍卫者发现这一行动不成熟且过于激进。但Amazon的一位匿名员工警告说,如果我们不尽快采取行动的话,“所造成的伤害将很难恢复”。警察部门一旦对Neighbors app形成依赖让他们放弃使用同样难以想象,除非他们被迫这么做。虽然人们可能会希望Amazon决定不给门铃、汽车或无人机提供人脸识别能力,但没有任何迹象表明它的领导人认为这里面有问题。

Amazon之前曾克服了社会信任的障碍。1995年它就推出了在线书店,那时候距离互联网历史上首次实现在线购物仅仅一年。Amazon和eBay一起说服了公众在网上使用信用卡并不像怀疑者所想的那样疯狂。

即便公司似乎已经朝着不合适的方向扩张,它仍然保持着对一度繁琐的流程进行简化的高度关注,无论是高效率低成本的物流,还是利用语音控制智能电子产品都是这样。从利用Rekognition自动执行将单个犯罪嫌疑人的面孔与数据库中的数十万个人脸照片进行比对的繁重任务,或者Ring如何在发生街区发生可疑事件时第一时间警告邻居和警察当中,你可以看到同样的冲动。但在我们将监控变得像Amazon一键式购买一般的便利和无处不在之前,先问问社会是否让某些事情保持繁琐一点会不会更好是值得的。

原文链接:https://onezero.medium.com/amazon-is-watching-d51b20f1668a

译者:boxi。

马斯克的星际传媒帝国梦碎:从“砰”项目中撤资 罚款200万欧元:Facebook被指违反德网络透明法案
相关阅读: