ChatGPT 迅速崛起的下一个阶段是GPTBot的采用。OpenAI 技术的这一新版本涉及抓取网页以深化 ChatGPT 可以提供的输出。
人工智能的进步似乎是积极的,但结果并不那么明确。法律和道德问题围绕着这项技术。
GPTBot 的出现凸显了这些担忧,因为许多大品牌都在阻止它,而不是利用它的潜力。

但我坚信,完全(且负责任地)接受 GPTBot 所带来的好处将远远大于损失。
为什么像 GPTBot 这样的人工智能机器人会抓取网站?
了解 GPTBot 等机器人为何会这样做是拥抱这项技术并发挥其潜力的第一步。
简而言之,像 GPTBot 这样的机器人会爬取网站来收集信息。主要区别在于,与被动地接收数据以供学习(可称为“训练集”)的 AI 平台不同,机器人可以通过爬取各种网页来主动寻找网络上的信息。
大型语言模型(LLM) 会搜索这些网站,试图了解我们周围的世界。Google 的 C4 数据集占这些 LLM 学习内容的很大一部分(1570 万个网站)。他们还会抓取其他权威、信息丰富的网站,如维基百科和 Reddit。
这些机器人抓取的网站越多,它们学习的就越多,能力就越强。那么,为什么公司要阻止 GPTBot抓取呢?
屏蔽 GPTBot 的品牌的担忧合理吗?
当我第一次读到有关公司阻止 GPTBot 抓取其网站的消息时,我感到困惑和惊讶。
在我看来,这似乎是极其短视的。但我想,肯定有很多事情我考虑得不够深入。
经过研究并与具有法律背景的代理专业人士交谈后,我发现了最大的原因。
缺乏对其专有训练数据的补偿
许多品牌阻止 GPTBot抓取他们的网站,因为他们不希望自己的数据在未经补偿的情况下用于训练模型。虽然我可以理解他们想从10 亿美元的蛋糕中分一杯羹,但我认为这是短视的观点。
ChatGPT 与 Google 和 YouTube 类似,是面向全球的答案引擎。阻止 GPTBot 抓取您的内容可能会限制您的品牌在未来仅覆盖一小部分互联网用户。
安全问题
反对 GPTBot 情绪的另一个原因是安全性。虽然这比贪婪地囤积数据更为有效,但在我看来,这仍然是一个毫无根据的担忧。

到目前为止,所有网站都应该非常 安全。更不用说,GPTBot 试图访问的内容是公开的、非敏感的内容。与 Google、Bing 和其他搜索引擎每天都在抓取的内容相同。
CIO、CEO 和其他公司领导认为 GPTBot 在抓取过程中会访问哪些敏感信息缓存?如果采取正确的安全措施,这难道不成问题吗?
迫在眉睫的法律影响威胁
从法律角度来看,该论点是,品牌网站上的任何抓取都必须受到其隐私免责声明的保护。所有网站都应有一份隐私免责声明,概述他们如何使用其服务收集的数据。律师表示,该声明还必须说明,生成式人工智能第三方平台可以抓取收集的数据。
如果不是,任何个人身份信息 (PII) 或客户数据仍然可能“公开”,并使品牌面临联邦贸易委员会 (FTC) 第 5 条关于不公平和欺骗性贸易行为的索赔。
我在某种程度上理解这种担忧。如果你是知名品牌的法律部门,你的首要目标之一就是让你的公司远离麻烦。但这种法律担忧更多地适用于 ChatGPT 的输入内容,而不是 GPTBot 抓取的内容。
输入 OpenAI 平台的任何内容都将成为其数据库的一部分,并有可能与其他用户共享 – 从而导致数据泄露。不过,这种情况可能只会在用户询问与存储信息相关的问题时才会发生。
对我来说,这是另一个不必要的担忧,因为这一切都可以通过负责任地使用互联网来解决。自网络诞生以来,我们一直遵循的数据原则仍然适用——不要输入任何你不想分享的信息。
拯救人类免遭人工智能攻击的冲动
我不禁想到,一些阻止 GPTBot 的品牌的领导者对人工智能技术的进步存在偏见。
我们常常害怕我们不理解的事物,有些人害怕人工智能获得太多 知识并变得过于强大。
尽管人工智能正在快速发展,并开始更深入地“思考”,但人类仍然在很大程度上处于控制地位。此外,管理人工智能的立法也将随着技术的发展而发展。
当我们最终进入“自主”人工智能平台的世界时,它们的功能将受到人类多年创新和立法的指导。
不应屏蔽 ChatGPT 的 GPTBot 的 3 个理由
那么,为什么要允许 GPTBot 抓取您的网站呢?让我们从好的方面来看待采用 OpenAI 机器人技术的三大主要好处。
1.每周有 1 亿人使用 ChatGPT
如果不允许 GPTBot 抓取您的网站,您将失去1 亿受众,从而无法最大程度地提高品牌知名度。
共享您网站内容的访问权限可以帮助确保您的品牌向 ChatGPT 用户得到真实且积极的呈现。
这意味着您的品牌更有可能被 ChatGPT 推荐,从而带来更多的流量和潜在客户。
一些品牌报告称, ChatGPT 为他们带来了 5% 的潜在客户,即每月 10 万美元的订阅收入。我知道我们的代理机构也已经从 ChatGPT 获得了一些潜在客户。
另一种考虑方式是将其视为积极的数字公关(DPR) 手段。在当今的环境下,您应该充分利用品牌提及活动等 DPR 策略。
允许 GPTBot 抓取您的网站只会增加这些努力,因为它允许 ChatGPT 直接从源头访问您的品牌信息并将其积极分发给 1 亿用户。
2. 生成引擎优化(GEO)
无论你是否对人工智能心存疑虑,我们都同意人工智能正在改变营销格局。就像我们行业中的所有新技术和趋势一样,那些迟迟不接受人工智能作为新业务和品牌曝光渠道的人将会错失良机。
GEO作为 SEO 的一个分支,发展势头迅猛。如果您没有将部分营销工作重点放在这一市场,那么您将错失良机。如果您错失良机,竞争对手可能会趁机而入。
我们知道,在当今日益分化和不断发展的营销环境中,品牌很容易落后。如果您的竞争对手花费数年时间致力于 GEO,最大限度地提高 LLM 知名度并发展该领域的技能和专业知识,那么他们就会领先您数年。
现在,GEO 报告功能还没有赶上价值,这意味着衡量投资回报率将会很困难,但这并不意味着它可以被忽视和落后。
品牌和营销人员必须开始接受像 ChatGPT 这样的 LLM,将其作为一种不容忽视的新兴获取渠道。
3. OpenAI 承诺将伤害降至最低
对人工智能技术保持健康的怀疑态度,对于其合法性和道德发展至关重要。但我们也需要保持开放的心态,意识到如果我们抵制它,选择不朝着正确的方向发展和创新,我们就无法成为有效的营销者。
OpenAI 明确表示“将伤害降到最低”是其平台的指导原则之一。他们还制定了尊重版权和知识产权的政策,并表示 GPTBot 会过滤掉违反其政策的来源。
通过允许 GPTBot 抓取您网站的内容,您将为 OpenAI 用来增强和提高其信息准确性的干净、准确的训练数据做出贡献。
随着人工智能技术的进步,人们很容易陷入怀疑、恐惧和噪音之中。那些努力拥抱和充分利用人工智能的人将被淘汰。
我们邀请投稿作者为 Search Engine Land 撰写内容,并根据他们的专业知识和对搜索社区的贡献进行选择。我们的投稿者在编辑人员的监督下工作,并检查投稿的质量和与读者的相关性。他们表达的观点是他们自己的。