AI 大模型的语言不平等英语最实惠，其它语言要贵得多

发布时间：2023-07-31 11:30:51 所属栏目：外闻来源：转载

导读： 　　不同的客户群体选择不同的话语方式会间接导致巨大成本差异，从而加深人工智能在英语使用者和其他非英語使用者之間的差距。最近的一项研究显示，由于 OpenAI 等服务器所采用的的服务器成

　　不同的客户群体选择不同的话语方式会间接导致巨大成本差异，从而加深人工智能在英语使用者和其他非英語使用者之間的差距。最近的一项研究显示，由于 OpenAI 等服务器所采用的的服务器成本衡量和计费的方式，英语输入和输出的费用要比其他语言低得多，其中简体中文的费用大约是英语的两倍，西班牙语是英语的 1.5 倍，而缅甸的掸语则是英语的 15 倍。

　　注意到，推特用户 Dylan Patel（@dlan522p）分享了一张照片，展示了牛津大学进行的一项研究，该研究发现，让一个 LLM 处理一句缅甸语句子需要 198 个词元（tokens），而同样的句子用英语写只需要 17 个词元。词元代表了通过 API（如 OpenAI 的 ChatGPT 或 Anthropic 的 Claude 2）访问 LLM 所需的计算力成本，这意味着缅甸语句子使用权使用这种翻译服务的成本比其他的英语句子使用权高出大约11 倍。

　　次元化模型（即人工智能公司将用户输入转换为计算成本的方式）意味着，除了英语之外的其他语言使用和训练模型要贵得多。这是因为像中文这样的语言有着不同、更复杂的结构（无论是从语法还是字符数量上），导致它们需要更高的词元化率。例如，根据 OpenAI 的 GPT3 分词器，“你的爱意（your affection）”的词元，在英语中只需要两个词元，但在简体中文中需要八个词元。尽管简体中文文本只有 4 个字符（你的爱意），而英文有 14 个字符。的爱意），而英文有14个字符。简体中文的字符大小是中文的两倍），但它仍然是一个复杂的问题。

（编辑：晋中站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!