AI正在创造对训练数据的爆炸性需求
2020年,训练最先进的GPT-3的成本为460万美元。根据我们的模型,到2030年,训练一个比GPT-3多57倍参数和720倍符号的AI模型的成本将从今天的170亿美元下降到60万美元。
举例来说,维基百科的42亿单词大约代表56亿个符号。到2030年,训练一个包含162万亿单词或216万亿符号的模型应该是可能的。在一个低成本计算的世界里,数据将成为主要的约束。
目前的GPT-3能力与2030年的预计能力
预计能力
Sources: ARKInvestmentManagement LLC, 2023.. Wikipedia 2023; Hoffmann, J. etal. 2022. Forecasts are inherently limited andcannotbe relied upon. For informational purposes onlyandshouldnotbeconsideredinvestmentadvice ora recommendation to buy, sell, or hold any particular security. Past performance is not indicative of future results.
来源:ARK投资管理有限责任公司,2023..维基百科2023;Hoffmann, J.等,2022。预测能力本身是有限的,不能依赖。仅供参考,不应被视为投资建议或购买、出售或持有任何特定证券的建议。过去的表现并不代表将来的结果。
专有数据可以创建护城河
高质量的特定领域人工智能训练数据可能会在垂直应用中导致赢家通吃的结果。
训练模型
自动驾驶
相关文章
猜你喜欢