2024-09-11
企业AI：如何构建AI数据集
首先考虑企业已经拥有的、或者可以使用的、符合要求的数据和数据集。接下来，你需要决策点透明度，以及信号值来评估可用性、可行性和业务效果等因素，或者潜在表现与竞争对手相比的数据等。
2024-09-09
微软用AI Agent生成2500万对高质量数据，极大提升大模型性能！
为了解决训练数据短缺和质量差的难题，微软研究院发布了一个专门用于生成高质量合成数据的的AI Agent——Agent Instruct。
2024-09-02
商汤、清华、复旦等开源百亿级多模态数据集，可训练类GPT-4o模型
商汤科技等机构联合开源了百亿级图文交错数据集OmniCorpus，规模是现有数据集的15倍，包含86亿张图像和16,960亿个文本标记。OmniCorpus数据集在多语言、多类型数据抓取上进行了优化，提高了内容提取的质量...
2024-04-09
关于弱智吧数据封神的若干疑问和猜想，以及数据验证实验
弱智吧的数据真的这么厉害吗？持着好奇和怀疑的态度，我们仔细阅读了这篇论文，「弱智吧的数据碾压其他数据」这个结论有待深入讨论和探索。我们提出以下几个疑问：
2024-04-07
“弱智贴吧”的数据，居然是最强中文语料库
在大模型领域英语一直是训练数据最重要的语言，但由于中英文的结构和文化差异,直接将英文数据集翻译成中文并不理想。所以，为了填补高质量中文数据集的空白，研究人员开发出了COIG-CQIA数据集。
