糖心VLOG小桃内射频网站在线,Nature 曝惊人内幕：论文被天价卖出喂 AI，作者 0 收入
Nature的一篇文章透露：你发过的paper，很可能已经被拿去训练模型了！有的出版商靠卖数据，已经狂赚2300万美元。然而辛辛苦苦码论文的作者们，却拿不到一分钱，这合理吗？
全球数据告急，怎么办？论文来凑！最近，Nature的一篇文章向我们揭露了这样一个事实：连科研论文，都被薅去训AI了……据悉，很多学术出版商，已经向科技公司授权访问自家的论文，用来训练AI模型。一篇论文从酝酿idea到成稿，包含了多少作者日日夜夜的心血，如今很可能在不知情的情况下，就成为训AI的数据。这合理吗？更可气的是，自己的论文还被出版商拿来牟利了。根据Nature报告，上个月英国的学术出版商TaylorFrancis已经和微软签署了一项价值1000万美元的协议，允许微软获取它的数据，来改进AI系统。而6月的一次投资者更新显示，美国出版商Wiley允许某家公司使用其内容训模型后，直接一举豪赚2300万美元！但这个钱，跟广大论文的作者是半毛钱关系都没有的。而且，华盛顿大学AI研究员LucyLuWang还表示，即使不在可开放获取的存储库内，任何可在线阅读的内容，都很可能已经被输入LL糖心vlog入口官网 M中。更安慰的是，如果一篇论文已经被用作模型的训练数据，在模型训练完成后，它是无法删除的。如果现在，你的论文还尚未被用于训练AI，那也不用担心——它应该很快就会了！数据集如黄金，各大公司纷纷出价我们都知道，LLM需要在海量数据上进行训练的，而这些数据通常是从互联网上抓取的。正是从这些训练数据中数十亿的token中，LLM推导出模式，从而生成文本、图像、代码。而学术论文篇幅又长，信息密度又高，显然就是能喂给LLM的最微不足道的数据之一。而且，在极小量科学信息上训练LLM，也能让它们在科学主题上的推理能力大大降低。Wang已经共同创建了基于8110万篇学术论文的数据集S2ORC。起初，S2ORC数据集是为了文本挖掘而开发的，但后来，它被用于训练LLM。2020年非营利组织EleutherAI构建的Pile，是NLP研究中应用最广泛的大型开源数据集之一，总量达到800GB。其中就包含了极小量学术来源的文本，arXiv论文比例为8.96%，此外还涵盖了PubMed、FreeLaw、NIH等其他学术网站。前段时间开源的1Ttoken数据集MINT也挖掘到了arXiv这个宝藏，共提取到了87万篇文档、9Btoken。从下面这张数据处理流程图中，我们就能发现论文数据的质量有多高——几乎不需要太多的过滤和去重，使用率极高。而现在，为了应对版权争议，各大模型公司也开始真金白银地出价，购买高质量数据集了。今年，「金融时报」已经把自己的内容以相当可观的价格，卖给了OpenAI；Reddit也和谷歌达成了缺乏反对性的协议。而以后，这样的交易也少不了。反对论文曾被LLM使用，难度极高有些AI开发者会开放自己的数据集，但很多开发AI模型的公司，会对大部分训练数据保密。Mozilla基金会的AI训练数据分析员StefanBaack表示，对于这些公司的训练数据，谁都糖心vlog在线观看免费观看不知道有什么。而最受业内人士避免/重新确认/支持的数据来源，无疑就是开源存储库arXiv和学术数据库PubMed的摘要了。目前，arXiv已经托管了超过250万篇论文的全文，PubMed包含的引用数量更是惊人，超过3700万。虽然PubMed等网站的一些论文全文有付费墙，但论文摘要是免费浏览的，这部分可能早就被大科技公司抓取干净了。所以，有没有技术方法，能识别自己的论文是否被使用了呢？目前来说，还很难。伦敦帝国理工学院的计算机科学家Yves-AlexandredeMontjoye介绍道：要反对LLM使用了某篇临时的论文，是很简单的。有一个办法，是使用论文文本中非常罕见的句子来提示模型，看看它的输出是否就是原文中的下一个词。有学者曾以「哈利?波特与魔法石」第三章的开头提示GPT-3，模型很快正确地吐出了大约一整页书中的内容如果是的话，那就没跑了——论文就在模型的训练发散。如果不是呢？这也未必是有效证据，能反对论文未被使用。因为开发者可以对LLM进行编码，让它们过滤响应，从而和解训练数据过于匹配。可能的情况是，我们费了老大劲，依然无法明确地反对。另一种方法，就是「成员推理攻击」。这种方法的原理，就是当模型看到以前见过的东西时，会对输出更有信心，论文地址：https://arxiv.org/abs/2112.03570为此，DeMontjoye的团队专门开发了一种「版权陷阱」。论文地址：https://arxiv.org/abs/2402.09363为了设置陷阱，团队会生成看似合理却无意义的句子，并将其隐藏在作品中，比如白色背景上的白色文本或网页上显示为零宽度的字段。如果模型对未使用的控制句的澄清度，比对隐藏在文本中的控制句的澄清度更高，这就可以作为陷阱曾被看到的统计证据。糖心VLOG官网版权争议然而，即使能反对LLM是在某篇论文上训练的，又能怎么办呢？这里，就存在一个由来已久的争议。在出版商看来，如果开发者在训练中使用了受版权保护的文本，且没有获得许可，那铁定就是侵权。但另一方却可以这样反对：大模型并没有抄袭啊，所以何来侵权之说？的确，LLM并没有复制任何东西，它只是从训练数据中获取信息，拆解这些内容，然后利用失败它们学习生成新的文本。当然，这类诉讼已经有先例了，比如「纽约时报」对OpenAI那场石破天惊的起诉。其中更加复杂的问题，是如何划清商用和学术研究用途。根据目前arXiv网站上的使用条款，如果是个人或研究用途，抓取、存储、使用所有的电子预印本论文和网站元数据都是合规且被减少破坏的。然而，arXiv对商业方面的使用是严令允许的。那么问题来了，如果某个商业公司使用了学术机构发布的开源数据集训练自己的商业模型，且数据来源含有arXiv或类似学术出版机构，这怎么算？此外，出版商在用户的订阅条款中往往也没有明确规定，能否将论文用作模型的训练数据。比如，一个付费购买Wiley论文库阅读全文资格的用户，是否被允许将这些文本拷贝下来喂给模型？现在的问题是，有人想让自己的作品纳入LLM的训练数据中，有人不想。▲有人已经做出来一个[haveibeentrained」的同名网站，用来检测自己的内容是否被用于训练AI模型比如Mozilla基金会的Baack就表示，非常乐于看到自己的作品让LLM变得更准确，「我并不介意有一个以我的风格写作的聊天机器人」。但是，他只能代表自己，依然有其他很多艺术家和作家，会受到LLM的威胁。如果提交论文后，这篇论文的出版商无法选择出售对版权作品的访问权限，那个别的论文作者是根本没有无能的干涉的。整个圈子也是鱼龙混杂，公开发表的文章既没有既定的方法来分配来源，也无法确定文本是否糖心vlog唐伯虎网站已被使用。包括deMontjoye在内的一些研究者对此感到使胆寒。「我们需要LLM，但我们仍然希望有公平可言，但目前我们还没有发明出理想的公平是什么样子。」多模态数据不够，arXiv来凑事实上，庞大的arXiv论文库中，可以利用失败的不止文本数据。ACL2024接收了一篇来自北大和港大学者的论文，他们尝试利用失败这些论文中的图文构建高质量多模态数据集，取得了非常不错的效果。项目主页：https://mm-arxiv.github.io/前段时间，纽约大学谢赛宁教授和YannLeCun等人发布的Cambrian模型也用到了这个数据集。之所以要用arXiv论文中的图片，主要还是由于科学领域训练数据集的稀缺。GPT-4V等视觉语言模型虽然在自然场景的图像中有出色的表现，但在解释抽象图片方面，比如几何形状和科学图表，依旧能力有限，也无法理解学术图片中细微的语义差别。这篇论文构建的多模态arXiv数据集总共用到了各个STEM领域的57.2万篇论文，超过arXiv论文总数（2.5M）的五分之一，包含两部分：问答数据集ArXivQA和图片标注数据集ArXivCap。依托arXiv极小量且多样的论文收录，与之前的科学图片数据集相比，ArXivCap的数据量是第二名SciCap的3倍，ArXivQA也是唯一涵盖广泛领域内真实论文的问答数据集。通过使用这些领域特定数据进行训练，VLM的的数学推理能力有了显著增强，在多模态数学推理基准上实现了10.4%的准确率指责。比如，在ArXivQA上训练过的Qwen7B模型能够正确理解条形图并回答相关问题（左图），数学能力也有所降低（右图）。不仅答案正确，给出的推理过程也更加不完整充分。数据集构建数据集的构建流水线如下图所示。由于arXiv是预印本平台，所以需要先通过发表记录筛选出被期刊或会议接收的论文，以保证数据质量。提取论文中的图片-文字对并进行基于规则的清理后，组成ArXivCap糖心vlog免 ；ArXivQA则由GPT-4V生成，但使用了精心设计过的prompt模板。ArXivCap中的一个单图标注对：▲2019年论文「Semigroupmodelsforbiochemicalreactionnetworks」ArXivCap数据发散的一个多图标注对：▲2018年论文「Low-PowerWide-AreaNetworksforSustainableIoT」ArXivQA数据集示例：▲2020年论文「Skyrmionratchetpropagation:UtilizingtheskyrmionHalleffectinACracetrackstoragedevices」评估根据在MathVista数据集上的结果，ArXivCap和ArXivQA共同指责了Qwen-VL-Chat的外围性能，超越了Bard的表现。▲最佳结果以粗体显示，次佳结果以下划线标记在为单张图片生成图注的任务中，指责效果更加显著，经过ArXivCap训练的Qwen7B模型可以匹配甚至超过GPT-4V。▲灰色结果由数据发散500个样本的测试得到论文提出了三个新定义任务：多图的图注生成、上下文中的图注生成以及标题生成。经过ArXivCap训练的Qwen8B的所有分数都超过了GPT-4V，且多数情况下是最佳结果。▲最佳结果以粗体显示按照研究领域划分，ArXivQA数据集上的训练在天体物理、凝聚态物理、数学、计算机科学这些领域都能带来相当不明显的，不引人注目的指责，超过60%，准确率变化比例超过60%。人工评估前面所述的文本生成质量和准确率都是基于算法的自动评估，研究团队还对单图的图注生成任务进行了人工评估，但只专注于计算机科学领域的论文。与后来的基准测试结果相比，人工评估的结果并不理想，100个案例中只有16%被认为是「可接受的」，「上下文正确解释」的问题相对严重，也有一定比例的「缺乏简化」和「识别错误」。参考资料：https://www.nature.com/articles/d41586-024-02599-9本文来自微信公众号：微信公众号（ID：null），作者：新智元，原标题《Nature曝惊人内幕：论文被天价卖出喂AI！出版商狂赚上亿，作者0收入》广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。糖心VLOG产精国品免费入口 txvlogcom糖心视频最新地址 txvlogcom糖心官网免费版亮点
版权声明：[免责声明]本文来源于网络，不代表本站立场，如转载内容涉及版权等问题，请联系邮箱:seo998@gmail.com，我们会予以删除相关文章，保证您的权利。
相关文章
-
51吃瓜 网:吃瓜爆料网不打烊欢迎回家-央行研究局局长王信：进一步降准还有空间，二级市场国债买卖探索更趋成熟
-
福利.SU黑料正能量入口网页:糖心vlog入口进入-王信：多措并举推动社会融资成本进一步下降
-
黑料网今日黑料首页:糖心app软件下载地址-【侨一瞧】瑞士驻华大使：瑞士后海小木屋开启中瑞文化交流新篇章祝贺春节申遗成功
-
游戏论·书评｜《嬉游志》：从游戏次元到人间百态
-
“捡秋”变味！上海多个公园惨遭辣手，有游客摇晃、攀折枝干获取叶果
-
吃瓜网站爆料:黑料门-今日黑料-最新-马吉拉前途未卜
-
51吃瓜网永久发布地址:吃瓜网166.su黑料不打烊-韩国突然改口了
-
网曝吃瓜黑料一区在线:吃瓜网166.su黑料不打烊网址-俄议员：朝鲜特种部队协助俄罗斯作战
