IP 属地广东
王荣胜做不那么容易的事情更有成就感
他的动态
AttrPrompt：让LLM生成的数据更加多样、更少Bias的一种思路
引言让LLM生成数据不难，难的是生成高质量的数据。 什么叫高质量的数据？以下两点很重要： 多样，而不是千篇一律；bias较少，尽量不包含对某些群体的偏见。假设你要生成新闻标题，如果直接写简单的Prompt： 请生成一个有关体育的新闻标题，那么你大概率无法得到高质量的数据。以 智谱清言[1]为例，虽然chatglm能够生成篮球、足球、网球等多类赛事的标题（已经不错了），但仍有以下问题：结构和语气比较类似（多样性低）；主要是…
先说结论： 很强；8x22b应该是mixtral的微调版本，可以pk GPT4老版本，比肩Claude Opus；可能是史上最强的7B（未测）。来看指标： 在他们的测试中，7B的胜率可以超过Qwen1.5-14B-Chat，甚至上持平Qwen1.5-32B-Chat。这个效果不得不说很炸裂。 应该是目前开源模型里面，效果最强的版本？ 按照这个走势，开源模型将闭源模型彻底颠覆也不是没有可能。 感兴趣的朋友可以测一下该模型的7B版本，如果效果确实牛逼，那可能会在本地模型…