近期工作中发现，部分互联网平台监管缺失，一些机构和个人操纵自媒体账号吸粉引流牟利，大量使用AI人工智能软件批量生产谣言信息和低质信息，行业乱想突出，严重扰乱网上舆论秩序。针对该情况，我单位进行了以下调研分析：
一、目前境内外使用的主流AI软件情况：
（一）目前国内公布的AI个大模型共有188个， 涉及48个领域，包括通用、工业、医学、教育、金融、法律、媒体、代码、科研、营销和客服等。
其中主流的通用大模型有百度的文心一言，科大讯飞的星火，商汤科技的日日新，中科院的紫东·太初，阿里的通义千问，腾讯的浑元等。
（二）目前国外公布的主要AI大模型有有18个，其中包括OpenAI的ChatGPT、微软的Bing Chat ，Google的PaLM2、Bard、GeminiBard，Anthropic的Claude、Claude 2，Meta的LLaMA,LLaMA-2, CodeLLaMA等。
（三）生成式AI是一种利用深度学习模型来自动创建文本、图像、音频、视频等内容的技术。它可以根据用户的输入或提示来生成新的或修改的内容，具有很强的创造力和灵活性。生成式AI的应用领域非常广泛，包括教育、娱乐、营销、新闻、艺术、设计等。
目前，境内外使用的主流生成式AI软件有以下几种：
1、文本生成：
（1）OpenAI 的 ChatGPT：这是一个基于 GPT-3.5 的开源聊天机器人，它能够与用户进行自然语言对话交流。
（2）百度的 Ernie 3.0 Titan：这是一个有 260B 个参数的自然语言理解和生成模型，它在海量非结构化数据上进行了训练，并在机器阅读理解、文本分类和语义相似性等 60 多项 NLP 任务中取得了一流的成绩。
（3）Google 的 LaMDA：这是一系列专门用于对话的基于 Transformer 的模型。这些模型拥有多达 1370 亿个参数，并使用 1.56 万亿个公开对话数据进行训练。LaMDA 可以在各种话题上进行自由流畅的对话。
（4）Deepmind 的 Gopher：这是一个拥有 2800 亿个参数可供调整的大型语言模型，在回答关于科学、人文等专业主题的问题等任务上比现有的大型语言模型更准确。
2、图像生成：这类软件可以根据用户的输入或提示来生成各种类型的图像，如人脸、风景、动物、漫画、lg等。一些知名的图像生成软件有：
（1）DALL-E2：这是来自OpenAI的生成模型，可以生成各种奇特的图像，例如“一只戴着贝雷帽、穿黑色高领毛衣的柴犬”。
（2）BigGAN-deep：这是一种基于GAN的图像生成模型，可以生成高分辨率的逼真图像，例如自然风景、动物、人物等。
（3）StyleGAN2：这是一种基于GAN的图像生成模型，可以生成高分辨率的逼真图像，例如人脸、动物、风景等。
（4）文心一言：这是一个基于深度学习的中文文本生成平台，除了可以生成各种类型的文本外，还可以根据文本生成相应的图像，如“一只蓝色的狮子”、“一幅描绘春天的画”等。
3、音频生成：这类软件可以根据用户的输入或提示来生成各种类型的音频，如语音、音乐、声音效果等。一些知名的音频生成软件有：
（2）Google 的 Tacotron ：这是一种基于深度学习的语音合成模型，可以将文本转换为自然语音，具有高保真度和可定制性2。
（3）Baidu 的 Deep Voice：这是一种基于深度学习的语音合成模型，可以生成高质量的语音，具有较高的自然度和可定制性。
4视频生成：这类软件可以根据用户的输入或提示来生成各种类型的视频，如动画、影视、广告、教学等。一些知名的视频生成软件有：
（1）OpenAI的DALL-E Mini：这是一个基于DALL-E的视频生成模型，可以根据用户输入的文本描述来生成动态或静态的视频，如“一个会说话的狗”、“一个在下雪的沙漠”等。
（2）阿里云的 I2VGen-XL：这是一种基于 Transformer 的视频生成模型，可以在 2 分钟内生成高清电影级效果视频，支持多种风格的视频数据，例如科技感、电影色、卡通风格和素描等类型。
（3）清华大学的 WuDao 2.0：这是目前世界上最大的多模态预训练模型之一，拥有 1900 亿个参数，可以实现文本、图像、音频等多种内容的生成。
（4）腾讯 AI Lab 的艾灵虚拟人项目：这是一种高度逼真和智能化的虚拟人形象和交互生成模型，可以实现多种语言的语音合成和对话交流。
二、国内外相关监管措施：
目前境内外使用的主流AI软件都受到了相关国家监管部门的监督和规范。
（一）在中国，《中华人民共和国网络安全法》《中华人民共和国反反垄断法》《中华人民共和国消费者权益保护法》等法律法规对网络平台、网络服务、网络内容、网络数据等进行了明确规定，并设立了相应的监管机构、监管措施、监管责任等，同时为了应对生成式AI，国家互联网信息办公室还起草了《生成式人工智能服务管理暂行办法（征求意见稿）》，明确了生成式人工智能的定义，以及相关产品和服务提供者的合规义务，对生成式人工智能进行专项监管。该办法要求提供者在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，采取有效措施防止产生歧视、侵权、虚假有害等内容，对生成内容进行显著标识，建立投诉、举报机制，对违法内容和行为及时采取处置措施，并向有关主管部门报告。此外，提供具有舆论属性或者社会动员能力的生成式人工智能服务的，还应当按照国家有关规定开展安全评估，并履行算法备案和变更、注销备案手续。
（二）在美国，《算法审查法案》《社交交媒体算法责任法案》《数字货币与支付系统稳定性法案》等法律法规对算法设计、算法运行、算法结果等进行了明确规定，并设立了相应的监管机构、监管措施、监管责任等。不过美国目前没有针对人工智能的统一法规，但有一些针对特定领域或应用的法案或指导原则，例如美国FDA对医疗AI的监管，美国商业软件联盟对人工智能使用的规则建议等。美国主要是通过鼓励技术创新、推进AI能力建设的方式来发展人工智能产业。
（三）在欧盟，《通用数据保护条例》《数字服务条例》《数字市场条例》等法律法规对个人数据、数字服务、数字市场等进行了明确规定，并设立了相应的监管机构、监管措施。同时，欧盟委员会也提出了《人工智能法案》，该法案将人工智能系统按照风险分类成为不可接受风险、高风险、低风险或最低风险，依照不同AI使用情况给出不同的规范措施。该法案重点确保人工智能系统由人监督，安全、透明、可追溯、非歧视和环保。对于违反法案规定的行为，将处以最高4000万欧元或侵权公司上一年度全球年营业额的7%的罚款。
三、生成式AI案例以及侦破情况：
（一）甘肃首例AI虚假信息案，男子用ChatGPT编假新闻牟利
4月25日，平凉市公安局崆峒分局网安大队在日常网络巡查中发现，某百度账号出现一篇标题为“今晨甘肃一火车撞上修路工人 致9人死亡”的文章，初步判断为信息虚假不实。
网安民警随即开展工作，发现共计21个百度账号均在同一时间段发布该文章，文章内容地点除平凉市崆峒区外还涉及兰州、陇南、定西、庆阳等地，文章点击量已达1.5万余次。
经查，涉案百度账号均为广东深圳某自媒体公司所有，公司法人代表洪某弟有重大作案嫌疑。5月5日，专案民警在广东东莞嫌疑人住处对其使用的电脑及百家号进行取证。
经审讯，犯罪嫌疑人洪某弟通过微信好友获知网络赚取流量变现方法，并购买大量“百家号”。同时使用“易撰”网页版，在全网搜索近几年社会热点新闻，为规避百家号查重功能，洪某弟通过近期火爆的ChatGPT人工智能软件将搜集到的新闻要素修改编辑后，使用“海豹科技”软件上传至其购买的百家号上非法获利。
（二）浙江绍兴警方成功侦破“利用生成式人工智能造谣”
2023年6月，绍兴上虞区警方发现有网民发布了关于上虞工业园区发生火灾的视频，浏览量在短时间内迅速上升。视频中，上虞区一工业园区内火势猛烈，整个园区被浓烟覆盖，现场不时传出爆炸声，场面惊心动魄。
民警核查发现，视频中的建筑、森林大火场景，并非该工业园真实场景，并且疑似源自其它视频。经分析，民警判断该视频是利用人工智能合成技术，将网络上多段不同视频剪辑拼接而成。警方经侦查，认定某网络科技公司员工有较大作案嫌疑，立刻赴该公司所在地抓获包括汤某在内的3名犯罪嫌疑人。
“犯罪嫌疑人首先在网上搜集热门话题，通过生成式人工智能服务自动生成脚本，在网上抓取相关视频片段，然后利用AI软件合成完整视频，配上音乐、字幕。不到一分钟，一段虚假视频便‘新鲜出炉’。”上虞区分局民警沈林丰介绍，为获得流量、博人眼球，自今年5月以来，该团伙不断利用AI技术制作虚假视频、散布谣言，在网上发布未经核实的虚假视频达3000多个。
（三）“AI换脸”通话十几秒，济南小伙被骗30余万
2023年5月，黄某某(化名)在家刷短视频时收到了一条私信，对方自称是黄某某的表哥，寒暄几句取得黄某某初步信任后，对方又让黄某某添加了其QQ号，黄某某的表哥由于在体制内工作，因此对方以自己身份不便为由，希望黄某某帮自己给一个需要资金周转的朋友，转一笔大额资金。
为了表示诚意，“表哥”索要了黄某某的银行卡号，并称先让朋友给黄某某转款后，再让黄某某转出。很快，黄某某就收到了对方发来的“转账凭证”，虽然看到了“转账凭证”，但黄某某并没有收到这笔转款，因此没有立即帮“表哥”转账。
黄某某随后与“表哥”进行了视频通话，黄某某见到视频中的人和表哥一模一样，不过对方声音比较低，大约十几秒后，对方称有会议便挂断了视频通话。
黄某某确信了对方身份后，于是向对方提供的银行账户转了30余万元。收到这笔钱后，对方还继续催促黄某某转出剩余的欠款。就在黄某某继续筹集资金的过程中，黄某某发现起初添加自己的短视频账号已经显示被封禁，他急忙给表哥打去电话核实，才知道其表哥对此事毫不知情。意识到受骗的黄某某立即报警。
警方根据嫌疑人与黄某某网聊时的IP地址，判定该团伙在境外实施诈骗，由国内销赃洗钱，是一起采用AI技术换脸、冒充受害者熟人进行点对点网络诈骗的案件。商河警方通过技术手段侦查，两次前往广东东莞，抓获犯罪嫌疑人7人。
四、有关管理漏洞和突出问题。
（一）生成式AI软件的获取和使用门槛较低，是指这类软件的开发和应用不需要太高的专业知识和技能，而且有很多免费或低价的平台和工具可以供用户使用。例如，一些常见的生成式AI软件，如文心一言、AI画作、DALL-E等，它们都可以根据用户的输入或提示来生成各种类型的文本、图像、音频、视频等内容。这些软件的使用方法通常很简单，只需要输入一些文字或选择一些选项，就可以得到想要的结果。
然而，这种获取和使用门槛的降低，也给一些不法分子提供了利用AI技术来编造或篡改内容的机会，以此来吸引流量、牟取利益或达到其他恶意目的。例如，一些不法分子可以利用AI技术来生成虚假的新闻、评论、证据、证件、证明等，来误导或欺骗公众，造成社会的混乱和危害。一些不法分子也可以利用AI技术来生成色情、暴力、侮辱性的内容，来侵犯他人的权益，或者散播仇恨、歧视、暴力的思想。一些不法分子还可以利用AI技术来生成高仿的内容，来抄袭或盗用他人的创作，或者进行商业竞争或诽谤。
（二）生成式AI软件的输出内容往往具有一定的逼真度和可信度，是指这类软件能够生成与真实内容相似或难以区分的内容，如文本、图像、音频、视频等。这些内容可能看起来或听起来像是由人类创作的，而不是由机器生成的。这是因为生成式AI软件在大量的数据上进行了训练，学习了人类语言、知识、风格和逻辑等方面的规律，并利用这些规律来生成新的内容。
然而，这种逼真度和可信度的输出内容也容易误导或欺骗不明真相的网民，造成恶劣的社会影响。一些不法分子可以利用生成式AI软件来编造或篡改内容，发布虚假或有害的信息，影响公众的认知和判断。特别是一些涉及灾害、事故、犯罪、性别、地域等敏感话题的谣言，可能引发公众的恐慌、愤怒、对立等负面情绪。
（三）生成式AI软件的输出内容的版权和责任归属不清晰，是指这类软件生成的内容与真实内容相似或难以区分，而且现有的法律体系没有对此做出明确的规定和保护，导致一些不法分子可以利用AI技术来侵犯他人的肖像权、名誉权、隐私权等合法权益，或者利用AI技术来伪造他人的身份、言论、行为等，造成他人的损失或伤害。
2023年8月北京互联网法院依法公开审理了一起AI文生图著作权案，该案庭审过程由中央广播电视总台新闻中心进行全媒体直播，引发了数十万网友的关注。据称，该案件或是国内首件公开审理的关于AI文生图版权纠纷的案件。据庭审公开内容，在这起案件中，原告李某某利用Stable diffusion人工智能大模型，通过输入提示词的方式，生成了一张人物图片，后将该图片以“春风送来了温柔”为名发布在某网络平台。被告刘某某在个人账号上使用该图片作为文章配图发布。李某某以侵害作品署名权和信息网络传播权为由将刘某某起诉到北京互联网法院。
（四）生成式AI软件的监管和规范缺乏统一的标准和规范，是指这类软件的开发和应用没有一个全球性或者区域性的共同遵循的法律框架和技术规范，导致不同国家和地区的法律法规和监管措施存在差异和冲突，给生成式AI软件的跨境流通和合规使用带来困难和风险。
一些不法分子可以利用AI技术来跨越国家和地区的法律界限，或者利用AI技术来逃避或抵制法律的制裁，是指这类软件可以生成具有高度逼真度和可信度的内容，如文本、图像、音频、视频等，从而实施跨国或者跨境的诈骗、欺诈、侵权、犯罪等活动，或者利用生成内容来误导、欺骗、威胁、诽谤、诋毁等，对他人或者组织造成损害或者伤害。
目前即使对我国的生成式AI进行严格控制，但是要从国内获得国外的生成式AI并并利用其进行非法活动也是非常容易的，只针对国内AI进行严格管控的结果只能是使国内的AI大数据模型更难发展，如何发展与治理并存是关键。
五、有关打击、治理意见和建议
（一）加强法律法规的制定和完善，明确生成式AI软件的使用范围、责任主体、行为规范、监管措施、法律责任等，对违法违规的行为进行有效的惩罚和制裁。
（二）加强技术创新和应用，利用人工智能、大数据、区块链等技术，提高生成内容的真实性和可靠性，对生成内容进行标识和水印处理，防止被滥用或篡改。
（三）加强平台自律和监管，建立健全生成式AI软件的安全评估和算法备案机制，对生成内容进行有效的审核和过滤，及时处置违法违规的内容，建立投诉举报机制，接受社会监督。
（四）加强公众教育和引导，提高公众的网络素养和信息鉴别能力，培养正确的网络价值观和道德观，增强网络安全意识和责任意识，自觉抵制和抗拒虚假有害信息。
