1.【原神】各角色Pixiv涩统计(二) Python爬虫爬取Pixiv上各角色涩并统计.
2.收藏转发!原神原神、为啥只狼、露源战神4等80+游戏渲染效果技术实现研究合集!原神免费!为啥
3.玩原神私服犯法吗?露源远见指标源码
4.原神代码疑似遭恶意泄露!对中国游戏企业数据保密有哪些启发?
5.原神私服是原神什么?
【原神】各角色Pixiv涩统计(二) Python爬虫爬取Pixiv上各角色涩并统计.
统计结果详情请参阅前一篇文章。
已将代码开源至GitHub。为啥
诚然,露源此项目为我完成过的原神最具挑战性的爬虫任务,耗时两天半,为啥全无进展。露源
Pixiv的原神反爬机制使我不得不面对复杂的代码编写。
为了统计各角色的为啥涩图数量,我们需要在Pixiv搜索角色名称。露源对于爬虫而言,正确的链接应为:
Pixiv主要使用的语言包括简体中文、繁体中文、日文、英文和韩文。考虑到《原神》没有俄语版本,我们不统计俄语。
同时,应注意,搜索出的角色名称可能与《原神》无关,因此不能将其纳入统计。
综上,我们的统计逻辑如下:
使用的库包括:
首先,我们需要获取《原神》各角色名称,这可以从《原神》官网爬取。
在实际爬取过程中,网站的语言切换经常失败或自动根据IP地址跳转,甚至返回一半英语一半日文内容。因此,我手动保存了网站各语言的源代码。简体中文名称可直接在《原神》国内官网找到,与国际版类似,在线源码审计但注意,一定注意。
国内官网上刻晴和七七的顺序有误,需要在保存的源代码中调整。
之后,用正则表达式识别各角色的各语言名称,并对一些稻妻角色名称进行适当调整,以增加搜索内容。
注意,原神官网上没有荧和空,需进行特殊处理。
判断作品是否与特定《原神》角色相关的方法是:如果作品中出现其他《原神》角色名称、除本语言外的本角色名称,或包含特定元素(如列表中的元素),则认为其与该角色相关。
忽略大小写。
判断标签如下:
标签包括:原神、Genshin、Impact、米哈游、HoYoLAB、원신、HOYOVERSE、miHoYo、蒙德、璃月、须弥、稻妻、枫丹、纳塔、至冬、提瓦特、Mondstadt、Liyue、Inazuma、Sumeru、淘助手pro源码Fontaine、Natlan、Snezhnaya、爷、派蒙、Paimon、旅行者、履刑者、屑、森林书、兰纳罗、双子、愚人众、Traveller、Traveler、雷音权现、七星、水、火、岩、冰、风、雷、草、タル蛍、雷**、雷电真、雷**、黄金梦乡、深渊、Abyss、七圣召唤、Twins、崩坏、星穹铁道、爱莉希雅、chrome源码查看插件Elysia、女仆、旅人、Travel、公子、捷德、风花节、海灯节、纠缠、Wish、Pull、海祈岛、珊瑚宫、渊下宫、尘歌、萍姥姥、龙脊雪山、苍风高地、风啸山坡、明冠山地、坠星山谷、珉林、璃沙郊、云来海、碧水原、甜甜花、层岩巨渊、Status、天理、琪亚娜、食岩之罚、仙跳墙、佛跳墙、野菇鸡肉串、珊瑚宫、心海、图片变清晰源码Pyro、Cyro、Hydro、Nature、Anemo、Geo、Dendro、Electro、Swirl、原石、Primogem、Jade、God、Fate、Intertwined、纠缠之缘、Serenitea、Artifact、圣遗物、博士、doctor、同人。
随后,便是核心环节:爬取Pixiv。
由于Pixiv不接受未登录的爬虫,但我们可以巧妙绕过登录接口。我们通过复制登录后浏览器的cookie并写入header。
(关于使用多个cookie的原因,我将在后面解释)
有了cookie,我们在爬取tags时才能获取正常内容。请注意,内容并非直接在HTML页面中返回,而是需要通过请求另一个页面才能获得有意义的信息。特定链接用于生成请求,然后请求获取内容。
链接生成方式简单,通过字符串拼接。
之后,加载JSON数据,使用正则表达式筛选出有用信息。
注意,Pixiv的响应速度较慢,短时间内的请求量过大,会返回空内容,因此需要判断内容是否为空。同时,如果某个tag下面没有内容,返回的也是空值。此外,网络不稳定也可能导致收到空内容或不完整内容。
有时网络状况良好,Pixiv正确处理响应,但返回的内容不完整或与预期不符。
最后,爬取完所有内容后,将page加1,继续爬取下一页内容。Pixiv不会返回错误,而是返回空值。
还需注意,返回的内容可能包含重复信息,需要处理。
如需自写代码,上述问题都需要考虑。我的代码中已考虑并测试通过。
之前提到,Pixiv爬取速度慢,因此我们使用多线程。但多线程容易导致cookie失效,因此采用多个cookie,并设计算法决定使用哪个cookie。如果一次请求失败,该cookie的sleep time增加秒。更换cookie时,需睡眠对应cookie的睡眠时间。成功处理完6个角色(所有语言名称)后,将sleep time重置,避免退化为单cookie模式。
至于main.py运行后的结果可视化,这部分内容较长且主要涉及matplotlib绘图,如有问题可至评论区询问。
代码开源地址:
前一篇文章:
封面(AI):
荧 / Lumine
收藏转发!原神、只狼、战神4等+游戏渲染效果技术实现研究合集!免费!
本文旨在分享一系列关于游戏渲染效果技术实现的研究合集,涵盖包括《原神》、《只狼》、《战神4》在内的余款热门游戏。这些技术研究汇集于公众号GameDevLearning,提供了从游戏开发基础到高级技术的全面内容。文章每周更新,致力于为游戏开发者提供最新、最全面的干货资源,内容范围广泛,涉及语法基础、算法、设计模式、引擎使用、效果研究、图形渲染、物理动画、原理机制、源码剖析及新技术等。
感谢所有读者的支持与关注,感谢技术大佬们的无私贡献与分享。公众号自年9月日成立以来,已经积累了+篇文章,每一篇都是精心准备的游戏开发知识,旨在帮助开发者不断成长与进步。公众号致力于分享真干货,无论是关于Unity3D游戏开发中+效果的实现和源码大全,还是其他相关技术文章,都受到了广泛的阅读、转发与收藏。
整合发布这类合集性质的文章,不仅能系统地整理知识,还能为开发者提供一站式的学习资源。通过收集和整理,我们能够更好地满足开发者对于特定技术领域的深入研究需求。未来,我们将根据反馈和建议,持续更新和整合更多热门类型的文章,例如渲染效果、物理动画等,以满足不同开发者的需求。
为了方便查找,所有相关文章已被归类到“游戏分析和效果实现”合集标签下。无论是最新的还是最全的内容,都可以在合集中找到。感谢大家的持续关注与支持,如果你觉得这种合集形式的文章对你有帮助,请记得收藏与转发,同时也欢迎提出任何类型的合集需求,我们会尽力满足。
玩原神私服犯法吗?
开游戏私服是犯违法行为。私服是未经版权拥有者授权,所以侵犯了著作权,而著作权就是经常说的“版权”非法获得服务器端安装程序之后设立的网络服务器,本质上属于网络盗版,而盗版的结果是直接分流了运营商的利润。著作权过去称为版权,也就是复制权。此乃因过去印刷术的不普及,当时社会认为附随于著作物最重要之权利莫过于将之印刷出版之权,故有此称呼。不过随着时代演进及科技的进步,著作的种类逐渐增加,所以无论怎样,开游戏私服必然是违法行为。
扩展资料:
原神代码疑似遭恶意泄露!对中国游戏企业数据保密有哪些启发?
原神代码疑似遭恶意泄露!对中国游戏企业数据保密有哪些启发首先是涉及到公司的核心利益的问题不要随便让员工知道,其次就是应该建立多层的监督制度来更好的管控整体的效果,再者就是应该建立一个互相举报的制度来更好的降低整体的数据泄露的风险,另外就是应该将一些重要的代码进行多层的加密才可以防止这些数据被破解,需要从以下四方面来阐述分析原神代码疑似遭恶意泄露!对中国游戏企业数据保密有哪些启发。一、涉及到公司的核心利益的问题不要随便让员工知道
首先就是涉及到公司的核心利益的问题不要随便让员工知道 ,对于公司的一些核心利益而言公司的负责人或者高层管理者应该严格保密,并且不要让中低层的员工得知这些信息。
二、应该建立多层的监督制度来更好的管控整体的效果
其次就是应该建立多层的监督制度来更好的管控整体的效果 ,之所以应该建立更多层次的监督制度主要就是为了提升整体的发展质量,并且可以更好的对公司的一些重要数据进行保护。
三、应该建立一个互相举报的制度来更好的降低整体的数据泄露的风险
再者就是应该建立一个互相举报的制度来更好的降低整体的数据泄露的风险 ,对于员工而言之所以应该建立互相举报的制度主要就是为了更好让他们遵守公司的一些规章制度。
四、应该将一些重要的代码进行多层的加密才可以防止这些数据被破解
另外就是应该将一些重要的代码进行多层的加密才可以防止这些数据被破解 ,对于公司而言之所以需要将这些代码层层加密主要就是为了更好的保护公司的长期发展利益。
中国游戏公司应该做到的注意事项:
应该加强多渠道的合作。
原神私服是什么?
原神私服是指未经官方授权,私自制作、修改或使用原神游戏源代码和资源所创建的服务器。这些服务器通常是非法的,因为它们可能包含违反游戏规则的内容,并且不会提供官方的游戏体验。 私服的存在可能会导致游戏的不公平性,因为玩家在私服中可能会获得更多的资源和权限,这会对其他玩家的游戏体验产生影响。此外,由于缺乏官方的监管和维护,私服还可能存在安全漏洞和病毒攻击等问题,给玩家的账号和隐私带来风险。 因此,我们应该避免使用和参与私服游戏,遵守游戏的规则和法律法规,以确保自己的合法权益得到保护。