突然想到能否通过深度学习来进行相似 url 去重

我知道肯定是能的

只是突然想到对

http://xxxxxx.com/test/2333.php?id=1&xxxx=xxx&aaaa=123
http://xxxxxx.com/test/2333.php?id=1&xxxx=xxx&aaaa=233
http://xxxxxx.com/test/2333.php?id=1&xxxx=xxx&aaaa=333
http://xxxxxx.com/test/2333.php?id=1&yyyy=xxx&aaaa=233

类似这样的 url 进行去重

http://xxxxxx.com/test/2333.php?id=1&xxxx=xxx&aaaa=123
http://xxxxxx.com/test/2333.php?id=1&yyyy=xxx&aaaa=233

因为如果是爬虫检测漏洞的话以上 url 测试一个或者几个就可以了，没必要把整个网站所有这些参数的 url 的都测试一遍

用正则匹配或者其他方式实现感觉比较麻烦，而且效果不满意，可能有效果好的人家也不告诉你算法

只是突然又此想法，所以，有大神类似代码做参考吗 =.=|||

之前看到有 waf 用机器学习来识别恶意 url 的思路