更准更快的微博 Spammer 水军账号检测模型，支持 API 调用
共 2042字，需浏览 5分钟
·
2023-10-23 23:47
欢迎关注公众号「月小水长」，唯一笔者是 BuyiXiao，又名小布衣、肖不已。
BuyiXiao，何许人也？本衡州一乡野村夫，身高八尺不足，年方二十有余；弱冠之年曾求学于潭州，为谋生计，背井离乡，远赴京畿，我本南人，不习北土，兼有故友，威逼利诱，急于星火，遂下岭南，打工未半，中道创业，所为何业？赛博朋克，智能硬件；假工程师之名，行农民工之实，满腹经纶，无用书生，善于自黑，贻笑大方。
笔者水平有限，可能暂时无法将非常干货的教程讲的不拖泥带水又不哗众取宠，公众号文章诸多遗漏或不妥之处，可以加月小水长微信「2391527690」备注「学校专业/研究方向/工作岗位」进行交流。
另外，文末点下「赞」和「在看」，这样每次新文章推送，就会第一时间出现在你的订阅号列表里。
去年底分享过一个工作：微博水军账号 spammer 检测模型上线
当时耗费数周，手动标注了数 K 条微博账号数据集，正负样本 1:1，构建识别模型，准确度在 85% 左右。
只要输入一个微博用户的 uid，就能自动抓取账号信息并且进行 spammer 属性判别。
近来得空，升级了下模型，主要是对数据集进行了再次标注，尽可能保证训练数据的噪声尽可能低。
同时新加了一些识别特征，比如同时抓取账号发布过的微博文本信息，账号的多（3）层深度关系网络等等，精确度上升到了 95% 左右。
但是这带来了一个新问题，由于新加的判别特征抓取特别耗时，一个账号的判别耗时指数上升。
原来是秒级，到 95% 左右的精度，抓取一个账号的所有特征耗时来到了百秒级；
这种速度是显然难以接受的，于是我做了一个折中的处理，微博文本信息只抓第一页的微博，深度关系网络只抓第一层，且限制 10 个节点。
这样一来，虽然精度有所下降，来到了 88% 左右，但是识别速度大大提升，耗时仅在数秒左右。
以下是最终模型的一次训练过程中的 ACC、Loss 和 F1 曲线。
新版模型在线地址如下：
https://weibo-crawl-visual.buyixiao.xyz/weibo-spammer-evaluator
同时新增了 API 接口调用，接口地址是：
https://api.buyixiao.xyz/weibo/spammer-account-evaluate
使用 Python 调用该接口的 demo 代码如下：
test_token = "在此处填入在模型在线地址申请的 token"
def test_spammer_evaluate(user_id):
resp = requests.get(url=f'https://api.buyixiao.xyz/weibo/spammer-account-evaluate', params={
'user_id': user_id,
'token': test_token
})
print(resp.url)
print(resp.json())
test_spammer_evaluate(user_id="2557129567")
接口限速 1 request/per second，超速会返回 429 错误，其他参数错误会在返回结果中提示，一次成功的响应如下：
{
"code": 0,
"data": {
"confidenceLevel": 1,
"isSpammer": false
},
"msg": "suc"
}
isSpammer 取值 True or False，表示是否是机器人水军账号，confidenceLevel 可信度介于 0-1 之间。
点击阅读原文直达新版模型地址~