请选择 进入手机版 | 继续访问电脑版
查看: 149|回复: 1

AntColony 磁力搜索引擎的核心

[复制链接]
  • TA的每日心情
    开心
    3 小时前
  • 签到天数: 1556 天

    [LV.Master]伴坛终老

    4248

    主题

    6169

    帖子

    10万

    积分

    管理员

    IBC编程社区-原道楠

    Rank: 9Rank: 9Rank: 9

    积分
    107849

    推广达人突出贡献优秀版主荣誉管理论坛元老

    发表于 2019-12-26 09:04:37 | 显示全部楼层 |阅读模式

    马上加入IBC,查看更多教程

    您需要 登录 才可以下载或查看,没有帐号?立即注册

    x
    先容

    AntColony(Github)是findit磁力搜刮引擎的焦点。用来在DHT网络中,网络生动资源的infohash,下载并剖析资源的种子文件,存入数据库等。AntColony是多少功能的合集,也可以单独运行其中的部分功能,以是起“蚁群”这个名字也是很贴切的(没错,我就是爱动物世界)。紧张分一下几块:

    • worker:爬虫,网络资源infohash,可以同时启动多个进程的worker,进步服从
    • male:根据网络来的infohash去下载种子文件
    • female:将种子文件录入数据库
    • queen:简单的入口,启动pm2运行worker,male和female
    090832y1wm3p3f2fe733ss.png

    现在启动5个worker使用3000-3004的端口,2个male和1个female。
    使用Mongodb储存数据,这没什么好说的;使用pm2维护和监控node进程,也没太多要说的,重点说下Redis。Redis里暂存的数据大概是如许的:
    090833chtvlv4t4v4g4in7.png


    • bucket:比力大的一个K桶
    • infohash:就是已经网络到的infohashs(worker网络来的,male会用来下载种子)
    • remoteNodes:worker新熟悉的节点,会依次“拜访”的,现在只生存最新的10w个(一方面我的VPS内存小,另一方面真没须要纪录太多)
    • sysInfo:纪录一些统计信息,比方发出多少次哀求,累积网络多少infohashs,现在已经发出15亿次Request,这个频率是可控的,worker 太疯狂的话,VPS扛不住。
    安装&运行方法

    详细的使用方法请查察摆设文档
    其他内容查察 http://keenwon.com/1436.html

    磁力搜刮站点演示

    http://www.cili123.me/
    C#论坛 www.ibcibc.com IBC编程社区
    C#
    C#论坛
    IBC编程社区
    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则