AntColony 磁力搜索引擎的核心

显示全部楼层 · 2019-12-26 09:04:37

先容

AntColony（Github）是findit磁力搜刮引擎的焦点。用来在DHT网络中，网络生动资源的infohash，下载并剖析资源的种子文件，存入数据库等。AntColony是多少功能的合集，也可以单独运行其中的部分功能，以是起“蚁群”这个名字也是很贴切的（没错，我就是爱动物世界）。紧张分一下几块：

worker：爬虫，网络资源infohash，可以同时启动多个进程的worker，进步服从
male：根据网络来的infohash去下载种子文件
female：将种子文件录入数据库
queen：简单的入口，启动pm2运行worker，male和female

现在启动5个worker使用3000-3004的端口，2个male和1个female。
使用Mongodb储存数据，这没什么好说的；使用pm2维护和监控node进程，也没太多要说的，重点说下Redis。Redis里暂存的数据大概是如许的：

bucket：比力大的一个K桶
infohash：就是已经网络到的infohashs（worker网络来的，male会用来下载种子）
remoteNodes：worker新熟悉的节点，会依次“拜访”的，现在只生存最新的10w个（一方面我的VPS内存小，另一方面真没须要纪录太多）
sysInfo：纪录一些统计信息，比方发出多少次哀求，累积网络多少infohashs，现在已经发出15亿次Request，这个频率是可控的，worker 太疯狂的话，VPS扛不住。

安装&运行方法

详细的使用方法请查察摆设文档
其他内容查察 http://keenwon.com/1436.html

磁力搜刮站点演示

http://www.cili123.me/

AntColony 磁力搜索引擎的核心

推广达人

突出贡献

优秀版主

荣誉管理

论坛元老