IP、域名、子域名TOP3000库

yzmm
1554 阅读

app_ip_lookup.sql这个直接是SQL文件数据量400W+。IP段来自https://db-ip.com/db/ IP经纬度数据来自http://dev.maxmind.com/geoip/legacy/geolite/ 国内数据来自http://ip.taobao.com/ IP数据变动太快,有点差异很正常。db-ip的IP段好像只划到了0-223.29.206.255 漏了些国内的。

1

IP地址是long,可以用select INET_NTOA(ip_start_int),INET_NTOA(ip_end_int) from app_ip_lookup 自己转。

2

下载地址:app_ip_lookup.sql.zip

域名库:

这个是我上次发的那个1.9亿域名A记录(主域名:1.18亿,子域名7300万)的所有主域名主域名解析记录,数据格式是JSON。我重新解析了下所有的主域名,成功的有7000W+失败差不多4000W。当然失败的原因可能有的域名已过期删除了也可能是犹豫网络原因或者只解析了www通过xxx.com无法解析的情况。

3

格式:ip地址,主机名,计算机名,域名,解析失败的会过些天再解析一次。

4

下载地址:dns.zip

子域名TOP3000最近更新了下,删除了大量可能是垃圾的域名。具体的排名如下:

子域名前缀top3000.txt

评论 (5)

mrcheng
你好,看到你的域名数量达到亿级别,是怎样做到的?
yzmm
到处收集的.
test
请问一下园长大大,这么大的数据怎么导入mysql比较好,我用python脚本将你的json格式转换为insert语句插入,一个晚上之插入了2000W而已,表示不能忍受!用的是INSERT DELAYED INTO 并且同时插入的是两个值居然还那么慢,请问怎么破~~
yzmm
批量插入,每次导入1W很快就可以插入了。

发表评论