利用Python爬取ZuluJDK最新发布版本并下载作为镜像分享站
作者：Mintimate
博客：https://www.mintimate.cn
Mintimate’s Blog，只为与你分享
前言
一般使用JDK，就是用OracleJDK或OpenJDK，OracleJDK商用许可证的协议经常变卦；稳妥起见，还是用OpenJDK进行项目开发比较好。
而OpenJDK的众多分支里，我比较喜欢ZuluJDK：https://www.azul.com/downloads/
但是有点尴尬，ZuluJDK的项目官网，不是很友好。有时候，即使上去了，速度也很慢，甚至一个JDK都下载不下来。
所以，我就想用我腾讯云轻量应用服务器的香港地区服务器进行中转，搭建自己的镜像站；搭建的镜像站，可以给我轻量应用服务器的上海、南京等地区提供下载直链；甚至还可以给小伙伴们下载JDK，分享喜悦( ´▽｀)
ZuluJDK
ZuluJDK是基于OpenJDK开发出来的，使用的协议的：GPL v2 ＋ Classpath exception (GPL v2 + CE)：
使用ZuluJDK，功能上基本和用OracleJDK没什么区别了，也不会受到Oracle的协议影响（ZuluJDK一直是GPL v2+CE）
关于使用OpenJDK开发Java软件，是否需要遵守 GPLv2而开源，这个还挺有热度讨论的；但是注意这个
Classpath exception，我认为开发出的软件还是可以不使用GPL协议；具体怎么样，请求呼叫大佬在评论区支援(･_･;
设计思路
为了实现ZuluJDK最新版本的下载。准备使用Python解析ZuluJDk的下载地址，之后用wget下载到服务器上，最后使用Nginx进行目录映射。
环境依赖
环境依赖很简单，硬件方面：
- 腾讯云轻量应用服务器Debian镜像系统：Python使用其wget模块，调用系统wget；Windows操作系统不知道是否可以被Python调用wget。
软件层面：
- Python3.x：核心软件，用于写爬虫。
- Vim8.2 With YCM：文本编辑器，用于写Python脚本。
- PAW：网络API测试软件，可用curll配合grep命令代替。
Python的模块依赖：
requests==2.27.1
wget==3.2数据获取
首先观察页面：https://www.azul.com/downloads/
发现数据接口：
发现这个就是纯JSON对象，而且接收的请求：结构分明。
那设计就太简单了。
在Python里用requests库进行模拟请求，请求头：
URL = "https://www.azul.com/wp-admin/admin-ajax.php?action=bundles&endpoint=community&use_stage=false&include_fields%5B%5D=java_version&include_fields%5B%5D=os&include_fields%5B%5D=javafx&include_fields%5B%5D=latest&include_fields%5B%5D=ext"
HEADERS = {
'Accept': 'application/json, text/javascript, */*; q=0.01',
'x-csrf-token': '',
'x-requested-with': 'XMLHttpRequest',
'cookie': ''
,
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36'
}发送请求并解析为JSON：
def get_zulu_json():
response = requests.get(url=URL,
headers=HEADERS).json()
return response这样就可以把所有ZuluJDK的版本信息获取到了：
但是这样有点尴尬，没想到有这么多，直接把我腾讯云轻量应用服务器的控制台铺满了……
可怜的小白云，没事！！！我拿PAW去帮你分担压力～～～
PAW里显示，有4473项，显然是过去所有的构建版本都在这里了。
Zulu的服务器好大……4473个JDK/JRE……起码有1T的存储空间了。
所以我们需要过滤，简称：拆对象⁄(⁄ ⁄ ⁄ω⁄ ⁄ ⁄)⁄
数据处理
处理起来很简单，观察JSON对象的属性，举例：
{
"abi": "any",
"arch": "arm",
"bundle_type": "jdk",
"cpu_gen": [
"v8"
],
"ext": "zip",
"features": [
"jdk"
],
"hw_bitness": "64",
"id": 17865,
"java_version": [
19,
0,
0
],
"javafx": false,
"jdk_version": [
19,
0,
0,
6
],
"latest": false,
"name": "zulu19.0.21-ea-jdk19.0.0-ea.6-macosx_aarch64.zip",
"openjdk_build_number": 6,
"os": "macos",
"release_status": "ea",
"sha256_hash": "85493b2ab7bc2cba742856684730ee42a8ee71d3d0a510770a5d0071a2622903",
"support_term": "sts",
"url": "https://cdn.azul.com/zulu/bin/zulu19.0.21-ea-jdk19.0.0-ea.6-macosx_aarch64.zip",
"zulu_version": [
19,
0,
21,
0
]
}, 可以看到，有ext、latest和name等等参数。一般JDK都是自己配置，操作系统一般也就是Windows、Linux和macOS。
不会有人是用安装器安装的吧？不会吧，不会吧，不好吧……用安装器安装，到时候卸载会不会找不到它(｡ ́︿ ̀｡)
macOS和Linux的ZuluJDK，通用的肯定是归档文件（tar、tar.gz)，Windows的ZuluJDk都是zip文件，且os="windows"。
所以我们过滤两次。（拆两次对象，芜湖，我好坏）
macOS/Linux
所以我们对JSON进行过滤：
def filter_by(zulu_info, latest=None, javafx=None, ext=None, os=None):
params = locals()
params.pop('zulu_info')
for key in params:
if params[key] is None:
continue
if zulu_info.get(key) != params[key]:
return False
return True
download_list=list(filter(lambda x: filter_by(x, javafx=True, ext="tar.gz"), zulu_json))其中：
zulu_json：上文数据爬取得到的JSON（就是那个4000多对象的◡ ヽ(`Д´)ﾉ ┻━┻）
计算长度看看：
真不错，只有342项了。
但是这里还有JRE，小伙伴还需要JRE？？？
直接砍了！！！并且你可以发现，这个JSON对象，数据越前，版本越新。我们就每次只缓冲下载最新版本的吧：
# 用于记数
temp_list = {}
for item in filtered_list:
# 正则判断是否是JDK
if re.search(r"jdk", item['name']) is None:
# 不是JDK，直接跳过循环
continue
# 查看JDK版本（大版本，如：JDK11、JDK17等）
jdk_version_code = str(item['jdk_version'][0])
# 拼接为系统+JDK版本形式
OS_version = jdk_version_code + item['name'].split("-")[-1]
# 如果对象存在，直接跳出循环
if OS_version in temp_list.keys():
continue
else:
temp_list[OS_version] = 1,这样，就可以保证，每个系统的每个大版本，只下载一次：
可以看到，这样的话342项就变成只有27项了（macOS/Windows）
Windows
Windows的过滤和下载macOS和Linux的方法一样了：
download_list=list(filter(lambda x: filter_by(x, javafx=True, ext="zip",os="windows"), zulu_json))和刚刚Linux方法一样，再过滤掉JRE，只留最新版本：
这样看来，下载的内容不多（27+12）
下载JDK
最后，我们就是下载了。这里使用wget对数据进行下载；Python的wget模块：https://pypi.org/project/wget/
这个可不是GNU的wget工具，是用来Python里调用wget进行下载的。
安装wget模块：
pip3 install wget定义一个下载目录：
def has_dir(path):
if not os.path.exists(path):
os.makedirs(path)之后不全过滤时候的代码：
def download_by_list(filtered_list):
temp_list = {}
for item in filtered_list:
if re.search(r"jdk", item['name']) is None:
continue
jdk_version_code = str(item['jdk_version'][0])
OS_version = jdk_version_code + item['name'].split("-")[-1]
if OS_version in temp_list.keys():
continue
else:
temp_list[OS_version] = 1,
# 设置wget下载目录
save_path = "ZuluJDK_Mirror/" + jdk_version_code + "/"
# 判断目录是否存在
has_dir(save_path)
print("开始下载：" + item['name'])
# 下载
wget.download(item['url'], out=save_path + item['name'])
print("\\n")
# 线程休眠
time.sleep(20)最后效果
最后，我们编写的Python脚本：
使用Python命令运行：
最后下载下来的文件：
使用Nginx做个目录映射：
当然，我们可以使用Cron定期缓冲最新版本的ZuluJDK，这里就不演示了。
END
最后，我们就可以把Nginx目录映射的地址发给想下载ZuluJDK的小伙伴了。
另外…… 突然发现：我直接解析了ZuluJDK的直链，用Nginx进行反代……似乎更方便；还不用占服务器空间！！！
不过，还是这样好点，确保资源持久化～～～而且，腾讯云轻量应用服务器的中国香港地区硬盘资源，更充分地使用了，享受自己造“轮子”的快乐(*☻-☻*)
