昨天看学弟折腾博客才想起来我还有个域名,以及还有个cloudflare,给他展示了一下之后突然想起来我还可以用来搭镜像站。
镜像站是什么
镜像站就是你访问这个网站的时候,这个网站把你的请求再发到另一个被镜像的网站,然后再把那个网站返回的页面再发回来给你。我的理解大概就是这样,具体的也可以问问万能的AI。
镜像站的作用
在国内有很多网站被墙了,不能直接访问,虽然很多人都说可以翻墙来访问,但是翻墙还是比较有风险的,而且还得找机场也是比较麻烦的。
如果镜像站能够访问到目标网站,并且国内能访问到镜像站的话就不用翻墙了。
镜像站的搭建
这里只说用cloudflare的worker来搭建的方式,所以你至少需要注册有cloudflare,并且有一个域名。
首先来这里点击计算->Workers和Pages
然后点击右边的创建应用程序
然后这里点从Hello World!开始
然后要写个转发请求用的worker.js,一般来说需要结合网站实际内容来写,而且其实还是比较麻烦的,这边建议交给AI写。
鉴于需要镜像的网站在国内一般是无法访问的,而且我在校园网下面也不好挂梯子访问,用手机热点挂梯子的话又不能白嫖校园网下的本地模型,所以一种做法就是先让AI写个简单的转发脚本,然后先部署一次,然后让AI访问部署好的镜像站,这时候就只有一个页面,里面请求的其他资源应该全部都是超时的,然后再让AI去爬站然后分析网站,然后再修改脚本,以及AI写的脚本自己也看一下,看不懂就边看边问,起码要知道都镜像了些什么。
重要事项
这不是我第一次搭镜像站,我之前刚上大学的时候搭过GitHub的镜像站,当时也是什么都不懂,在网上瞎拼凑了一下整了个镜像站出来,没做任何处理。后来我就收到了cloudflare的邮件,说GitHub举报我的网站是钓鱼网站,当时我也是吓坏了,我就只是想建个镜像站来自己用的,从来没有想过要欺骗和盗取他人的账号密码,还好后来整改之后也没有发生什么事,不然我美好的大学生活才刚开始就要结束了。
所以这件事情告诉我们,如果你镜像的网站有注册和登录功能,在镜像的时候一定要注意,不要把注册和登录相关的api也镜像了,一旦你镜像了注册和登录的api,别人的账号密码就会经过你的镜像站,到时候就会很麻烦,如果脚本是AI写的就让AI注意不要镜像注册和登录的api。
一些使用说明
首先看看下面这些标签
概述和指标是些给你自己点来看的信息。
部署是你部署的信息,一般来说没什么看的。
Observability是记录的经过你镜像站的请求,可以来这里看请求的详细信息。
问题和Access我没有启用,所以我也不知道是什么,设置里面的东西我也没有动。
最后到域,这里可以给你的镜像站绑一个域名,镜像站部署完之后,默认访问应该是一个又长又难记的东西,直接用这个也不是不行,但是绑个域名上去,看起来有模有样一点。可以点下面的添加域名来绑定,另一个路由是什么我还没用过。
可选事项
有一些网站它的资源,比如图片、音频、视频等资源是有CDN的,这些CDN国内可能没有屏蔽,如果能够直接访问的话就不要镜像CDN了,没有必要,而且浪费免费额度。
因为这次我镜像的是一个前段时间被墙的asmr网站,昨晚我刚部署完然后听着asmr美美睡觉之后,早上起来一看天都塌了,居然已经被人用爬虫刷我的免费额度了,为什么确定是爬虫,平均每秒两个页面请求这是人啊,而且还不是那种资源的,就是纯翻页和纯点网页,如果是正常人访问的话还会带一堆js、css什么的乱七八糟的请求还有api请求的,这个真的就纯网页爬虫,只是在无意义的消耗我的免费请求次数。
首先,点到你的域名的设置下面,先点到左边的数据分析,应该会有一个IP的请求数量看起来特别显眼,复制下来,
然后点开安全性->安全规则,免费版只能设置一个速率限制规则,和5个自定义规则
然后先添加自定义规则,直接把它ban了
然后为了保险起见,可以再设置个速率限制,每10秒一个页面请求,api的请求不要限制,对人类来说这个速度差不多了
规则表达式的写法可以你描述完让AI来写,然后AI写完你自己核对一下。