V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
Xuanwo
V2EX  ›  分享创造

恩- -,想搞一个发行版下载仓库

  •  
  •   Xuanwo ·
    Xuanwo · 2015-08-27 06:08:12 +08:00 · 3148 次点击
    这是一个创建于 3386 天前的主题,其中的信息可能已经有所发展或是发生改变。

    前言

    前两天下载某个发行版的时候发现速度慢成狗= =,然后就突然意识到,即使是以现在如此发达的镜像体系,依然会有某些没有照顾到的边边角角。如果我们可以为这个做点什么,也许也是一件很好的事情。

    现状

    几天的捣鼓之下,有了下面这个项目:
    https://github.com/Xuanwo/DistroDownload

    我已经做了一些工作,但是发现这个工作量确实有些大,而且我也确实遇到了很多问题。因此把我的这个想法贴出来,一方面是希望 V 友可以跟我一起完善这个仓库,另一方面是希望 V 友能为我出一些主意。

    目标

    将本库建设为一个覆盖全面的发行版下载仓库,弥补各大镜像站覆盖不全面的缺陷,给一些知名度小但是很有特色的发行版更多机会。

    问题

    如何处理大于 4GB 的 ISO 包?

    非会员的百度云最大只能上传 4GB 以下的镜像,如果冲会员的话,这个并没有经费支持的项目可能难以维系。所以想问问有没有更好的解决方案?

    如何提供直链下载?

    就我目前已知的情况来看,并没有谁可以提供空间足够大的速度足够快的直链方案。尽管目前暂时采用了百度云,但是我还是比较起来可以直接下载的方案。

    以上~

    第 1 条附言  ·  2015-09-07 23:17:19 +08:00
    15 条回复    2015-08-29 14:29:45 +08:00
    binux
        1
    binux  
       2015-08-27 06:52:04 +08:00
    你有没有试过把下载链接扔各种离线,都能秒的
    loggerhead
        2
    loggerhead  
       2015-08-27 07:05:35 +08:00 via iPhone
    mirrors.163.com 上有一些发行版,下载速度还蛮快的,几 MB/秒
    HMSQQbA
        3
    HMSQQbA  
       2015-08-27 08:38:08 +08:00 via Android
    百度云本来就有的。不过一些快速更新的镜像文件名还不变,要注意百度云的文件有无真正更新。
    realpg
        4
    realpg  
       2015-08-27 08:50:46 +08:00
    楼主这个东西我早就做了……
    属于默默做贡献的套路……
    本质是我不想让某些比较冷门的东西以后找不到地方下载……
    不过我用了一些黑科技,而且网站从来未公诸于众,是直链,但是黑科技在于欺负了迅雷……主要让迅雷服务器帮我存着了……保证了很多特别小众的东西在迅雷上一直能有源且速度飞快……

    但是我弄的主要不是 LINUX 的发行版,而是一些软件包的各种历史正式版本的文件,各种冷门的小东西都在这个系统里跑着

    因为我这服务器带宽都不要钱,而且有黑科技去刷迅雷服务器,主要就是硬盘空间感人,我这的内部源服务器的磁盘都是 3TB*8 的 RAID5 还有要爆的趋势……
    Xuanwo
        5
    Xuanwo  
    OP
       2015-08-27 10:57:59 +08:00
    @binux 我知道能秒- -,但是我每个文件都要做 MD5+SHA1 校验,所以并不能全都离线
    Xuanwo
        6
    Xuanwo  
    OP
       2015-08-27 10:58:42 +08:00
    @loggerhead 实际上我就是教育网用户- -,自然知道这些镜像有多快。但是还是有好多覆盖不到的地方。。。
    Xuanwo
        7
    Xuanwo  
    OP
       2015-08-27 10:59:26 +08:00
    @HMSQQbA 所以我额外加上了 SHA1 的校验,两个校验都一致的话,再重复的概率应该小很多。。
    Xuanwo
        8
    Xuanwo  
    OP
       2015-08-27 10:59:50 +08:00
    @realpg 仰慕这样的黑科技。。
    realpg
        9
    realpg  
       2015-08-27 11:04:01 +08:00
    @Xuanwo
    你也可以研究研究
    我可以给你公布一些细节
    首先,你自己得有一个磁盘容量巨大的服务器
    然后, nginx 自己改改代码,一个 IP 只允许一个连接
    再然后,自己做一个 nginx 的限速模块,对迅雷服务器过来拉资源不限速,其他用户自己下载一个连接限速 5KB/s 保证连接可用性不会死链 但是不让用户从服务器为主获取资源 主要靠迅雷的服务器镜像
    最后,自制黑科技走迅雷协议去刷迅雷服务器计数,让迅雷认为这个资源是很热门的,不断地去刷迅雷服务器防止这个资源从热链、 P2P 加速等渠道被剔除
    missdeer
        10
    missdeer  
       2015-08-27 16:25:16 +08:00
    @realpg 怎么知道是迅雷服务器过来拉资源了呢
    realpg
        11
    realpg  
       2015-08-27 16:28:34 +08:00
    @missdeer IP 段 UA 很好识别的 分别做个不限速的规则
    Xuanwo
        12
    Xuanwo  
    OP
       2015-08-28 16:21:51 +08:00
    七牛的许总非常 nice 的提供了开源项目的支持,我到时候跟七牛的市场部门联系看看~
    endoffight
        13
    endoffight  
       2015-08-29 08:36:14 +08:00 via Android
    建议下载地址添加阿里, 163 ,百度已经靠不住了
    Xuanwo
        14
    Xuanwo  
    OP
       2015-08-29 10:28:47 +08:00
    @endoffight 额?添加阿里, 163 是啥意思?。。
    endoffight
        15
    endoffight  
       2015-08-29 14:29:45 +08:00 via Android
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4562 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 04:05 · PVG 12:05 · LAX 20:05 · JFK 23:05
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.