V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
way2exluren
V2EX  ›  分享创造

写了个程序记录从我的 vps 上经过的所有 http 请求地址

  •  2
     
  •   way2exluren · 2015-01-05 21:22:15 +08:00 · 20395 次点击
    这是一个创建于 3616 天前的主题,其中的信息可能已经有所发展或是发生改变。
    vps上的vpn有分给别人用

    主要是好奇别人访问了什么网址……当然,只记录网址,不记录数据。


    有同样需求的可以用

    https://github.com/zhangtf/url_recoder
    第 1 条附言  ·  2015-01-05 21:53:05 +08:00
    额,觉得楼下有人说的有道理。我把它设为私有了……不过貌似已经晚了
    第 2 条附言  ·  2015-01-05 22:46:44 +08:00
    嗯……已经设为public了……

    大家随意吧。

    注意用别人的vpn的时候,会有被收集数据的风险……
    第 3 条附言  ·  2015-01-05 23:06:00 +08:00
    by the way

    openwrt 和树莓派可用……直接放上去编译运行就可以……
    第 4 条附言  ·  2015-01-05 23:06:41 +08:00
    by the way

    openwrt 和树莓派可用……直接放上去编译运行就可以……
    56 条回复    2019-03-29 22:22:25 +08:00
    zhengxin1993
        1
    zhengxin1993  
       2015-01-05 21:26:27 +08:00   ❤️ 1
    nginx和apache不是自带记录功能?
    tobyxdd
        2
    tobyxdd  
       2015-01-05 21:28:06 +08:00 via Android
    直接ngrep存成pcap慢慢看
    ForgotFun
        3
    ForgotFun  
       2015-01-05 21:29:16 +08:00
    赞..
    way2exluren
        4
    way2exluren  
    OP
       2015-01-05 21:29:31 +08:00
    @zhengxin1993 不是啊,我这个vpn上建了个vpn,别人用vpn上网的话,他访问过的网址都会被记录,和web服务器无关
    way2exluren
        5
    way2exluren  
    OP
       2015-01-05 21:30:35 +08:00
    @tobyxdd 嗯,这样也可以
    zhengxin1993
        6
    zhengxin1993  
       2015-01-05 21:33:22 +08:00
    @way2exluren 看成对web的访问记录了。
    Ricky123
        7
    Ricky123  
       2015-01-05 21:37:06 +08:00
    楼主你这样不厚道啊
    给别人用就给别人用
    居然还要监控别人的浏览记录
    而且现在还把这样的行为分享出来

    建议楼主不要这么做
    这让大家对社区以后的分享行为产生不好的臆想
    way2exluren
        8
    way2exluren  
    OP
       2015-01-05 21:40:33 +08:00
    @Ricky123 我买VPS自己搭vpn就是考虑到自己的访问数据会被vpn记录下来。

    话说网上公开的vpn,谁知道有没有记录数据呢……

    而且所有的数据vps供应商也可以拿到的。

    其实我只是想统计下,到底那些网址访问最多……
    还有,我的vpn账号只给了几个朋友,而且他们知道我记录
    way2exluren
        9
    way2exluren  
    OP
       2015-01-05 21:45:56 +08:00   ❤️ 1
    @Ricky123 我觉得你说的有点道理,我还是删了吧
    feiyuanqiu
        10
    feiyuanqiu  
       2015-01-05 21:58:48 +08:00
    所以有需求的朋友还是花点钱买个vpn才好
    way2exluren
        11
    way2exluren  
    OP
       2015-01-05 22:00:11 +08:00
    @feiyuanqiu 花钱买的vpn也会被记录啊……
    lolicon
        12
    lolicon  
       2015-01-05 22:03:12 +08:00
    楼主能不能发一份给我看下,学习下是怎么记录的 aiguozhedaodan# gmail 谢谢
    housex
        13
    housex  
       2015-01-05 22:19:47 +08:00
    来晚了,看不到了
    goodbest
        14
    goodbest  
       2015-01-05 22:29:46 +08:00
    @Ricky123
    @way2exluren

    一味地一叶障目是不对的吧。

    “既然选择了用别人的服务器,就要承担这样的风险。”
    我觉得需要向大家普及这样的知识。
    万一众多的分享中,真的有蜜罐的话,会如何呢?
    savegame
        15
    savegame  
       2015-01-05 22:39:47 +08:00
    怎么私信给你啊
    julijulilijuliju
        16
    julijulilijuliju  
       2015-01-05 22:42:39 +08:00
    way2exluren
        17
    way2exluren  
    OP
       2015-01-05 22:47:40 +08:00
    @julijulilijuliju 原来mifan是你啊。。你动作好快,直接fork了一份,还给你发了个邮件,不过邮件不用看了。
    way2exluren
        18
    way2exluren  
    OP
       2015-01-05 22:48:47 +08:00   ❤️ 1
    @lolicon
    @petasong
    @housex

    已经可以访问了
    codejay
        19
    codejay  
       2015-01-05 22:57:54 +08:00 via Android   ❤️ 1
    一直以为l2是加密的呢
    baoziwan
        20
    baoziwan  
       2015-01-05 23:34:19 +08:00
    @way2exluren
    "话说网上公开的vpn,谁知道有没有记录数据呢……"

    现在起码知道你会记录了
    codejay
        21
    codejay  
       2015-01-06 00:09:14 +08:00 via Android
    @baoziwan 还是谢谢楼主 起码给我科普了 好恐怖啊
    lshero
        22
    lshero  
       2015-01-06 00:29:02 +08:00
    我是一般做个透明代理直接然后用nginx的日志保存
    savegame
        23
    savegame  
       2015-01-06 00:45:28 +08:00   ❤️ 1
    应该是 url_recorder 啦,楼主
    msg7086
        24
    msg7086  
       2015-01-06 05:01:38 +08:00 via iPhone
    @baoziwan
    @Ricky123
    说得好像不共享出来或者不说出来别人就不会监控了一样。
    way2exluren
        25
    way2exluren  
    OP
       2015-01-06 09:14:35 +08:00
    @petasong 是的……居然没注意到。谢谢

    https://github.com/zhangtf/url_recorder
    heiher
        26
    heiher  
       2015-01-06 09:19:38 +08:00
    再改改就能劫持啦。
    way2exluren
        27
    way2exluren  
    OP
       2015-01-06 09:31:07 +08:00
    @heiher 并不能……劫持需要把服务器回包也改掉,还是有很多要做的
    Admstor
        28
    Admstor  
       2015-01-06 10:05:55 +08:00
    公不公开其实无所谓,即便楼主不做这个事情,我相信只要愿意,写个这样的程序是太简单的了,甚至包括隐私信息的收集都是很简单的,这也是我不愿意使用公开梯子尤其是免费梯子的原因

    不过有心做这个,可以考虑深入发展一下,在保证隐私的前提下,做一些统计工作也是挺有意思的
    BOYPT
        29
    BOYPT  
       2015-01-06 10:23:02 +08:00
    ,,,还is_tcp呢,你不知道pcap可以写filter的吗……
    另外你这个程序一个命令就基本可以替代了 tcpdump -n -w capture.pcap -s0 'tcp && dst port 80'
    way2exluren
        30
    way2exluren  
    OP
       2015-01-06 10:27:56 +08:00
    @BOYPT 知道libpcap可以写filter啊,但是写起来麻烦啊。tcpdump保存的是pcap文件啊,我保存的是url地址啊,就这点区别,也就200行而已
    BOYPT
        31
    BOYPT  
       2015-01-06 10:36:19 +08:00
    'tcp && dst port 80' 这样比写一个函数麻烦?
    way2exluren
        32
    way2exluren  
    OP
       2015-01-06 10:41:56 +08:00
    @BOYPT 还要调用libpcap的函数去compile吧,而且如果端口不是80 是8080呢是8000呢,当时是这么想的。
    不过你说的也对。我之所以写这个函数是因为这是以前自己写过的就copy过来
    Tuccuay
        33
    Tuccuay  
       2015-01-06 10:59:30 +08:00 via Android
    能记录shadowsocks么…
    goodbest
        34
    goodbest  
       2015-01-06 11:01:21 +08:00
    @Tuccuay shadowsocks的server端本来开了log就能看到访问的网址(只有域名,无其他)
    way2exluren
        35
    way2exluren  
    OP
       2015-01-06 11:01:28 +08:00 via Android
    @Tuccuay 能…道理一样的啊…就是在网络出口抓包,简单解析http协议,提取url。只要用这个出口都会被收集,除了https
    ooxxcc
        36
    ooxxcc  
       2015-01-06 11:06:28 +08:00
    sudo ngrep -q -d eth0 -W byline -t 'GET' 'src net 10.8.0.0/16 and tcp and dst port 80'
    myliyifei
        37
    myliyifei  
       2015-01-06 11:26:04 +08:00
    @goodbest 我的LOG为什么没有?
    codejay
        38
    codejay  
       2015-01-06 12:08:00 +08:00 via Android
    @goodbest 能记录我的cookies登录我的微博吗
    aru
        39
    aru  
       2015-01-06 12:51:55 +08:00
    @codejay 改改就可以了
    heiher
        40
    heiher  
       2015-01-06 14:03:16 +08:00
    @way2exluren 怎么不能,改服务器响应干什么,VPN上直接在服务器响应包达到前就抢先给浏览器响应了。
    way2exluren
        41
    way2exluren  
    OP
       2015-01-06 14:12:50 +08:00
    @heiher 这个程序不是从vpn哪里抓包,是从vps网络出口抓包啊。而且libpcap的抓包原理是从协议栈复制一份,原来的报文照常从vps出去了,发给了目标服务器。
    heiher
        42
    heiher  
       2015-01-06 14:27:17 +08:00
    @way2exluren 不多说了,是可以的,有兴趣你可以玩玩。
    baoziwan
        43
    baoziwan  
       2015-01-06 16:17:59 +08:00
    @msg7086
    说得好像别人监不监控你都知道一样。

    现在只有一点明确,就是LZ会监控,并且以莫须有为自己辩护。
    baoziwan
        44
    baoziwan  
       2015-01-06 16:24:03 +08:00
    @Admstor
    “在保证隐私的前提下,做一些统计工作也是挺有意思的”

    请问,一个人的网站浏览记录算是隐私吗?如何保证这个隐私呢?
    msg7086
        45
    msg7086  
       2015-01-06 17:01:55 +08:00 via iPhone
    @baoziwan 辩护是另一回事。
    监控无所谓吧,反正楼主能监控到的数据,能看到的人多了去了。运营商,wifi热点主人,墙,cdn,好多呢。
    Admstor
        46
    Admstor  
       2015-01-06 17:32:49 +08:00
    @baoziwan
    浏览记录算不算隐私这个我不清楚,姑且算作"个人数据"
    作为统计是很简单,去掉包含可识别的个人信息即可,例如不记录IP信息,只记录IP地区信息,不记录详细时间点,只记录时间段,不记录操作系统用户名,只记录操作系统版本号
    通过去除这些信息,保证不可追溯的个人,又能够作为统计数据从整体上体现网民地区构成,访问喜好,操作系统构成等等
    Admstor
        47
    Admstor  
       2015-01-06 17:35:54 +08:00
    补充,当然为了更加周全
    如果有提供VPN服务使用了此类统计功能,当然也应该在用户协议里著名(无论是不是免费使用)
    这自然是比较光明磊落的做法

    但是实际上,无论是否声明,都是可以偷偷的去搜集信息甚至更多

    不针对楼主,仅讨论使用梯子可能产生的一些问题而已
    楼主的项目显然是中立的,我只是建议深入发开一些功能,使之更具有价值
    baoziwan
        48
    baoziwan  
       2015-01-06 17:36:15 +08:00
    @msg7086
    我想,谁都不愿在别人面前裸奔吧,当然,变态除外。所以,监控对我很有所谓。

    考虑到现实情况,监控无处不在,躲也躲不开,只能被迫接受。但我也希望能保持在最低限度,能看到我裸奔的人越少越好。在小巷里裸奔和在新闻联播里裸奔之间的差别,不用多说吧?

    本来互联网上人与人之间的信任就很稀缺且脆弱。一粒老鼠屎可以坏一锅粥,一次恶意可以抵消上千次的善意。为了保护自己,越来越多的人都不愿意相信别人了,谁知道对方是不是混蛋呢?

    恶意慢慢强势,善意渐渐式微,凡事都需要用最坏的恶意揣测别人,谁也别信谁,难道这样的互联网就是LZ之流想要的?

    我实在不理解,难道可以做到,就代表可以做?可以正大光明地做?

    LZ做了一个坏的示范,再一次用恶意击退了善意,打破了信任,看看21L吧。
    msg7086
        49
    msg7086  
       2015-01-07 09:18:20 +08:00
    @baoziwan 我还是那句话。有没有说出来和有没有监控是两回事。

    比如CSDN的明文密码泄露问题。你觉得是把密码库贴出来让大家都知道密码泄露了来得好呢,还是让骇客们自己拿在手里用着好呢?

    就说楼主这个监控问题。你觉得他是说出来让大家知道来得好呢,还是他不说出来而是自己偷偷监控来得好呢?

    这和信任有什么关系。
    要是都靠信任了,还要警察做什么?
    大家做网站都靠信任,所以漏洞大开然后不补吗?
    再怎么信任,安全警示还是必须要有的。
    baoziwan
        50
    baoziwan  
       2015-01-07 16:20:29 +08:00
    @msg7086
    鸡同鸭讲了,就此打住
    codejay
        51
    codejay  
       2015-01-24 22:56:52 +08:00
    shadowsocks 的监控不到
    way2exluren
        52
    way2exluren  
    OP
       2015-01-24 23:50:41 +08:00
    @codejay 程序改了……现在是系统建立pptp虚拟网卡后会开启线程抓取虚拟网卡数据……不管网络出口的了
    way2exluren
        53
    way2exluren  
    OP
       2015-01-24 23:55:34 +08:00
    @codejay 给我发邮件吧……github主页上的邮箱
    james2016
        54
    james2016  
       2017-03-12 10:48:28 +08:00
    @way2exluren 找不到你邮箱啊??
    james2016
        55
    james2016  
       2017-03-15 10:46:17 +08:00
    需要改下给 shadowsocks 用怎么弄为好?谢谢!
    g0o
        56
    g0o  
       2019-03-29 22:22:25 +08:00 via Android
    几个好用的国外 vp/n,付费的,不记录日志
    https://topvpn.github.io
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1135 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 23:32 · PVG 07:32 · LAX 15:32 · JFK 18:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.