V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
ljspython
V2EX  ›  分享发现

一个 22 万张 NSFW 图片的鉴黄数据集?你可以有大胆的想法了……

  •  1
     
  •   ljspython · 2019-01-14 14:35:26 +08:00 · 25319 次点击
    这是一个创建于 2148 天前的主题,其中的信息可能已经有所发展或是发生改变。
    如果你想训练一个内容审核系统过滤不合适的信息,或用 GAN 做一些大胆的新想法,那么数据集是必不可少的。例如图像鉴黄,我们需要使用卷积神经网络训练一个分类器,以区分正常图像与限制级图像。但限制级的图像很难收集,也很少会开源。因此最近有开发者在 GitHub 上开源了一份 NSFW 图像数据集,这是不是你们想要的?



    项目地址: https://github.com/alexkimxyz/nsfw_data_scrapper

    最后,希望大家注意身体
    129 条回复    2019-01-25 11:55:26 +08:00
    1  2  
    lwlipuyang
        1
    lwlipuyang  
       2019-01-14 14:46:58 +08:00
    我佛了
    hilbertz
        2
    hilbertz  
       2019-01-14 14:47:52 +08:00   ❤️ 46
    好的,先让我再进行一次详细的人工标注
    publicvoid
        3
    publicvoid  
       2019-01-14 14:54:30 +08:00
    楼主好人
    DesmondLiu90
        4
    DesmondLiu90  
       2019-01-14 14:55:05 +08:00
    666
    zhang1215
        5
    zhang1215  
       2019-01-14 15:11:01 +08:00
    刚刚随意打开一张发现并不是 NSFW 的 http://cdn.awwni.me/kguv.jpg
    lucahan
        6
    lucahan  
       2019-01-14 15:12:09 +08:00
    有点强啊。。。。
    likuku
        7
    likuku  
       2019-01-14 15:12:44 +08:00
    @zhang1215 可能...有些办公室的也是无法容忍(正常)二次元文化吧。
    Oa
        8
    Oa  
       2019-01-14 15:13:03 +08:00
    删前留名
    wsd15321
        9
    wsd15321  
       2019-01-14 15:18:38 +08:00
    这也行
    ziseyinzi
        10
    ziseyinzi  
       2019-01-14 15:20:34 +08:00 via Android   ❤️ 1
    收藏比回复多系列
    JohnChiu
        11
    JohnChiu  
       2019-01-14 15:22:58 +08:00   ❤️ 1
    @zhang1215 #5 neutral 和 drawings 文件夹内是 safe for work 的啊
    HOHOCCC
        12
    HOHOCCC  
       2019-01-14 15:25:51 +08:00
    这谁顶得住啊
    thonatos
        13
    thonatos  
       2019-01-14 15:26:57 +08:00   ❤️ 3
    要不要拿出我私藏的爬虫出来?怕分享了大家身体就垮了
    hpeng
        14
    hpeng  
       2019-01-14 15:28:20 +08:00 via iPhone
    Reddit 去采集 nsfw 就好了,已经帮你标注了
    slamDunkLINk
        15
    slamDunkLINk  
       2019-01-14 15:37:16 +08:00
    楼上的,有就别私藏了,分享才是王道
    kawkeye
        16
    kawkeye  
       2019-01-14 15:39:12 +08:00 via Android
    @thonatos share?
    sxm
        17
    sxm  
       2019-01-14 15:47:50 +08:00 via Android
    抓个 xxx 站就有几百万的图了
    zhuoyan
        18
    zhuoyan  
       2019-01-14 15:48:53 +08:00
    1042 次点击, 25 人收藏
    lucahan
        19
    lucahan  
       2019-01-14 15:53:56 +08:00
    @thonatos 我能顶得住
    stone666
        20
    stone666  
       2019-01-14 15:57:00 +08:00
    火钳刘明
    BestMe
        21
    BestMe  
       2019-01-14 15:59:20 +08:00
    @ljspython 不懂技术的,表示很焦急。
    wwg1994
        22
    wwg1994  
       2019-01-14 16:01:49 +08:00
    这谁顶得住啊
    shench
        23
    shench  
       2019-01-14 16:08:34 +08:00
    厉害厉害!
    abeholder
        24
    abeholder  
       2019-01-14 16:08:45 +08:00   ❤️ 5
    哇塞,搭配我的控制台下载器
    https://github.com/abedormancy/tinydownloader
    来下载 食用更佳 (里面有千把张二次元桌面壁纸,忘记哪爬的了。。)~~
    imshf
        25
    imshf  
       2019-01-14 16:09:59 +08:00
    @thonatos #13 顶得住老哥
    zhang1215
        26
    zhang1215  
       2019-01-14 16:10:58 +08:00
    @JohnChiu 噢,没仔细看还以为全都是呢
    abeholder
        27
    abeholder  
       2019-01-14 16:12:27 +08:00
    为什么突然萌生出一种六学既视感 。。。

    说到 NSFW 的数据集, 我就想起了几个月前做的一个小的下载器。。。

    别问了,问就文体两开花·
    lingo
        28
    lingo  
       2019-01-14 16:15:35 +08:00   ❤️ 3
    你要说人工智能神经网络,我是不会的,但是你说人工标注,那我们的故事就开始了。
    lingo
        29
    lingo  
       2019-01-14 16:17:20 +08:00   ❤️ 4
    顺便想起前几天看到的说 firefox 新功能,内置了一个黄网名单,名单上的网站不会出现在欢迎页。。
    作为一个开源项目,能不能只对这份名单感兴趣 = =
    d5
        30
    d5  
       2019-01-14 16:21:10 +08:00 via iPhone
    理念先进了
    gxlwm
        31
    gxlwm  
       2019-01-14 16:21:44 +08:00
    就这一会 star 涨了好多, 老哥们稳
    Amayadream
        32
    Amayadream  
       2019-01-14 16:22:50 +08:00
    这谁顶得住啊
    lucahan
        33
    lucahan  
       2019-01-14 16:26:07 +08:00
    @abeholder 这谁顶得住啊。。。
    xspippo
        34
    xspippo  
       2019-01-14 16:33:48 +08:00 via iPhone
    快拿我的营养快线
    jasonyang9
        35
    jasonyang9  
       2019-01-14 16:37:53 +08:00
    这叫学以致用
    Bantes
        36
    Bantes  
       2019-01-14 16:39:50 +08:00
    1842 次点击 ∙ 55 人收藏
    不说了,收藏波先
    suyuyu
        37
    suyuyu  
       2019-01-14 16:44:22 +08:00
    插眼
    x86
        38
    x86  
       2019-01-14 16:49:34 +08:00   ❤️ 4
    手冲一时爽,一直冲一直爽
    lkmountain
        39
    lkmountain  
       2019-01-14 16:51:10 +08:00 via Android
    插眼
    youngxu
        40
    youngxu  
       2019-01-14 16:52:48 +08:00 via Android
    机器之心昨天发的,我昨天就 clone 了以防被删( x
    OMGZui
        41
    OMGZui  
       2019-01-14 16:56:23 +08:00 via Android
    留图不留种,xxxxxx
    JRay
        42
    JRay  
       2019-01-14 16:59:56 +08:00   ❤️ 2
    为了学习人工智能我决定要收藏一波
    wjfz
        43
    wjfz  
       2019-01-14 17:01:04 +08:00
    已 DownLoad ZIP 防止被删
    cp333
        44
    cp333  
       2019-01-14 17:01:52 +08:00 via iPhone
    教练,我也要学人工智能
    hackpro
        45
    hackpro  
       2019-01-14 17:03:39 +08:00 via iPad
    这么大的数据集就算了 你还要做 GAN
    你想干嘛 想让 TA 自己脱衣服吗😂
    zhichaozhang
        46
    zhichaozhang  
       2019-01-14 17:03:53 +08:00 via iPhone
    fork 了
    qiuai
        47
    qiuai  
       2019-01-14 17:18:01 +08:00
    @thonatos 家里随时有几箱营养快线的路过...快放出来...
    leexy
        48
    leexy  
       2019-01-14 17:18:25 +08:00
    666
    ResidualWind
        49
    ResidualWind  
       2019-01-14 17:25:59 +08:00
    火钳刘明
    rocyhua
        50
    rocyhua  
       2019-01-14 17:27:13 +08:00
    火钳刘明
    CivAx
        51
    CivAx  
       2019-01-14 17:38:40 +08:00
    后排兜售营养快线、卷纸
    bravecarrot
        52
    bravecarrot  
       2019-01-14 17:46:57 +08:00 via iPhone
    期待楼主的换脸作品
    zhouyg
        53
    zhouyg  
       2019-01-14 17:47:41 +08:00
    学习学习下人工智能
    Yiki
        54
    Yiki  
       2019-01-14 17:59:45 +08:00
    大家保重身体
    lostberryzz
        55
    lostberryzz  
       2019-01-14 18:02:50 +08:00
    proxychains4 wget --tries=1 -i raw_data/porn/porn.txt
    peaceblast
        56
    peaceblast  
       2019-01-14 18:07:32 +08:00 via iPhone
    @zhouyg 好像很正经的样子……
    mumonitor
        57
    mumonitor  
       2019-01-14 18:13:12 +08:00
    我准备开始学习卷积神经网络了!
    AngryPanda
        58
    AngryPanda  
       2019-01-14 18:13:18 +08:00
    战略性 mark
    j717273419
        59
    j717273419  
       2019-01-14 18:44:05 +08:00 via Android
    有没有 nsfw 视频训练集
    0312birdzhang
        60
    0312birdzhang  
       2019-01-14 18:58:39 +08:00
    战略性马克, 我为什么滑稽了起来
    xlcoder166
        61
    xlcoder166  
       2019-01-14 19:05:28 +08:00
    战略性马克 +1
    heiyutian
        62
    heiyutian  
       2019-01-14 19:14:53 +08:00 via Android
    这是限制级?

    ddid
        63
    ddid  
       2019-01-14 19:21:17 +08:00
    我有个疑问,这些资源都是欧美的,如果是亚洲或者非洲内容,会不会免疫鉴定呢?
    hotea
        64
    hotea  
       2019-01-14 19:21:38 +08:00
    1024
    purplewall
        65
    purplewall  
       2019-01-14 19:23:25 +08:00
    讲真这个项目是个爬虫+分类器吧,不过链接是真的多
    dissvm
        66
    dissvm  
       2019-01-14 19:24:54 +08:00 via Android
    91024
    tao1991123
        67
    tao1991123  
       2019-01-14 19:25:20 +08:00
    好人一生平安
    ddid
        68
    ddid  
       2019-01-14 19:26:07 +08:00
    好吧,多翻了几张,挺全面的……
    michaelcheng
        69
    michaelcheng  
       2019-01-14 19:29:32 +08:00
    凸(艹皿艹 ),在公司不小心点开
    googlefans
        70
    googlefans  
       2019-01-14 19:38:25 +08:00 via iPad
    懂了
    KasuganoSoras
        71
    KasuganoSoras  
       2019-01-14 19:39:19 +08:00   ❤️ 1
    <?php
    $data = file_get_contents("/raw_data/pron/pron.txt");
    $exp = explode("\n", $data);
    foreach($exp as $url) {
    exec("wget {$url}");
    }
    KasuganoSoras
        72
    KasuganoSoras  
       2019-01-14 19:39:45 +08:00
    写错了是 porn hhh
    earthyan
        73
    earthyan  
       2019-01-14 19:43:33 +08:00 via iPhone
    哈哈哈
    wangfei324017
        74
    wangfei324017  
       2019-01-14 19:45:55 +08:00
    蛮多无关的啊。。
    Phariel
        75
    Phariel  
       2019-01-14 19:48:18 +08:00 via iPhone
    这种项目建议不要 fork 会有 ban 号的风险
    Loyalsoldier
        76
    Loyalsoldier  
       2019-01-14 20:01:19 +08:00   ❤️ 2
    cat ../urls.txt | xargs -n 1 -P 20 wget -t 3

    -P 20 这个 20 上同时下载的数量,这是同时一次下载 20 张图片
    -t 3 这个 3 是如果图片第一次下载失败后,尝试 3 次
    daxiongz
        77
    daxiongz  
       2019-01-14 20:30:20 +08:00
    够了....
    mlhorizon
        78
    mlhorizon  
       2019-01-14 20:38:45 +08:00
    @heiyutian #62 按照绿绿教义,肯定限制级。
    weeevv
        79
    weeevv  
       2019-01-14 20:58:24 +08:00 via Android
    再来几个人把 GAN 抬上来...
    ayase252
        80
    ayase252  
       2019-01-14 21:21:24 +08:00
    exciting
        81
    exciting  
       2019-01-14 21:48:07 +08:00 via iPhone
    1024
    咦,不好意思走错站了。
    i945
        82
    i945  
       2019-01-14 21:51:29 +08:00
    我感觉... 这个真训练出来,没几张图能过审
    Mrlgm
        83
    Mrlgm  
       2019-01-14 22:21:10 +08:00
    这谁顶得住呀
    Nick2VIPUser
        84
    Nick2VIPUser  
       2019-01-14 22:57:10 +08:00   ❤️ 2
    fly9006
        85
    fly9006  
       2019-01-14 23:16:35 +08:00
    额,这样玩下去,gayhub💊
    xxgirl2
        86
    xxgirl2  
       2019-01-15 01:15:11 +08:00
    记得把下载脚本里的 wget 改用 aria2c,要不然那是真的慢(
    xuanbg
        87
    xuanbg  
       2019-01-15 07:24:05 +08:00
    自然风光图片不错
    imn1
        88
    imn1  
       2019-01-15 07:52:12 +08:00
    自从有电脑开始就不缺这种数据,而且是已经标注了的……
    leopku
        89
    leopku  
       2019-01-15 08:09:03 +08:00 via iPhone
    leopku
        90
    leopku  
       2019-01-15 08:12:25 +08:00 via iPhone
    @imn1 不分享说个猫线
    imn1
        91
    imn1  
       2019-01-15 08:20:22 +08:00
    @leopku
    我只是想说,搞技术的,甚至仅仅只是会用现成工具的,22w 都只是小数目

    而且,在这点上我比较相信人民警察的能力,自己拿没事,分享则要慎重
    lyseky
        92
    lyseky  
       2019-01-15 08:21:08 +08:00 via Android
    收藏不看系列
    fengc
        93
    fengc  
       2019-01-15 08:26:13 +08:00 via iPhone
    flashrick
        94
    flashrick  
       2019-01-15 09:01:35 +08:00
    这谁顶得住啊
    DRcoding
        95
    DRcoding  
       2019-01-15 09:07:15 +08:00
    7129 次点击 ∙ 263 人收藏 ∙ 5 人感谢

    热爱学习的我觉定让它变成 264 人收藏
    hasbug
        96
    hasbug  
       2019-01-15 09:21:35 +08:00
    翻看了一些,都是欧美,也没看到真漏的,失望,还不如 sex 站直接看
    huruwo
        97
    huruwo  
       2019-01-15 09:26:06 +08:00
    fork 就完事了
    Tourin
        98
    Tourin  
       2019-01-15 09:33:34 +08:00
    已 star
    Rizio
        99
    Rizio  
       2019-01-15 09:33:58 +08:00
    @heiyutian 说起来有点下流,我。。我好了
    Rizio
        100
    Rizio  
       2019-01-15 09:34:35 +08:00
    @hasbug 就是要这种没漏的,留给自己 YY 的空间,嘿嘿嘿嘿
    1  2  
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2686 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 11:20 · PVG 19:20 · LAX 03:20 · JFK 06:20
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.