belcher 最近的时间轴更新 belcher 最近的时间轴更新 |
belcherV2EX 第 289437 号会员，加入于 2018-02-04 12:37:40 +08:00 |
| 一个 job 中,spark 实际启动 executor 数量 程序员 • belcher • 2019-01-20 23:14:12 PM • 最后回复来自 mggis0or1 | 1 |
| spark 的 shuffle 算子一定会产生宽依赖吗？ Hadoop • belcher • 2019-01-20 22:36:15 PM • 最后回复来自 belcher | 5 |
belcher 最近回复了
2019-01-20 23:03:09 +08:00 回复了 voxtriorusa 创建的主题 › 云计算 › 试用了一哈 aws，在我这延迟 270ms， |
lightsail 日本和新加坡挺好的。
2019-01-20 22:36:15 +08:00 回复了 belcher 创建的主题 › Hadoop › spark 的 shuffle 算子一定会产生宽依赖吗？ |
@jakson 问题就在这，概念上是你说的这样的。宽依赖本质是父 rdd 的一个 partition 被多个子 rdd 的 partition 共享，就是一对多。那么如果使用了 shuffle 算子之后，父 rdd 的一个 partition 并没有被多个子 rdd 的 partition 共享，而是只分配给了一个子 rdd 的 partition，这还算宽依赖吗？
2019-01-19 21:20:04 +08:00 回复了 belcher 创建的主题 › Hadoop › spark 的 shuffle 算子一定会产生宽依赖吗？ |
@bsidb 我懂了，分区规则一样，join 的时候 partition 就不存在一对多的情况了，也就是 shuffle 算子不一定产生宽依赖。那么，宽依赖一定是由 shuffle 产生的，这句话是对的么，有没有特例？
2018-12-21 15:53:44 +08:00 回复了 hitfxw 创建的主题 › 酷工作 › [深圳][社招] 深信服云计算产品招后端工程师，工作地点位于南山智园，塘朗地铁站边 |
我做大数据的，想去你们公司但是经验达不到要求，我 17 年毕业做了不到一年大数据，所以想面大数据测试岗，你能帮个忙推一下么😉
2018-12-20 14:39:07 +08:00 回复了 suley 创建的主题 › 宽带症候群 › 做个小调查，哪家宽带/哪个地区的上传速度最快？ |
深圳这边出了个游戏宽带，100m 上传。。。
2018-12-20 14:15:22 +08:00 回复了 shuni9 创建的主题 › 酷工作 › 「北京」「知乎」大数据开发（数仓方向）招聘实习生 |
敢问您的邮箱地址是什么鬼
2018-12-20 14:06:50 +08:00 回复了 RangerM 创建的主题 › 酷工作 › [北京/深圳] 城市数据 SaaS 公司招前/后端工程师 |
顺便问一句，缺大数据开发么😁
2018-12-20 14:02:27 +08:00 回复了 xiaoshu 创建的主题 › 酷工作 › 有意换工作的童鞋看过来奥 深圳 shopee 年底急招 前端 后端 产品 测试 运营... 总有一款适合你 |
那想必你们一定需要大数据开发喽，初级的😂
2018-08-04 00:56:56 +08:00 回复了 maemolee 创建的主题 › Apple › 花了十几分钟，设计了一款纪念苹果突破万亿美元市值的 T 恤，打算去淘宝定制一下 |
这。。。普通非果粉没啥好纪念的感觉。
2018-07-30 23:46:25 +08:00 回复了 StephenDev 创建的主题 › 职场话题 › v 站上到底有多少敢说敢走的？ |
周四，行业前辈劝我放弃做.net 去培训大数据，周五辞职，周六报名培训机构，周一上课。目前已经培训一个多月了。
Select Language