V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 外包信息请发到 /go/outsourcing 节点。
• 不要把相同的信息发到不同的节点
DeanThompson
V2EX  ›  酷工作

[深圳][一面数据] 招大数据工程师,组长直招

  •  
  •   DeanThompson · 2020-10-14 14:36:44 +08:00 · 2258 次点击
    这是一个创建于 1506 天前的主题,其中的信息可能已经有所发展或是发生改变。

    公司业务发展比较快,希望寻求一些有大数据开发相关经验的朋友加入。我本人是部门(内部叫 数据平台组)负责人,大家有问题、感兴趣都可以直接联系我(liyangliang <at> yimian.com.cn)。

    公司简介

    简单介绍一下公司,一面数据(官网)成立于 2014 年,主要通过数据分析和人工智能技术为消费行业提供商业洞察和决策指导。公司在 2019 年被跨国公司 Ascential (艾盛集团) 收购。我们在知乎上有个关注人数 26 万+ 的专栏 数据冰山

    岗位介绍

    回到正题,我们组目前使用的技术栈包括 Hadoop ( CDH 版)、Spark 、Kafka 、ClickHouse 、TiDB 、MySQL 、Airflow 等,开发语言主要使用 Python 和 SQL.

    日常工作主要是做项目(我们是 ToB 公司),一个典型的流程是先把爬虫采集的数据(在 TiDB 或 HBase Phoenix ) 同步到 Hive,再用 SQL 或 Spark 做 ETL 搭建数仓。内部基于 Airflow 开发了一个 Web 的数据开发平台(内部叫 OneFlow ),实现了数据同步、运行 Spark/SQL/Python 脚本、任务编排和调度等功能,大多数工作都在这个平台上开发。

    除了做 ETL,也有报表开发( Excel 和 CSV 报表,主要使用 Pandas + SQL + openpyxl )、工具研发(抽象和复用)、新技术调研的工作。

    岗位要求

    我想简单划分为硬技能和软技能两部分。

    硬技能其实在前面写得比较清楚了,如果您有相关经验,就能很快上手;如果没有,但能快速学习掌握,也是可以的。

    软技能看起来会比较虚,但其实在工作中非常重要。我们经常需要跟其他部门合作,所以需要有良好的沟通意愿和能力。ToB 业务对交付质量和时间都比较严格,所以需要有良好的质量意识、deadline 意识。另外,大家通常能看到的自我进化、主人翁意识、主动分享等能力和习惯也是我们所认同和鼓励的。

    关于我自己

    我 2013 年毕业,之后主要从事 Web 和 大数据开发。2017 年开始担任公司数据平台组的负责人,负责大数据团队的组建,团队从最初的 3 人发展到现在 13 人。前面提到的很多技术都是我选型和搭建的,OneFlow 也是我牵头开发。大家如果感兴趣,可以通过 我的知乎主页我的个人博客 了解更多信息。

    如果感兴趣,可以随时联系我,简历发到我的工作邮箱 liyangliang <at> yimian.com.cn

    第 1 条附言  ·  2020-11-17 23:25:00 +08:00
    继续招聘,长期有效。
    5 条回复    2020-11-04 18:14:05 +08:00
    DeanThompson
        1
    DeanThompson  
    OP
       2020-10-19 11:50:44 +08:00
    本招聘长期有效,欢迎来交流。
    user919lx
        2
    user919lx  
       2020-10-23 10:21:28 +08:00
    公众号看起来不错
    DeanThompson
        3
    DeanThompson  
    OP
       2020-10-23 13:47:35 +08:00
    顶一下,希望有合适的朋友们加入
    aurinko
        4
    aurinko  
       2020-10-23 16:12:00 +08:00
    帮顶。投简历当天就回复了,面试官人很 nice~
    DeanThompson
        5
    DeanThompson  
    OP
       2020-11-04 18:14:05 +08:00
    感谢 V 站,已经有个小伙伴入职了。继续招聘~
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3557 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 04:32 · PVG 12:32 · LAX 20:32 · JFK 23:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.