V2EX › ihehe 的所有回复 › 第 2 页 / 共 2 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2

❮

❯

2022-05-22 20:04:35 +08:00

这是个序列化 /反序列化的问题，跟语言无关，基本上任何语言都有一堆各自的序列化工具。
空间问题一般序列化工具优化的有限，对空间有要求的一般都是序列化后再加一层压缩，什么 gzip/zstd 啥的

2022-04-22 14:50:11 +08:00

@cyjthink 可以，打到内地民生卡收费很低；其他行就贵一些；不过没转过；内地到 hk 走的是外汇渠道，有 5w 的限制；
每个月收 50 hkd 的账户管理费，好像是卡里金额多少后就免费

2022-04-22 14:43:47 +08:00

2022-04-22 14:40:29 +08:00

2022-04-22 14:37:02 +08:00

富途有一堆群，你可以找找；凑够认数就可以办民生电子卡，只需要 tb 买个土耳其 30 天电子签，就可以了，成本 200 内；只是电子卡，只能在 app 上操作，没有实体卡

2022-03-31 11:34:53 +08:00

@zer0fire mysql 的 memory 引擎对这 1 亿处理应该没啥问题，如果 10 亿百亿的你就没这么多 memory 给它用了；
上面的那些组件都是 java 的，win 上应该是可以跑的，不用再虚拟一层 linux ；（不过我没有在 win 上用过它们）

2022-03-31 11:08:14 +08:00

@zer0fire 可以这么理解吧，前提是转好格式，提升几十倍的扫描速度，减少 10 多倍的数据大小，你可以试试单机的 spark/ flink/drill/presto 都可以直接扫文件，不用先导成表

2022-03-31 10:52:46 +08:00

写个程序把 mysql 数据读出来，生成 parquet 格式，就 1 亿条，上面的方案看错了，看成 10 亿，1 亿条转成 parquet 大概 1g 大小以内；那就不用那么麻烦，你这单机丢到 duckdb 里去，然后撸 sql 把

2022-03-31 10:38:48 +08:00

更正：mmp --> mpp

2022-03-31 10:37:12 +08:00

把这 10 亿数据生成 parquet 格式，丢到本地文件大概 10g 以内，找个 mmp 工具，单机版的就够用，10g 内存 sql 撸几次就可以了，结果存文件，这不就随便唆嘛

2021-10-29 14:25:08 +08:00

推荐很简单啊，哪用得上什么高深技术，随便搞个把 demo 方便以后吹水就行了
用户搜索过，查看过，收藏过，购买过啥，就疯狂推这个东西给他😎。
目前 99.9999%的大厂都这么做的

2021-10-29 14:20:13 +08:00

为啥搞那么多锁，一个乐观锁就解决了

1 2

❮

❯