V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
veezzz
V2EX  ›  Python

Django dumpdata 内存溢出的问题

  •  
  •   veezzz · 2015-08-17 09:57:44 +08:00 · 2613 次点击
    这是一个创建于 3396 天前的主题,其中的信息可能已经有所发展或是发生改变。
    使用 django 的 dumpdata 来做数据库的迁移,数据库大小有 3G 多, dump 过程中内存不断增加最后挂掉了,一开始用的 django1.6, 觉得是实现问题,看了 1.8 的源码,好像改成了迭代器一条条写入,可是最后还是内存溢出,请问有什么什么好的办法
    4 条回复    2015-08-18 01:30:43 +08:00
    vicalloy
        1
    vicalloy  
       2015-08-17 10:11:22 +08:00
    别用 dumpdata 。
    虽然数据库部分用的是迭代器,但 json 部分在写入前还是全在内存中,内存肯定得暴。
    dumpdata 应当只是用来做小数据量的初始化工作,不是用来做数据迁移的。
    veezzz
        2
    veezzz  
    OP
       2015-08-17 10:13:33 +08:00
    @vicalloy 那 django 项目有好的数据库迁移方案么
    pc10201
        3
    pc10201  
       2015-08-17 22:06:30 +08:00
    @veezzz 直接用 mysql 原生的数据导入导出啊
    veezzz
        4
    veezzz  
    OP
       2015-08-18 01:30:43 +08:00
    @pc10201 迁移到 aws 的 rds 只能数据库连接,不能登录到服务器- -
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4102 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 05:17 · PVG 13:17 · LAX 21:17 · JFK 00:17
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.