推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 1573 天前的主题，其中的信息可能已经有所发展或是发生改变。
我想问一下 我的 airflow 中的任务总是积压，也就是一直显示 running 中，重启之后 又好了，然后过一段时间又积压， 想请教一下 造成任务积压 有哪些原因呢？ 任务觉得也不是太多 也就几十个 DAG
 |
1
brickxu 2020-08-11 18:30:26 +08:00
worker 的并行度，以及 pool 的大小。UI 上可以看到这些信息，看看是堵哪里了。
|
 |
2
diggzhang 2020-08-11 18:38:35 +08:00
一般遇到“积压”的 web ui 呈现任务状态为灰色。
1. 检查是不是 sensor 太多了，抢占了资源 2. 扩并行度，是个配置参数，把值调大 3. 合理规划任务依赖，尽量不要发生跨 dag 依赖，可能发生乐观锁问题 |
 |
3
caoyouming 2020-08-11 19:18:56 +08:00
看下卡住的任务的上游日志，如果是因为并行度的原因。在日志中都能找到对应的提示信息的。我之前也遇到过，后来调整了一些参数 OK 了
|
 |
4
vipppppp 2020-08-11 19:23:36 +08:00
同一时间执行的数量超过 worker 数量？或者超过 dag 的数量？
|
 |
5
troywinter 2020-08-12 00:45:55 +08:00
cpu 够用就直接扩大并行度，另外你的 executor 确认是不是 local，不要用 sequential
|
Select Language