Tornado中有个handler执行一条时间很长的sql，导致其他正访问网站的连接也会一起等待

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

Tornado Documentation

› http://www.v2ex.com/tornado/

Tornado on GitHub

› https://github.com/facebook/tornado/

Tornado Gists

› http://tornadogists.org/

这是一个创建于 4061 天前的主题，其中的信息可能已经有所发展或是发生改变。

我的/a 这个handler中，有个要查询很长时间的sql，大概5秒。在这5秒期间有其他用户访问tornado网站也会跟着一起等待，这个有没有办法解决呢。

SQL

handler

访问

21 条回复 • 1970-01-01 08:00:00 +08:00

Livid

MOD

2013-10-16 14:42:41 +08:00 via iPhone

启动多个 Tornado，然后通过 Nginx 做负载均衡。

shiny

2013-10-16 14:42:43 +08:00

用异步的数据库驱动。。。

foomorrow

2013-10-16 15:18:41 +08:00

@Livid 目前是这么做的由于服务器是双核所以就用supervisor开了2个实例

foomorrow

2013-10-16 15:20:37 +08:00

@shiny 我现在用的是sqlalchemy。尝试写成
jsonmap = yield gen.Task(self.get_data)
这个样子是否可行？

ipconfiger

2013-10-16 15:33:20 +08:00

@foomorrow 没用的，可以试试我的这个项目 https://github.com/ipconfiger/TorCast 将长时间执行的任务用redis分发到后端的worker进程，然后异步等待返回

Livid

MOD

2013-10-16 16:01:18 +08:00 via iPhone

@foomorrow 如果不会经常锁表的话，多开几个进程吧。

est

2013-10-16 16:17:26 +08:00

@foomorrow @shiny 我觉得 @ipconfiger 说的是对的。如果你db卡了。前端在怎么异步都没用。因为无论你多少个tornado实例，最终heavylifting还是一个mysqld 进程来执行所有查询操作。

shiny

2013-10-16 16:20:41 +08:00

@est 但是 mysql 有多线程啊亲！起码不会影响其他用户的访问。

est

2013-10-16 16:37:25 +08:00

@shiny 你猜猜mysqld默认线程上限是多少个？

shiny

2013-10-16 16:58:04 +08:00

@est 明白了，不过用队列代码会越来越复杂…… 还是优化 SQL、拆分数据库、加缓存方便？

est

2013-10-16 17:05:55 +08:00

@shiny 数据库是瓶颈就应该调教数据库。

比如我这里

show variables like 'max_connections';
+-----------------+-------+
| Variable_name | Value |
+-----------------+-------+
| max_connections | 151 |
+-----------------+-------+
1 row in set (0.00 sec)

如果 show variables like 'thread_handling'; 返回 one-thread-per-connection

再假设一个用户一个连接，每个连接查询5秒，你可以很容易算出来自己的服务器每秒钟能最多接待多少用户。

ipconfiger

2013-10-16 17:22:01 +08:00

@shiny 如果要执行5秒的数据库操作，你打算优化的目标是多少？用我的异步队列方案的话你可以和网站复用相同的业务逻辑代码，我自己的项目就是复用同一份逻辑代码，所以不会增加代码复杂度，不过这个要看你的设计功力了。