请问有什么办法或者网站抓取滚动数据？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3663 天前的主题，其中的信息可能已经有所发展或是发生改变。

之前问过定时抓取网站数据的帖子，有朋友推荐了两个网站使用起来还不错，但是现在遇到一个问题是无法抓取滚动列表的数据，请问还有什么工具或网站可以定时抓取呢？

3 条回复 • 2014-11-19 12:11:16 +08:00

jprovim

2014-11-19 04:32:32 +08:00

不能, 如果需要交互的話, 比如說鼠標滑至最底出現另外一個頁面(unlimit scroll), JS代碼的話, 普通的爬蟲是不行的, 除非
1. 用headless browser
2. 或者分析JS代碼直接找到規律, 爬取類似的代碼.

nayuki

2014-11-19 10:48:17 +08:00 via iPhone

可以模拟桌面浏览器渲染，然后抓取html

bobopu

2014-11-19 12:11:16 +08:00 via iPhone

@jprovim
@nayuki 找到办法了，之前那个抓取网站调整了下可以抓取了。