苹果CMS全量资源采集时如何进行断点续传

首次建立苹果CMS,进行各源数据的全量采集,数据几千页,电脑在CMS的后台的采集-自定义接口,点击全量采集后,可能需要十几个小时才能采集完。

由于各种原因可能造成采集中断,有时没有出现断续采的提示,重新开始又得花费多几个小时的时间。

我们采集数据,一般是在采集-自定义接口:根据要采集的源,选择采集当天、采集本周、全量采集,然后进入采集页面。

但是,我们也可以在采集当天、采集本周、全量采集上右键-复制链接,然后在新的网页地址栏粘贴,开始采集。

如果知道中断时的大概页数,那么可以重新选择这个中断的资源接口,点击全量采集,这时从页1开始,复制页面上部地址栏的内容,https://xx.xx.xx.xx/xx/admin/collect/api.html?ac=xxxx_year=&param=&page=1,将最后的1改成你要重新开始的页,即开始从新的点采集。

如果你不知道大概的断点在哪,可以大概做一下测试:在采集-自定义接口界面,点击要采集的资源的接口,就会出现这个资源的所有资源表(视频名、页),在最下方的右侧,到页:输入某个页,按右侧确定,就会显示这个页的视频表,在表上方的选择框打勾,点击表下方的“采选中”,就会对这个表进行采集,看出现的采集页面,如何都是无需更新,说明这个页已经采集过,如果显示的条目有已入库,说明这个页面没有采集过,然后再前后选择个页进行测试,找到大致断点,开始重新采集。

你也可https://xx.xx.xx.xx/xx/admin/collect/api.html?ac=xxxx_year=&param=&page=1 不断的跳动改变page=的值,观察数值,确定是否已采集。


评论

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注