文献类型： 中文期刊
作者： 李乔宇 1 ; 尚明华 2 ; 王富军 2 ; 刘淑云 3 ;
作者机构： 1.山东省农业科学院科技信息研究所
2.;山东省农业科学院科技信息研究所
3.;山东省农业科学院科技信息研究所;
关键词： Scrapy;爬虫;网络数据;数据挖掘;玉米价格
期刊名称： 山东农业科学
ISSN： 1001-4942
年卷期： 2018 年 01 期
页码： 142-147
摘要： 准确、及时、高效地获取农业数据是全产业链农业信息分析预警工作的前提和基础,是提升农业信息分析预警专业化和规范化水平的关键。本研究针对互联网中存在的大量农业信息数据,以玉米价格数据为例,设计数据抓取和规范化存储策略,首先基于Scrapy框架建立对网页的请求响应,分析网页布局后对关键信息进行循环抓取,并利用正则表达式将抓取的信息提取为格式化数据,然后将数据本地化存储为Microsoft Excel表格或存储至数据库中,最后利用Echarts将数据以可视化的方式在Web端展示,从而实现对农业网络数据的挖掘和利用。
- 相关文献
[1]决策树在人力资源管理中的应用研究. 孙华,李义杰,李清江. 2007
[2]数据挖掘技术在食品品质研究中的应用. 陶海腾,陈蕾蕾,王文亮,徐同成,刘丽娜,邱斌,杜方岭. 2013
[3]基于分位数因子模型的高维时间序列因果关系分析. 梁慧玲,刘慧,刘力维,赵佳,阮怀军. 2023
作者其他论文 更多>>
-
履带式作业装备自主导航路径规划方法研究
作者：穆元杰;尚明华;王富军;李乔宇;刘淑云
关键词：履带式作业装备;自主导航;路径规划;北斗卫星定位
-
数据权益去中心化的农业物联网系统
作者：李乔宇;封文杰;尚明华;刘淑云;王富军;穆元杰
关键词：去中心化;区块链;物联网;大数据;智能合约;通证经济
-
一种基于GPRS的溶解氧远程采集控制系统
作者：胡树冉;封文杰;穆元杰;李乔宇
关键词：GPRS;溶解氧;采集;控制系统;养殖;农业
-
基于时光双控的温室卷帘智能控制器设计
作者：穆元杰;赵庆柱;尚明华;李乔宇;刘淑云;王富军
关键词：温室;卷帘机;控制器
-
基于案例的刺参育苗投喂专家系统
作者：张启宇;唐君玮;马正;陈英义;刘峰;李兴佐;刘伟玲;刘淑云
关键词：海参;刺参;案例;育苗;投喂;专家系统
-
果蔬生产过程追溯平台设计与实现
作者：李乔宇;秦磊磊;穆元杰;刘淑云;尚明华
关键词：果蔬生产;农产品追溯;数据模型;物联网;管理平台;交叉验证
-
基于互联网的水肥一体化精量控制系统
作者：秦磊磊;王富军;胡树冉;赵庆柱
关键词：水肥一体化系统;互联网;ARM;PLC;农业信息;精量控制
