分类：编程语言

2020
10-10

使用scrapy ImagesPipeline爬取图片资源的示例代码

这是一个使用scrapy的ImagesPipeline爬取下载图片的示例，生成的图片保存在爬虫的full文件夹里。scrapystartprojectDoubanImgscdDoubanImgsscrapygenspiderdownload_douban douban.comvimspiders/download_douban.py#coding=utf-8fromscrapy.spidersimportSpiderimportrefromscrapyimportRequestfrom..itemsimportDoubanImgsItemclassdownload_douban(Spider):name='download_douban'default_header... 继续阅读 >
2020
10-10

Openlayers显示地理位置坐标的方法

本文实例为大家分享了Openlayers显示地理位置坐标的具体代码，供大家参考，具体内容如下1、新建一个html页面，引入ol.js和ol.css文件，然后在body中创建两个div标签，分别用来作为地图和鼠标位置控件的容器；2、代码实现<!DOCTYPEhtml><htmlxmlns="http://www.w3.org/1999/xhtml"><head><metahttp-equiv="Content-Type"content="text/html;charset=utf-8"/><title></title><scriptsrc="../lib/ol/ol.js"></script><linkh... 继续阅读 >
2020
10-10

通俗讲解JVM的类加载机制

前言我们很多小伙伴平时都是做JAVA开发的，那么作为一名合格的工程师，你是否有仔细的思考过JVM的运行原理呢。如果懂得了JVM的运行原理和内存模型，像是一些JVM调优、垃圾回收机制等等的问题我们才能有一个更清晰的概念。为了走进JVM，深入了解底层，王子打算写一个JVM的专题，留下自己对JVM探索的足迹，同时也希望能帮到小伙伴们更好的理解JVM。那我们开始吧。JAVA代码的运行流程首先我们就来聊一聊JAVA代码是怎么运行起来的，这... 继续阅读 >
2020
10-10

详解scrapy内置中间件的顺序

1.内置下载器中间件顺序{'scrapy.downloadermiddlewares.ajaxcrawl.AjaxCrawlMiddleware':560,'scrapy.downloadermiddlewares.cookies.CookiesMiddleware':700,'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware':400,'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware':350,'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware':300,'scrapy.downloadermiddlew... 继续阅读 >
2020
10-10

Java sha1散列算法原理及代码实例

直接调用HashKit.sha1(Stringstr)方法就可以了，，返回的是16进制的字符串长度是40，也就是用md.digest（）方法解析出来的字节数是160字节长度。而MD5散列算法生成的字节数是128字节长度，返回的16进制的字符长度是32位代码如下publicclassHashKit{privatestaticfinalchar[]HEX_DIGITS="0123456789abcdef".toCharArray();publicstaticStringsha1(StringsrcStr){returnhash("SHA-1",srcStr);}publi... 继续阅读 >
2020
10-10

Python爬虫代理池搭建的方法步骤

一、为什么要搭建爬虫代理池在众多的网站防爬措施中，有一种是根据ip的访问频率进行限制，即在某一时间段内，当某个ip的访问次数达到一定的阀值时，该ip就会被拉黑、在一段时间内禁止访问。应对的方法有两种：1.降低爬虫的爬取频率，避免IP被限制访问，缺点显而易见：会大大降低爬取的效率。2.搭建一个IP代理池，使用不同的IP轮流进行爬取。二、搭建思路1、从代理网站(如：西刺代理、快代理、云代理、无忧代理)爬取代理IP；2、验... 继续阅读 >
2020
10-10

JAVA HashSet和TreeSet 保证存入元素不会重复的操作

Set是一种数据集合。它与List同样继承与Collection接口。它与Collection接口中的方法基本一致，并没有对Collection接口进行功能进行功能上的扩充，只是比Collection接口更严格了。与List不同的是，Set中的元素是无无需的，并且都以某种规则保证存入的元素不会出现重复。它的特点也就是：1.元素不会出现重复。2.元素是无序的。（存取无序）3.元素可以为空。每种类型的Set所使用的避免元素重复的规则都是不同的，今天我们主要还是... 继续阅读 >
2020
10-10

idea 安装 Mybatis 开发帮助插件 MyBatisCodeHelper-Pro 插件破解版的方法

1，简述MyBatisCodeHelper-Pro插件可以帮助我们快速的开发mybatis，其中最重要的一项功能就是在mapper接口和xml文件之间互相跳转，从而锁定对应的方法和SQL片段，解决了，项目越来越大，越来越复杂时，难以寻找映射文件的困扰，即使是做了命名规范，也不如点击一下，直、接跳转来的方便！但是很可惜，这个插件是收费的！2，安装1，查找适合自己的插件版本，我们打开idea=>file=>setting=>plugin图上的2.7.8就是我们... 继续阅读 >
2020
10-10

Java TreeSet 添加失败的解决

Java中TreeSet是Set的一个子类。Set、List、Map区别Set是一个无序、不允许重复的集合。List（ArrayList、Vector等）是有序、可重复的。Map（HashMap等）是键值对。publicstaticvoiddemo(){TreeSet<Person>ts=newTreeSet<>();ts.add(newPerson("张三",23));ts.add(newPerson("李四",13));ts.add(newPerson("周七",13));ts.add(newPerson("王五",43));ts.add(newPerson("赵六",33));... 继续阅读 >
2020
10-10

浅析python 通⽤爬⾍和聚焦爬⾍

一、爬虫的简单理解1.什么是爬虫？网络爬虫也叫网络蜘蛛，如果把互联网比喻成一个蜘蛛网，那么蜘蛛就是在网上爬来爬去的蜘蛛，爬虫程序通过请求url地址，根据响应的内容进行解析采集数据，比如：如果响应内容是html，分析dom结构，进行dom解析、或者正则匹配，如果响应内容是xml/json数据，就可以转数据对象，然后对数据进行解析。2.爬虫有什么作用？通过有效的爬虫手段批量采集数据，可以降低人工成本，提高有效数据量，给予运... 继续阅读 >
2020
10-10

Scrapy 配置动态代理IP的实现

应用Scrapy框架，配置动态IP处理反爬。#settings配置中间件DOWNLOADER_MIDDLEWARES={'text.middlewares.TextDownloaderMiddleware':543,#'text.middlewares.RandomUserAgentMiddleware':544,#'text.middlewares.CheckUserAgentMiddleware':545,'text.middlewares.ProxyMiddleware':546,'text.middlewares.CheckProxyMiddleware':547}#settings配置可用动态IPPROXIES=["http://101.231.104.82:80",... 继续阅读 >
2020
10-10

Intellij 下 mybatis 插件 MyBatisCodeHelperPro破解步骤详解

步骤1.破解包下载地址：https://gitee.com/pengzhile/MyBatisCodeHelper-Pro-Crack/releases步骤2.下载：IntellijIDEAplugins搜索安装：MyBatisCodeHelperPro（会要求输入key激活使用收费版功能，暂时忽略）重启IDEA；步骤三破解：下载完成后，进入IntellijIDEAplugins从硬盘安装步骤一中下载的MybatisCodeHelperNew-2.5-IDEA173-IDEA191.zip，重启IDEA，重启完成后输入任意Key即可破解；（亲测v2.0.2-IDEA173-IDEA182版有效... 继续阅读 >
2020
10-10

Openlayers学习之地图比例尺控件

本文实例为大家分享了Openlayers地图比例尺控件的具体代码，供大家参考，具体内容如下1、新建一个html页面，引入ol.js和ol.css文件，然后在body中创建两个div标签，分别用来作为地图和比例尺控件的容器；2、代码实现<!DOCTYPEhtml><htmlxmlns="http://www.w3.org/1999/xhtml"><head><metahttp-equiv="Content-Type"content="text/html;charset=utf-8"/><title></title><scriptsrc="../lib/ol/ol.js"></script><linkhref=... 继续阅读 >
2020
10-10

Scrapy中如何向Spider传入参数的方法实现

在使用Scrapy爬取数据时，有时会碰到需要根据传递给Spider的参数来决定爬取哪些Url或者爬取哪些页的情况。例如，百度贴吧的放置奇兵吧的地址如下，其中kw参数用来指定贴吧名称、pn参数用来对帖子进行翻页。https://tieba.baidu.com/f?kw=放置奇兵&ie=utf-8&pn=250如果我们希望通过参数传递的方式将贴吧名称和页数等参数传给Spider，来控制我们要爬取哪一个贴吧、爬取哪些页。遇到这种情况，有以下两种方法向Spider传递参数。... 继续阅读 >
2020
10-10

详解向scrapy中的spider传递参数的几种方法(2种)

有时需要根据项目的实际需求向spider传递参数以控制spider的行为，比如说，根据用户提交的url来控制spider爬取的网站。在这种情况下，可以使用两种方法向spider传递参数。第一种方法，在命令行用crawl控制spider爬取的时候，加上-a选项，例如：scrapycrawlmyspider-acategory=electronics然后在spider里这样写：importscrapyclassMySpider(scrapy.Spider):name='myspider'def__init__(self,category=None,*args,**... 继续阅读 >
2020
10-10

Eclipse创建tomcat实现过程原理详解

在本地eclipse上创建一个tomcatserver即tomcat服务器时，会复制一份tomca安装目录中的conf文件下的配置文件到这个tomcatserver目录下这个tomcatserver目录在workspaces路径，跟其他project同路径文件如下，这些配置文件是启动tomcat调用的启动参数启动tomcat时的启动参数-Dcatalina.base="D:\SourceCode\SVN2013\.metadata\.plugins\org.eclipse.wst.server.core\tmp3"-Dcatalina.home="F:\Apache\apache-tomcat-8.5.34"-Dwtp.... 继续阅读 >
2020
10-10

IDEA下使用MyBatisCodeHelper插件的方法详解

一：IDEA下使用MyBatisCodeHelper插件.(IDEA的版本20182.5亲测可用)      1.1 IDEA安装MyBatisCodeHelper插件.MyBatisCodeHelper插件现在要付费了,有条件可以买激活码激活的,支持正版,这里演示安装硬盘下载的插件的方式来介绍安装.下载链接：    链接:https://pan.baidu.com/s/1I-XlrPPVAuzsu9_XY0eEUQ提取码:bqvn，内含多个版本的.下载解压查看.Mybatis-Plugin插... 继续阅读 >
2020
10-10

解决java.lang.ClassCastException的java类型转换异常的问题

在项目中,需要使用XStream将xmlstring转成相应的对象,却报出了java.lang.ClassCastException:com.model.testcannotbecasttocom.model.test的错误。原因：项目中应该是采用了热部署，devtools，因为累加载器的不同所以会导致类型转换失败措施：在pom.xml中将以下代码注释掉：<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-devtools</artifactId><scope>runtime</scope></dependen... 继续阅读 >
2020
10-10

解决java.util.NoSuchElementException异常的问题

java.util.NoSuchElementException报错的行数是一个scnner的next，本来和老师讨论了半天没有什么头绪，错误的原因是，因为找不到下一个元素，然后，如果把上一个函数中操作system.in的函数注释掉，就不会出现问题。后来，老师一问，就是因为在上面函数的时候，我将system手动关闭掉了，系统资源不同于文件，一旦关闭就不能再打开，这就是问题的原因。系统资源一旦释放就不能再开启了，所以只有确定不在使用系统的时候，才能将流关... 继续阅读 >
2020
10-10

Jebrains付费插件Activation code[持续更新]

使用本Activationcode需要jetbrains-agent支持！插件Activationcode:06KU174Y5C-eyJsaWNlbnNlSWQiOiIwNktVMTc0WTVDIiwibGljZW5zZWVOYW1lIjoia216amhwdCBwYmV2IiwiYXNzaWduZWVOYW1lIjoiIiwiYXNzaWduZWVFbWFpbCI6IiIsImxpY2Vuc2VSZXN0cmljdGlvbiI6IiIsImNoZWNrQ29uY3VycmVudFVzZSI6ZmFsc2UsInByb2R1Y3RzIjpbeyJjb2RlIjoiUE1ZQkFUSVNMT0ciLCJmYWxsYmFja0RhdGUiOiIyMDIzLTA3LTA3IiwicGFpZFVwVG8iOiIyMDIzLTA3LTA3In0seyJjb2RlIjoiUEh... 继续阅读 >
2020
10-10

小结Python的反射机制

前言：前两天用Python实现了ftp服务器。在小项目中就用到了反射。因此写个笔记巩固下。反射的定义：检测和修改它本身状态或行为的一种能力（自省）。而通过反射，Python可以通过字符串的映射或修改程序运行的状态和方法。反射的四个方法。hasattr，getattr，setattr，delattrhasattr：判断一个方法是否存在与这个类中classPerson(object):def__init__(self,name):self.name=namedeftalk(self):print("%s正在交谈"... 继续阅读 >
2020
10-10

Openlayers实现地图的基本操作

本文实例为大家分享了Openlayers实现地图基本操作的具体代码，供大家参考，具体内容如下1、新建一个html页面，引入ol.js和ol.css文件，然后在body中创建一个Div标签和4个Button按钮，用来实现地图的放大、缩小、平移等功能；2、代码实现<!DOCTYPEhtml><htmlxmlns="http://www.w3.org/1999/xhtml"><head><metahttp-equiv="Content-Type"content="text/html;charset=utf-8"/><title></title><scriptsrc="../lib/ol/ol.js"></... 继续阅读 >
2020
10-10

浅谈java 单例模式DCL的缺陷及单例的正确写法

1前言单例模式是我们经常使用的一种模式，一般来说很多资料都建议我们写成如下的模式：/***Createdbyqiyei2015on2017/5/13.*/publicclassInstance{privateStringstr="";privateinta=0;privatestaticInstanceins=null;/***构造方法私有化*/privateInstance(){str="hello";a=20;}/***DCL方式获取单例*@return*/publicstaticInstancegetInstance(){... 继续阅读 >
2020
10-10

scrapy与selenium结合爬取数据(爬取动态网站)的示例代码

scrapy框架只能爬取静态网站。如需爬取动态网站，需要结合着selenium进行js的渲染，才能获取到动态加载的数据。如何通过selenium请求url，而不再通过下载器Downloader去请求这个url?方法：在request对象通过中间件的时候，在中间件内部开始使用selenium去请求url，并且会得到url对应的源码，然后再将  源代码通过response对象返回，直接交给process_response()进行处理，再交给引擎。过程中相当于后续中间件的proc... 继续阅读 >