分类：全部列表

2021
02-21

Scrapy实现模拟登录的示例代码

为什么要模拟登录有些网站是需要登录之后才能访问的，即便是同一个网站，在用户登录前后页面所展示的内容也可能会大不相同，例如，未登录时访问Github首页将会是以下的注册页面：然而，登录后访问Github首页将包含如下页面内容：如果我们要爬取的是一些需要登录之后才能访问的页面数据就需要模拟登录了。通常我们都是利用的Cookies来实现模拟登录，在Scrapy中，模拟登陆网站一般有如下两种实现方式：    ... 继续阅读 >
2021
02-21

scrapy-splash简单使用详解

1.scrapy_splash是scrapy的一个组件scrapy_splash加载js数据基于Splash来实现的Splash是一个Javascrapy渲染服务，它是一个实现HTTPAPI的轻量级浏览器，Splash是用Python和Lua语言实现的，基于Twisted和QT等模块构建使用scrapy-splash最终拿到的response相当于是在浏览器全部渲染完成以后的网页源代码2.scrapy_splash的作用scrpay_splash能够模拟浏览器加载js，并返回js运行后的数据3.scrapy_splash的环境安装3.1使用splash的dock... 继续阅读 >
2021
02-21

如何利用Java递归解决“九连环”公式

在之前有写到过一点点有关递归的东西点击打开链接，然后想到小时候自己玩的一个玩具——九连环。小时候自己曾经一边玩一边用笔记下来解开这个东西的公式，那是十几年前的事情了。前两天突然想起来，九连环的基本操作就是一个递归，一个感觉起来非常标准的递归过程。九连环的玩法规则用一句话来概括就是：如果你想要卸掉某一环或者装上某一环，只需要保留这一环前面一环，再之前所有的环都卸掉。（例如你想要卸掉或者装上第9环，那... 继续阅读 >
2021
02-21

Java实现简单的递归操作方法实例

前言在数据结构算法设计中，或者一个方法的具体实现的时候，有一种方法叫做“递归”，这种方法在思想上并不是特别难，但是实现起来还是有一些需要注意的。虽然对于很多递归算法都可以由相应的循环迭代来代替，但是对于一些比较抽象复杂的算法不用递归很难理解与实现。递归分为直接递归和间接递归，就简单分享一下两个小的直接递归。对于递归的概念，其实你可以简单的理解为自己定义自己，记得小时候看过一部电视剧《狼毒花》，里面... 继续阅读 >
2021
02-21

详解使用scrapy进行模拟登陆三种方式

scrapy有三种方法模拟登陆方式：-直接携带cookies-找url地址，发送post请求存储cookie-找到对应的form表单，自动解析input标签，自动解析post请求的url地址，自动带上数据，自动发送请求1、携带cookies登陆githubimportscrapyimportreclassLogin1Spider(scrapy.Spider):name='login1'allowed_domains=['github.com']start_urls=['https://github.com/NoobPythoner']#这是一个需要登陆以后才能访问的页面de... 继续阅读 >
2021
02-21

利用Python如何画一颗心、小人发射爱心

源码：#!/usr/bin/envpython#-*-coding:utf-8-*-importturtleimporttime#画心形圆弧defhart_arc():foriinrange(200):turtle.right(1)turtle.forward(2)defmove_pen_position(x,y):turtle.hideturtle()#隐藏画笔（先）turtle.up()#提笔turtle.goto(x,y)#移动画笔到指定起始坐标（窗口中心为0,0）turtle.down()#下笔turtle.showturtle()#显示画笔#初始化turtle.setup(width=800,height=50... 继续阅读 >
2021
02-21

python 第三方库paramiko的常用方式

介绍paramiko是什么可以参考其他人的博客或文章，这里不再赘述，直入正题。本次测试的版本信息如下：python3.9paramiko2.7.2centos8三种常用方式paramiko的三种常用方式如下：使用密码进行登录使用密钥免密码登录SFTP传输文件其中最割裂的就是SFTP传输文件，很多文章登陆使用SSHClient类，传输文件使用Transport类，我也是这样用了很长时间。如果你也是这么用的，你没有啥想法吗？用python就是节约心智，怎么一... 继续阅读 >
2021
02-21

C++ 类的友元机制解读

下面给出C++类的友元机制说明（对类private、protected成员访问），需要注意的是，友元机制尽量不用或者少用，虽然它会提供某种程度的效率，但会带来数据安全性的问题。类的友元友元是C++提供的一种破坏数据封装和数据隐藏的机制。通过将一个模块声明为另一个模块的友元，一个模块能够引用到另一个模块中本是被隐藏的信息。可以使用友元函数和友元类。为了确保数据的完整性，及数据封装与隐藏的原则，建议尽量不使... 继续阅读 >
2021
02-21

Python中Qslider控件实操详解

在学习一些pyqt5的内容后，我们对于其中的组件也有所接触。本篇所要带来的是Qslider控件，也可以说是python中比较常见的控件了。在一些具体的使用和方向等相关的操作上，很多人是没有全面的进行过系统学习的。下面我们就这些操作逐个为大家带来介绍，一起来看下Qslider控件的使用吧。1、控件介绍和使用qslider解释为滑块控件，用于方便左右滑动。往往这类滑动更多用于屏幕可以触碰的设备。我们想要使用滑块控件，本质上实则就是调... 继续阅读 >
2021
02-21

MySQL中Like概念及用法讲解

Like中文解释为喜欢的意思，但当应用于MySQL数据库中，Like则是一种语句，用于模糊查询，主要是针对字符型字段的，在一个字符型字段列中检索包含对应子串的。本文向大家介绍MySQL中Like语句。一、Like是什么意思1、Like算作MySQL中的谓词，其应用与is、=、>和<等符号用法类似。2、在sql结构化查询语言中，like语句有着至关重要的作用。3、从某种意义上讲，Like可看作是一个精简的正则表达式功能。二、Like作用like语句的语法格式是... 继续阅读 >
2021
02-21

解决java main函数中的args数组传值问题

这几天面试中有遇到关于main数组中的args数组传值的问题，一般是从命令提示符中传值，也可以直接在java代码中赋值。而且这个数组的长度是动态的，根据传值的个数确定数组的长度。1.从命令提示符中传值我在桌面新建了一个文本文档重命名为TestMain.java，代码如下publicclassTestMain{publicstaticvoidmain(String[]args){System.out.println("hello"+args[0]);System.out.println("welcome"+args[1]);}... 继续阅读 >
2021
02-21

详解C++ 共享数据保护机制

下面随笔说明C++共享数据保护机制。共享数据的保护对于既需要共享、又需要防止改变的数据应该声明为常类型（用const进行修饰）。对于不改变对象状态的成员函数应该声明为常函数。（1）常类型①常对象：必须进行初始化,不能被更新。const类名对象名②常成员用const进行修饰的类成员：常数据成员和常函数成员③常引用：被引用的对象不能被更新。const 类型说明符 &引用名④常... 继续阅读 >
2021
02-21

python基于selenium爬取斗鱼弹幕

针对弹幕的爬取我们如果只需要获取看到的网页里面的而数据，使用selenium就能实现，对于直播平台来说，往往有第三方平台api让你获取数据（可以获取发弹幕，发弹幕者的名字礼物等等，这需要客户端向弹幕服务器发送登录请求，心跳信息的发送等等）只获取弹幕信息储存到txt文件中，上代码，上图片代码如下：importtimefromseleniumimportwebdriverchrome_options=webdriver.ChromeOptions()#使用headless无界面浏览器模式#chr... 继续阅读 >
2021
02-21

Python爬虫+Tkinter制作一个翻译软件的示例

今天咱们用Python爬虫和Tkinter界面来做一个翻译软件。一、运行效果软件实现功能：当我们输入英文或中文时，程序即可打印出来对应的译文，如图：二、实现方法1.爬虫部分实现一键翻译最简单的方式就是爬虫，我们只需将要翻译的内容传入，然后将翻译的结果爬取下来呈现给用户即可。在本文中，我们选择的网站是有道翻译。下图这个界面，你在左边输入文字，那么浏览器会把你输入的信息传输给服务器。再在右侧返回对应翻译结果。这就是... 继续阅读 >
2021
02-21

java——Byte类/包装类的使用说明

Byte类/包装类包装类是一个常量类，可实例化（意义：帮助对应的数据类型进行数据类型）java数据类型包括内置数据类型和引用数据类型内置数据类型：含6中数字类型（四个整数型，两个浮点型），一种字符类型，还有布尔类型bytebyte：数据类型占用1个字节=8bit，以二进制补码表示的整数取值范围：默认值为0，最小值为-128（-2^7）;最大值是127（2^7-1）数据类型关键字内存中占用字节数取值范围... 继续阅读 >
2021
02-21

python爬虫用request库处理cookie的实例讲解

python爬虫中使用urli库可以使用opener"发送多个请求，这些请求是能共享处理cookie的，小编之前也提过python爬虫中使用request库会比urllib库更加⽅便，使用使用requests也能达到共享cookie的目的，即使用request库get方法和使用requests库提供的session对象都可以处理。方法一：使用request库get方法resp=requests.get('http://www.baidu.com/')print(resp.cookies)print(resp.cookies.get_dict())方法二：使用requests... 继续阅读 >
2021
02-21

Android 使用gradle打包Assets目录的案例

现在提起Android开发工具，大多人第一个想到的肯定是AndroidStudio。谷歌专门为Android开发者推出的这款IDE，以其强大的功能迅速击败的老牌的eclipse。与此同时，eclipse依赖的ant，也逐渐被更加强大更加灵活的gradle所取代，成为Android开发领域首选构建工具。强大并不意味着没有坑。在使用gradle的过程中，特别是打包assets目录下的一些资源时，笔者真没想到你是这样的assets，遇到了若干问题，在此处做一个整理。如何创建asse... 继续阅读 >
2021
02-21

python 多线程爬取壁纸网站的示例

基本开发环境·Python3.6·Pycharm需要导入的库目标网页分析网站是静态网站，没有加密，可以直接爬取整体思路：1、先在列表页面获取每张壁纸的详情页地址2、在壁纸详情页面获取壁纸真实高清url地址3、保存地址代码实现模拟浏览器请请求网页，获取网页数据 这里只选择爬取前10页的数据代码如下importthreadingimportparselimportrequestsdefget_html(html_url):'''获取网页源代码:paramhtml_url:网页url:return:... 继续阅读 >
2021
02-21

java自定义ClassLoader加载指定的class文件操作

继承ClassLoader并且重写findClass方法就可以自定义一个类加载器，具体什么是类加载器以及类加载器的加载过程与顺序下次再说，下面给出一个小demo首先定义一个类，比如MyTest，并且将其编译成class文件，然后放到一个指定的文件夹下面，其中文件夹的最后几层就是它的包名，这里我将这个编译好的类放到:/Users/allen/Desktop/cn/lijie/MyTest.classpackagecn.lijie;publicclassMyTest{publicvoidshow(){System.out.p... 继续阅读 >
2021
02-21

解决windows service 2012阿里云服务器在搭建mysql时缺少msvcr100.dll文件的问题

解决方案-1：下载msvcr100.dll文件（从网上找源文件或者从自己电脑上拷贝），放在C:\Windows\SysWOW64中，但是依旧提示是缺少，或者不加载，安装不正确等之类的方法。失败！！！解决方案-2：想在服务器上安装360卫士，安装包下载后，无法安装，失败！！！最终将解决方案：下载MicrosoftRuntimesAIO(微软常用运行库合集).exe文件，放在C:\ProgramFiles下如图，运行该文件，等待安装成功，再次启动mysql，就成功了。(安装前截图)... 继续阅读 >
2021
02-21

手把手教你SpringBoot快速集成Swagger的配置过程

导语相信大家无论是做前端还是做后端的，都被接口接口文档所折磨过，前端抱怨接口文档和后端给的不一致，后端抱怨写接口文档很麻烦，所以Swagger就诞生了。直接配置即可自动生成接口文档，而且提供了高效的API测试话不多说直接开干导入SpringBoot集成Swagger所需要的依赖<!--web方便测试--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></depen... 继续阅读 >
2021
02-21

HashMap底层实现原理详解

一、快速入门示例：有一定基础的小伙伴们可以选择性的跳过该步骤HashMap是Java程序员使用频率最高的用于映射键值对(key和value)处理的数据类型。随着JDK版本的跟新，JDK1.8对HashMap底层的实现进行了优化，列入引入红黑树的数据结构和扩容的优化等。本文结合JDK1.7和JDK1.8的区别，深入探讨HashMap的数据结构实现和功能原理。Java为数据结构中的映射定义了一个接口java.uti.Map，此接口主要有四个常用的实现类，分别是HashMap，Lin... 继续阅读 >
2021
02-21

python 制作网站小说下载器

基本开发环境·Python3.6·Pycharm相关模块使用目标网页分析输入想看的小说内容，点击搜索这里会返回很多结果，我只选择第一个网页数据是静态数据，但是要搜索，是post请求，需要提价data参数，如下图所示：然后通过解析网站数据，获取第一个小说i的详情页url即可静态网页的获取，难度是不大的。defsearch():    search_url='http://www.xbiquge.la/modules/article/waps.php'    d... 继续阅读 >