分类：编程语言

2020
11-22

python中scrapy处理项目数据的实例分析

在我们处理完数据后，习惯把它放在原有的位置，但是这样也会出现一定的隐患。如果因为新数据的加入或者其他种种原因，当我们再次想要启用这个文件的时候，小伙伴们就会开始着急却怎么也翻不出来，似乎也没有其他更好的搜集办法，而重新进行数据整理显然是不现实的。下面我们就一起看看python爬虫中scrapy处理项目数据的方法吧。1、拉取项目$gitclonehttps://github.com/jonbakerfish/TweetScraper.git$cdTweetScraper/$pipi... 继续阅读 >
2020
11-22

JavaWeb入门教程之分页查询功能的简单实现

一、MySql实现分页查询的SQL语句1、分页需求：客户端通过传递pageNo(页码)，counter(每页显示的条数)两个参数去分页查询数据库表中的数据，那我们知道MySql数据库提供了分页的函数limitm,n，但是该函数的用法和我们的需求不一样，所以就需要我们根据实际情况去改写适合我们自己的分页语句，具体的分析如下：比如：查询第1条到第10条的数据的sql是：select*fromtablelimit0,10;  ->对应我们的需求就是查询第一页... 继续阅读 >
2020
11-22

Java 基于UDP协议实现消息发送

发短信：不用连接，但需要知道对方的地址，客户端、服务端没有明确的界限，可以说没有客户端、服务端一说。发送端packagelesson03;importjava.net.DatagramPacket;importjava.net.DatagramSocket;importjava.net.InetAddress;/***发送端*/publicclassUdpClientDemo1{publicstaticvoidmain(String[]args)throwsException{//1、建立一个SocketDatagramSocketsocket=newDatagramSocket();/**... 继续阅读 >
2020
11-22

python eventlet绿化和patch原理

说明eventlet是一个必备工具，经常用，绿化原理有点忘记了，重新复习一遍.三个主要问题 1.绿化的原理是什么?2.绿化怎么管理？3.绿化怎么引入？绿化原理利用select/epolls/kqueue等操作系统提供的非阻塞操作，将阻塞改为非阻塞.引用管理 eventlet在import之后，将模块中的属性绿化.用一小段代码来查看看importsysimporteventlet#eventlet.monkey_patch()httplib2=eventlet.import_patched('httplib2')print(... 继续阅读 >
2020
11-22

python 实用工具状态机transitions

说明 1.状态机是一个非常实用的理论。在涉及到复杂的场景，建立状态机模型，能带来极大的方便。比如，网络连接、模型状态、业务逻辑。 2.状态机并不复杂,重要的是它的思想，能够极大减轻复杂度。使用时关键在于定义好事件和动作。 基本概念 State:状态Event:事件.事件触发状态变换Action:动作.event发生前或后执行的动作transition:变换.状态变换githubhttps://github.com/pytransitions/... 继续阅读 >
2020
11-22

c# 剔除sql语句'尾巴'的五种方法

一：背景1.讲故事这几天都在修复bug真的太忙了，期间也遇到了一个挺有趣bug，和大家分享一下，这是一块sql挺复杂的报表相关业务，不知道哪一位大佬在错综复杂的嵌套+平行if判断中sql拼接在某些UI组合下出问题了，最终的sql架构类似这样的。varsql="select1unionallselect2unionallselect3unionall";这种sql到数据库去肯定是报错的，有些朋友可能想说这还不简单，在相关的if判断中不要追加这个unionall就... 继续阅读 >
2020
11-22

Docker 拉取镜像及标签操作 pull | tag

重翻Fabric项目的源码，发现Docker部分内容，有很多不尽理解的地方，看着看着，就看到使用dockerpull拉取Fabric镜像及使用dockertag为镜像重命名，稍作思虑，发现虽然使用过，却未求甚解，得过且过，如今已经忘了如何运用……1.dockerpull从镜像源拉取镜像，一般来说是从DockerHub拉取镜像（image）dockerpull[OPTIONS]NAME[:TAG|@DIGEST]选项，简写默认描述?all-tags,-a... 继续阅读 >
2020
11-22

docker内网搭建dns使用域名访问替代ip:port的操作

比如我内网有个jenkins，我如果要访问它我得牢牢记住它的ip和端口，一个服务我还能记住，多个的话我可能需要一个方便记忆的域名记录一些内网服务第1步：准备好docker环境第2步：下载好镜像dockerpullandyshinn/dnsmasq:2.75第3步：运行dnsmasq#后台启动dockerrun-d-p53:53/tcp-p53:53/udp--cap-add=NET_ADMIN--namedns-serverandyshinn/dnsmasq:2.75#进入容器dockerexec-itdns-server/bin/sh#创建代理文件-添加外... 继续阅读 >
2020
11-22

解决Docker中的error during connect异常情况

刚开始接触Docker，遇到异常问题难免会手忙脚乱。没事的，学习就是这样子，在困难中不断地找到解决问题的方法，贵在坚持，加油！来了来了，问题来了，不要慌，看下面：我们正常打开了Docker后执行命令后报出errorduringconnect异常。后面给出了对应异常错误的解释：Noconnectioncouldbemadebecausethetargetmachineactivelyrefusedit.（无法连接，因为目标机器主动拒绝它。）这下子我们知道问题在哪了，我们的Docker... 继续阅读 >
2020
11-22

Docker容器时区调整操作

如何检查Docker容器时区是否与宿主机一致？1、进入宿主机,执行以下命令：#查看宿主机时间[root@localhost~]#date2018年06月27日星期三22:42:44CST2、进入到容器中，执行以下命令#查看容器时间root@lksjoid909090:/#dateWedJul2714:43:31UTC2018CST应该是指（ChinaShanghaiTime，东八区时间）UTC应该是指（CoordinatedUniversalTime，标准时间）可以发现，他们相隔了8小时，宿主机与Docker容器时区不一致。解... 继续阅读 >
2020
11-22

解决docker run 或者 docker restart 启动镜像就自动退出

执行命令：dockerrun--namecentos8-dcentos/bin/bash，通过dockerps查看正在运行中容器，找不到centos8。通过dockerps-a查看发现，centos8容器已经处于停止状态了[root@MiWiFi-R4A-srvserver]$dockerrun--namecentos8-dcentos/bin/basha770630ca865b3c3346a321a383f302ed22af9281be8482f4f4debc59218d0d1[root@MiWiFi-R4A-srvserver]$dockerpsCONTAINERIDIMAGECOMMANDCREATEDSTATUSPORTS... 继续阅读 >
2020
11-22

利用nexus作为私库进行代理docker,进行上传和下载镜像操作

一、nexus的配置1.创建dockerproxy用于从外网仓库中拉取镜像至本地仓库中。点击“createRepository”，选择docker(proxy)进行创建填写参数点击“createrepository”创建2.创建dockerhosted用于将自己的镜像上传至私库点击“createRepository”，选择docker(hosted)进行创建填写参数：点击“createrepository”创建3.创建dockergroup用于pull镜像至本地使用，可下载外网镜像和从本地push到私库的镜像点击“createReposito... 继续阅读 >
2020
11-22

详解 c# 克隆

克隆方法是原型设计模式中必须使用的方式，它将返回一个与当前对象数据一致的对象。正如其名，犹如一个模子雕刻而出。克隆类型分为两种：浅克隆、深克隆。1、浅克隆浅克隆方式是最简单、最直接的方式。只需要类实现接口ICloneable（在命名空间System.Runtime.InteropServices下）的Clone方法，在方法中使用加入对当前类的MemberwiseClone()方法即可。在浅克隆中，如果原型对象的成员变量是值类型，将复制一份给克隆对象；如果原型... 继续阅读 >
2020
11-22

docker 连接宿主Mysql操作

今天公司项目要配置docker,顺利在windows上装完了之后，发现连接不上本地的mysql，一直报权限问题或者地址错误的问题最后发现1：地址按照下面这个ipv4来2：要在宿主Mysql将localhost权限打开，命令如下mysql-uroot-pvmwaremysql>usemysql;mysql>updateusersethost='%'whereuser='root';mysql>selecthost,userfromuser;好了没了。补充知识：Docker连接数据库容器无法本地访问，但可以远程访问的问题前言以前我用id... 继续阅读 >
2020
11-22

python 实现表情识别

表情识别表情识别支持7种表情类型，生气、厌恶、恐惧、开心、难过、惊喜、平静等。实现思路使用OpenCV识别图片中的脸，在使用keras进行表情识别。效果预览实现代码与《性别识别》相似，本文表情识别也是使用keras实现的，和性别识别相同，型数据使用的是oarriaga/face_classification的，代码如下：#coding=utf-8#表情识别importcv2fromkeras.modelsimportload_modelimportnumpyasnpimportchineseTextimportdatetimestart... 继续阅读 >
2020
11-22

python 实现性别识别

使用keras实现性别识别，模型数据使用的是oarriaga/face_classification的模型实现效果准备工作在开始之前先要安装keras和tensorflow安装keras使用命令：pip3installkeras安装tensorflow使用命令：pip3installtensorflow编码部分们使用OpenCV先识别到人脸，然后在通过keras识别性别，具体代码如下#coding=utf-8#性别识别importcv2fromkeras.modelsimportload_modelimportnumpyasnpimportChineseTextimg=cv2.imread("... 继续阅读 >
2020
11-22

Docker 使用nsenter工具进入容器的操作

在使用Docker容器的时候，利用nsenter工具会比较方便，如果我们的系统没有的话，那就需要我们自己来安装了1.首先访问该网址找到最新版本的nsenter工具2.然后下载nsenter工具的源码到我们的主机上输入命令:#wgethttps://mirrors.edge.kernel.org/pub/linux/utils/util-linux/v2.32/util-linux-2.32.tar.gz3.解压.tar.gz包#tar-xzvfutil-linux-2.32.tar.gz4.进入util-linux-2.32的目录#cdutil-linux-2.32/5.输入./configure-... 继续阅读 >
2020
11-22

python遍历路径破解表单的示例

首先是利用python遍历路径，采用字典爆破的形式，当然如果只是单纯的爆破路径，简单写一个多线程脚本就行了。这里考虑如何对爆破到的路径进行第二步利用，此处尝试对猜解到的路径进行表单发现及登陆爆破处理。​首先就是路径爆破，采用多线程队列，爆破路径，判断形式为200响应码。whilenotself._queue.empty():queue=self._queue.get(timeout=0.5)try:r=requests.get(self.url+queue,timeout=... 继续阅读 >
2020
11-22

解决android报错:Intel HAXM is required to run this AVD

今天，简单讲解Android启动模拟器时，提示错误：IntelHAXMisrequiredtorunthisAVD.VT-xisdisabledinBIOS.EnableVT-xinyourBIOSsecuritysettings(refertodocumentationforyourcomputer)的问题。这个问题其实是Androidstudio是否下载了DownloadIntelx86EmulatorAccelerator(HAXMinstaller)，所以检查SDKmanager是否下载DownloadIntelx86EmulatorAccelerator(HAXMinstaller)，如果下载了，那... 继续阅读 >
2020
11-22

Python如何批量生成和调用变量

这几天写代码中遇到的一个常见问题，在Python中如何批量的生成一些变量，如生成变量X1,X2,X3，并在后续的方法中调用，完成赋值、取值等操作。这个问题也算是常见的吧，之前遇到过，也不了了之了。而这次遇到了同样的问题，虽然是创建三个变量数量较少，但从代码维护和易读性的角度考虑，需要使用一些恰当的手段，来避免重复写三次同样代码带来的弊端。一百次，一万次？总不能复制这么多次吧。（为何不复制？详情参考软件工程中的... 继续阅读 >
2020
11-22

gradle项目中资源文件的相对路径打包技巧必看

开发javaapplication时，不管是用ant/maven/gradle中的哪种方式来构建，通常最后都会打包成一个可执行的jar包程序，而程序运行所需的一些资源文件(配置文件)，比如jdbc.properties,log4j2.xml，spring-xxx.xml这些，可以一起打包到jar中，程序运行时用类似classpath*:xxx.xml的去加载，大多数情况下，这样就能工作得很好了。但是，如果有一天，需要修正配置，比如：一个应用上线初期，为了调试方便，可能会把log的日志级别设置低... 继续阅读 >
2020
11-22

Java 实现常见的非对称加密算法

概述非对称加密算法与对称加密算法的主要差别在于非对称加密算法用于加密和解密的密钥不相同，非对称加密算法密钥分为公钥和私钥，公钥加密只能用私钥解密，反之私钥加密只能用公钥解密。相比对称加密算法，非对称加密算法加/解密效率低，但安全性高，这两种算法一般结合使用。常见非对称加密算法有RSA、ECC、Elgamal等。使用RSA实现加密解密公钥加密，私钥解密。packagecom.ss.utils;importjavax.crypto.Cipher;importjava.sec... 继续阅读 >