分类：编程语言

2020
10-10

Python3如何使用range函数替代xrange函数

在Python2中xrange()创建迭代对象的用法是非常流行的。比如：for循环或者是列表/集合/字典推导式。这个表现十分像生成器（比如。"惰性求值"）。但是这个xrange-iterable是无穷的，意味着你可以无限遍历。由于它的惰性求值，如果你不得仅仅不遍历它一次，xrange()函数比range()更快（比如for循环）。尽管如此，对比迭代一次，不建议你重复迭代多次，因为生成器每次都从头开始。在Python3中，range()是像xrange(... 继续阅读 >
2020
10-10

Python threading模块condition原理及运行流程详解

Condition的处理流程如下：首先acquire一个条件变量，然后判断一些条件。如果条件不满足则wait；如果条件满足，进行一些处理改变条件后，通过notify方法通知其他线程，其他处于wait状态的线程接到通知后会重新判断条件。不断的重复这一过程，从而解决复杂的同步问题。Condition的基本原理如下：可以认为Condition对象维护了一个锁（Lock/RLock)和一个waiting池。线程通过acquire获得Condition对象，当调用wait方法时，线程... 继续阅读 >
2020
10-10

Python urllib库如何添加headers过程解析

对于请求一些网站，我们需要加上请求头才可以完成网页的抓取，不然会得到一些错误，无法返回抓取的网页。下面，介绍两种添加请求头的方法。方法一：借助build_opener和addheaders完成importurllib.requesturl="http://www.meizitu.com"#注意：在urllib中headers是元组headers=("User-Agent","Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/63.0.3239.132Safari/537.36QIHU360SE")opene... 继续阅读 >
2020
10-10

Python3获取cookie常用三种方案

方案一：利用selenium+phantomjs无界面浏览器的形式访问网站，再获取cookie值：fromseleniumimportwebdriverdriver=webdriver.PhantomJS()url="https://et.xiamenair.com/xiamenair/book/findFlights.action?lang=zh&tripType=0&queryFlightInfo=XMN,PEK,2018-01-15"driver.get(url)#获取cookie列表cookie_list=driver.get_cookies()#格式化打印cookieforcookieincookie_list:cookie_dict[cookie['name']]=cookie['... 继续阅读 >
2020
10-10

Python collections.deque双边队列原理详解

队列是一种只允许在一端进行插入操作，而在另一端进行删除操作的线性表。在Python文档中搜索队列（queue）会发现，Python标准库中包含了四种队列，分别是queue.Queue/asyncio.Queue/multiprocessing.Queue/collections.deque。collections.dequedeque是双端队列（double-endedqueue）的缩写，由于两端都能编辑，deque既可以用来实现栈（stack）也可以用来实现队列（queue）。deque支持丰富的操作方法，主要方法如图：相比于... 继续阅读 >
2020
10-10

Python全局变量与global关键字常见错误解决方案

在Python的变量使用中，经常会遇到这样的错误:localvariable'a'referencedbeforeassignment它的意思是：局部变量“a”在赋值前就被引用了。比如运行下面的代码就会出现这样的问题：a=3defFuc():print(a)a=a+1Fuc()​但是如果把a=a+1这一句删除又不会出现上述问题了a=3defFuc():print(a)Fuc()​原来，在Python中，a=3定义了全局变量a，作用域从定义处到代码结束，在a=3以下的函数中是可以引... 继续阅读 >
2020
10-10

Python定时任务框架APScheduler原理及常用代码

APScheduler简介在平常的工作中几乎有一半的功能模块都需要定时任务来推动，例如项目中有一个定时统计程序，定时爬出网站的URL程序，定时检测钓鱼网站的程序等等，都涉及到了关于定时任务的问题，第一时间想到的是利用time模块的time.sleep()方法使程序休眠来达到定时任务的目的，虽然这样也可以，但是总觉得不是那么的专业，^_^所以就找到了python的定时任务模块APScheduler：APScheduler基于Quartz的一个Python定时任务框架，实... 继续阅读 >
2020
10-10

Python xmltodict模块安装及代码实例

最近在对接微信公众号、微信支付等功能，发现很多都是用xml格式的。在使用django日常处理的时候，都是手动拼接的，真的是很恶心。今天仔细的看了一下python的xmltodict模块，发现其实完全可以不用手动拼接，轮子本身都有了。只要那来用就好了。之前自己的方式反而有点傻逼了。首先使用和安装都很简单安装pipinstallxmltodict#如果安装失败，直接去github上下载手动装吧，https://github.com/martinblech/xmltodict从名字就知道... 继续阅读 >
2020
10-10

Python pathlib模块使用方法及实例解析

pathlib模块中包含的是一些类，它们的继承关系如图1所示。图1pathlib模块中类的组织结构图1中，箭头连接的是有继承关系的两个类，以PurePosixPath和PurePath类为例，PurePosizPath继承自PurePath，即前者是后者的子类。pathlib模块的操作对象是各种操作系统中使用的路径（例如指定文件位置的路径，包括绝对路径和相对路径）。这里简单介绍一下图1中包含的几个类的具体功能：PurePath类会将路径看做是一个普通的... 继续阅读 >
2020
10-10

Python fileinput模块如何逐行读取多个文件

Python提供了fileinput模块，通过该模块中的input()函数，我们能同时打开指定的多个文件，还可以逐个读取这些文件中的内容。fileinput模块中input()该函数的语法格式如下：fileinput.input（files="filename1,filename2,...",inplace=False,backup='',bufsize=0,mode='r',openhook=None）此函数会返回一个FileInput对象，它可以理解为是将多个指定文件合并之后的文件对象。其中，各个参数的含义如下：files：多... 继续阅读 >
2020
10-10

Windows 2016 服务器安全设置

话说跟2008的服务器安全设置很像系统更新配置更换Windows更新服务器如果你觉得默认的Windows更新服务器比较慢，或者如果选择了阿里云或腾讯云服务器的话，可以更换Windows服务器。右键开始菜单图标，选择“运行”，然后输入gpedit.msc，依次选择“计算机配置”-“管理模板”-“Windows组件”-“Windows更新”，双击“指定IntranetMicrosoft更新服务位置”：选中已启用，然后设置检测更新的Intranet更新服务和统计服务... 继续阅读 >
2020
10-10

c语言中如何修改文件中间的几个字节

fopen的打开模式在C语言中文件打开方式有这么几种：r以只读方式打开文件，只能读不能写，往文件中写是没有任何效果的r+可以读，也可以写，文件打开的时候，指向文件开头，可以通过seek改变读写位置w这种方式打开的文件句柄，只能写，如果文件存在则将长度清零，否则新建文件，这种句柄通过seek之后，seek位置之前的文件数据全部变成0x00w+同w选项，只不过多了一个可读功能a这种方式打开的文件，可以写，但是位置在文件末尾，... 继续阅读 >
2020
10-10

VC中LINK 2001 和 LINK 2009 的错误的解决方法

最近将两个开源C++项目编译成windows版本的时候遇到很多问题，关键是两个项目经过同事的修改之后，一个项目引用了另一个项目，两个项目的头文件中都有一些跨平台的关于数据类型，以及一些通用函数的定义，所以导致有冲突，编译的时候总是报错，报的最多的是“无法解析的外部符号”，经过近3天的折腾总算都通过了，这里是一些总结。首先，关于VC中的lib，与linux下的静态库是不同的，在VC中编译动态库的时候会生成一个lib和一个对应... 继续阅读 >
2020
10-10

Python利用Pillow(PIL)库实现验证码图片的全过程

前言Pillow库有很多用途，本文使用Pillow来生成随机的验证码图片。Pillow的用法参考：https://www.jb51.net/article/196007.htm验证码是随机的，使用Python内置的random库来生成随机的颜色和随机的字符。random的用法参考：https://www.jb51.net/article/196955.htm一、验证码图片的效果#coding=utf-8importrandomfromPILimportImage,ImageDraw,ImageFontwidth,height,font_size,font_num=300,100,48,5bg_color=... 继续阅读 >
2020
10-10

Python中random模块常用方法的使用教程

前言Python的random模块包含许多随机数生成器。random是Python标准库之一，直接导入即可使用。本文介绍random中常用方法的用法。一、生成随机的整数#coding=utf-8importrandomprint(random.randint(1,5))print(random.randrange(0,51,5))运行结果：340randint(start,end)会返回一个start到end之间的整数，这里是左闭右闭区间。也就是说可能会返回end值，在Python中，这个是一个比较特殊的地方，一般来说都是左闭右开的区... 继续阅读 >
2020
10-10

redis中scan命令的基本实现方法

前言在一个天朗气清的日子，小灰登上了线上的redis打算查询数据。然而他只记得前缀而不知道整个键是多少，于是在命令行敲入了“keysxxx*”命令。瞬间服务卡死，报警邮件堆满了邮箱，而小灰，只能目瞪狗呆的等待着即将降临的casestudy。基本上，keys*命令都是在线上是被运维禁止的。redis的键在键值对大小大于hash-max-ziplist-value且个数小于hash-max-ziplist-entries的时候，是存放在散列表数据结构中的，在运行keys命令的时... 继续阅读 >
2020
10-10

配置hive元数据到Mysql中的全过程记录

在hive的安装目录下，进入conf目录，创建一个hive-site.xml文件根据官方文档配置参数，拷贝数据到hive-site.xml文件中https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin注意：先创建一个metastore数据库，字符集要用latin1将mysql驱动复制到hive的lib目录里。（这有关上一篇安装MySQL的内容）解压驱动包将mysql驱动复制到hive的lib目录里启动hive（别忘了先启动hdfs和yarn~~）start-dfs.shstart... 继续阅读 >
2020
10-10

利用C++如何实现一个阻塞队列详解

阻塞队列是多线程中常用的数据结构，对于实现多线程之间的数据交换、同步等有很大作用。阻塞队列常用于生产者和消费者的场景，生产者是向队列里添加元素的线程，消费者是从队列里取元素的线程。简而言之，阻塞队列是生产者用来存放元素、消费者获取元素的容器。考虑下，这样一个多线程模型，程序有一个主线程master和一些worker线程，master线程负责接收到数据，给worker线程分配数据，worker线程取得一个任务后便可以开始... 继续阅读 >
2020
10-10

python代数式括号有效性检验示例代码

思路：利用栈实现代数式中括号有效行的的检验：代码：classmychain(object):#利用链表建立栈，链表为父类length=0def__init__(self,value=None,next=None):#创建链表，长度并不包含头部self.value=valueself.next=next#mychain.length=mychain.length+1defappend(self,value=None):whileself.next!=None:self=self.nextself.next=mychain(value)mychain.length=mychain.length+1#追加时，链表长度增加def... 继续阅读 >
2020
10-10

关于Python字符编码与二进制不得不说的一些事

二进制核心思想：冯诺依曼+图灵机电如何表示状态，才能稳定？计算机开始设计的时候并不是考虑简单，而是考虑能自动完成任务与结果的可靠性，简单始终是建立再稳定、可靠基础上经过尝试10进制，但很难检查电流的状态差异并且很难稳定状态，最稳定的检查是通电和不通电状态，共两种状态那就规定通电为1不通电为0，1和0的状态逻辑被称为比特Bit那么如何用0和1表示数... 继续阅读 >
2020
10-10

Python实现EM算法实例代码

EM算法实例通过实例可以快速了解EM算法的基本思想，具体推导请点文末链接。图a是让我们预热的，图b是EM算法的实例。这是一个抛硬币的例子，H表示正面向上，T表示反面向上，参数θ表示正面朝上的概率。硬币有两个，A和B，硬币是有偏的。本次实验总共做了5组，每组随机选一个硬币，连续抛10次。如果知道每次抛的是哪个硬币，那么计算参数θ就非常简单了，如下图所示：如果不知道每次抛的是哪个硬币呢？那么，我们就需要用EM算法，基... 继续阅读 >
2020
10-10

Mybatis在sqlite中无法读写byte[]类问题的解决办法

开发环境：springboot+mybatisplus场景：在DAO的bean中有byte[]类时，写入可以成功，但是读取不行。从错误栈中可以看到原因是：sqlite的driver中，JDBC4ResultSet没有实现以下接口：publicBlobgetBlob(intcol)throwsSQLException{throwunused();}publicBlobgetBlob(Stringcol)throwsSQLException{throwunused();}读写byte[]在JDBC规范中有3种接口：InputStreamgetBinaryStream(intcol)byte[]getB... 继续阅读 >
2020
10-10

MyBatis中$和#的深入讲解

这是一次代码优化过程中发现的问题，在功能优化后发现部分数据查不到出来了，问题就在于一条sql上的#和$。下图为两条sql：从图上可以看出wwlr.LabelIdin(${showLabels})和wwlr.LabelIdin(#{showLabels})，其中showLabels是传进来一个字符串类型的参数，参数的样子是这样的“4,44,514”，问题就出在这个参数传进来后#和$处理的方式是不一样的。1、#{}是预编译处理，MyBatis在处理#{}时，它会将sql中的#{}替换为？，然后调用... 继续阅读 >
2020
10-10

python em算法的实现

'''数据集：伪造数据集（两个高斯分布混合）数据集长度：1000------------------------------运行结果：----------------------------theParameterssetis:alpha0:0.3,mu0:0.7,sigmod0:-2.0,alpha1:0.5,mu1:0.5,sigmod1:1.0----------------------------theParameterspredictis:alpha0:0.4,mu0:0.6,sigmod0:-1.7,alpha1:0.7,mu1:0.7,sigmod1:0.9----------------------------'''importnumpyasnpimportrandomimp... 继续阅读 >