分类：编程语言

2020
10-06

python框架flask入门之环境搭建及开启调试

传说中的pythonweb开发有2大宝器，一个是倚天剑，一个就是屠龙刀。django作为倚天剑已经被大众所熟知，今天我们就来看看flask这把屠龙宝刀。简介Flask是依赖Jinja模板引擎和 WerkzeugWSGI套件的一套web微框架。它是小巧的，它是符合wsgi标准的，它是优雅的，也是容易上手的框架，可以说谁掌握了flask这把屠龙刀，谁就可以号令python的web江湖。安装包管理工具的出现使得软件安装变得异常简单和容易。python中的包管理工具... 继续阅读 >
2020
10-06

vue路由权限校验功能的实现代码

引言做后台系统的时候，难免会有用户权限的判断。admin可以查看全部菜单，user只能查看部分菜单。一开始接触这个需求的时候，完全是纯前端做的。在配置路由的时候，加一个roles的属性，通过判断用户的roles是否与路由的roles属性相匹配来作为显示隐藏的依据{path:'/router',name:'router',meta:{title:'标题',roles:['admin','user']},component:index,children:[{path:'children',name:'children',meta:{t... 继续阅读 >
2020
10-06

python实现一次性封装多条sql语句(begin end)

python封装利用beginend执行多条sql因为业务需求，优化模型运行时间。考虑到sql语句每一次执行都要建立连接，查询，获取数据耗时过多。就想到将sql一起提交上去运行，能够节省很多时间。原本1.6-2.5秒耗时的sql语句经过修改后时间降到0.3-0.6秒，感觉性能提升挺好的。当然还有一种想法，如果有python框架的orm可能会更快，相比来说耗时基本看不到了吧，这只是我的猜想，仅仅为了优化一个模型写一个框架的话代码可能需要改的比较... 继续阅读 >
2020
10-06

python 在sql语句中使用%s,%d,%f说明

python连接数据库执行增删查改mysql数据库importpymysqlpostgresql数据库importpsycopg2普通含%的python语句sql语句中普通sql语句select*fromtableswheretablename='table_name',所以这里该加的引号还是要加不加的情况翻页的情况like的情况因为普通sql语句是where列名like'4301%'这里需要多加一个%防止转义补充知识：python中sql语句包含%怎么格式化问题描述：python中sql语句包含%时，格式化会出问题，怎... 继续阅读 >
2020
10-06

解决python 执行sql语句时所传参数含有单引号的问题

在编写自己的程序时，需要实现将数据导入数据库，并且是带参数的传递。执行语句如下：sql_str="INSERTINTOteacher(t_name,t_info,t_phone,t_email)VALUES\(\'%s\',\'%s\',\'%s\',\'%s\')"%(result,result2,phoneNumber,Email)cur.execute(sql_str)执行程序后，产生错误：ProgrammingError:(1064,"YouhaveanerrorinyourSQLsyntax;checkthemanualthatcorrespondstoyourMySQLserverversionfort... 继续阅读 >
2020
10-06

pyMySQL SQL语句传参问题,单个参数或多个参数说明

在用pymysql操作数据库的过程中，给sql语句传参碰到了很多问题，网上传参策略很多，这里推荐两种单个传参用%s,写起来比较简单：field='-'sql_talk="UPDATEcnp.Testseta=''whereb='%s'"cursor.execute(sql_talk%field)db.commit()多个传参用{0}占位符：field='-'a='code'sql_talk="UPDATEcnp.Testset{0}=''wherebusiness_registration_code='{1}'".format(a,field)cursor.execute(sql_talk)db.commit()补充知识：... 继续阅读 >
2020
10-06

python 解决mysql where in 对列表(list,,array)问题

例如有这么一个查询语句：select*fromserverwhereipin(....)同时一个存放ip的列表：['1.1.1.1','2.2.2.2','2.2.2.2']我们希望在查询语句的in中放入这个Ip列表，这里我们首先会想到的是用join来对这个列表处理成一个字符串，如下：>>>a=['1.1.1.1','2.2.2.2','2.2.2.2']>>>','.join(a)'1.1.1.1,2.2.2.2,2.2.2.2'可以看到，join后的结果并不是我们想要的结果，因为引号的问题。所以我们会想到另外的办法：>>>a=['1.1.1.... 继续阅读 >
2020
10-06

在python中使用pyspark读写Hive数据操作

1、读Hive表数据pyspark读取hive数据非常简单，因为它有专门的接口来读取，完全不需要像hbase那样，需要做很多配置，pyspark提供的操作hive的接口，使得程序可以直接使用SQL语句从hive里面查询需要的数据，代码如下：frompyspark.sqlimportHiveContext,SparkSession_SPARK_HOST="spark://spark-master:7077"_APP_NAME="test"spark_session=SparkSession.builder.master(_SPARK_HOST).appName(_APP_NAME).getOrCreate()h... 继续阅读 >
2020
10-06

使用Python构造hive insert语句说明

mysql可以使用nevicat导出insert语句用于数据构造，但是hive无法直接导出insert语句。我们可以先打印在hive命令行，然后使用脚本拼装成insert语句，进行数据构造。手动copy到python脚本进行sql语句构造：deftransformString(s):list_s=s.split('\t')print(len(list_s))s_new=''foriteminlist_s:s_new+='\"'+item.strip('')+'\"'+','returnstr(s_new.rstrip(','))#为手动copyhive命令行打印输出... 继续阅读 >
2020
10-06

Vue使用自定义指令实现拖拽行为实例分析

本文实例讲述了Vue使用自定义指令实现拖拽行为。分享给大家供大家参考，具体如下：需求通过自定义指令的方式实现拖拽效果，预期的使用方式为：<divstyle="background:#f00;width:200px;height:200px;"v-drag>XXXX</div>更重要的一个需求点：拖拽元素内部的子元素可以自行阻止拖拽行为比如：<divstyle="background:#f00;width:200px;height:200px;"v-drag><el-button@mousedown.native.stop>test</el-button... 继续阅读 >
2020
10-06

Python通过kerberos安全认证操作kafka方式

如何通过Kerberos认证.1.安装Kerberos客户端CentOS：yuminstallkrb5-workstation使用whichkinit查看是否安装成功；2.拷贝Kerberos配置文件conf目录下krb5.conf和kafka.keytab和jaas.conf拷贝到客户端机器的etc目录,同时,krb5.conf中的kdc集群主机名和IP配置到客户端机器hosts配置文件中3.Kinit客户端通过kerberos认证获取Principalklist-ktkafka.keytab4.安装python-gssapipipinstallgssapi遇到的问题,如下:a.在linux中执... 继续阅读 >
2020
10-06

JS原型对象操作实例分析

本文实例讲述了JS原型对象操作。分享给大家供大家参考，具体如下：万物皆对象，函数也同样是对象，是特殊的函数对象functionfn(){}leta=newfn();letb=newFunction()console.log(typeofa);//objectconsole.log(typeofb);//function打开浏览器，输入fn，会发现fn有一个prototype(原型)属性，这个属性是一个指针，指向原型对象，这个对象包括了特定类型所有共享的属性和方法。换句话说，prototype对象包含了函数所... 继续阅读 >
2020
10-06

pandas分批读取大数据集教程

如果你的电脑内存较小那么想在本地做一些事情是很有局限性的（哭丧脸），比如想拿一个kaggle上面的竞赛来练练手，你会发现多数训练数据集都是大几G或者几十G的，自己那小破电脑根本跑不起来。行，你有8000w条样本你牛逼，我就取400w条出来跑跑总行了吧（狡滑脸）。下图是2015年kaggle上一个CTR预估比赛的数据集：看到train了吧，原始数据集6个G，特征工程后得多大？那我就取400w出来train。为了节省时间和完整介绍分批读入数据的功... 继续阅读 >
2020
10-06

python使用hdfs3模块对hdfs进行操作详解

之前一直使用hdfs的命令进行hdfs操作，比如：hdfsdfs-ls/user/spark/hdfsdfs-get/user/spark/a.txt/home/spark/a.txt#从HDFS获取数据到本地hdfsdfs-put-f/home/spark/a.txt/user/spark/a.txt#从本地覆盖式上传hdfsdfs-mkdir-p/user/spark/home/datetime=20180817/....身为一个python程序员，每天操作hdfs都是在程序中写各种cmd调用的命令，一方面不好看，另一方面身为一个Pythoner这是一个耻辱，于是乎就挑了一... 继续阅读 >
2020
10-06

ES6 async、await的基本使用方法示例

本文实例讲述了ES6async、await的基本使用方法。分享给大家供大家参考，具体如下：async是异步编程的最新标准，我们来看看async如何使用1.async的简单使用asyncfunctionfn(){return'abc'}console.log(fn());//Promise{'abc'}fn().then(res=>{console.log(res);//"abc"})async作为关键字放在函数前面，让同步的函数成为异步函数，不关函数里返回什么，打印出还是promise，... 继续阅读 >
2020
10-06

python3.6.5基于kerberos认证的hive和hdfs连接调用方式

1.Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。具体请查阅官网2.需要安装的包（基于centos）yuminstalllibsasl2-devyuminstallgcc-c++python-devel.x86_64cyrus-sasl-devel.x86_64yuminstallpython-develyuminstallkrb5-develyuminstallpython-krbVpipinstallkrbcontext==0.9pipinstallthrift==0.9.3pipinstallthrift-sasl==0.2.1pipinstallimpyla==0.14... 继续阅读 >
2020
10-06

JS 数组和对象的深拷贝操作示例

本文实例讲述了JS数组和对象的深拷贝操作。分享给大家供大家参考，具体如下：一.数组的深拷贝letarr=[undefined,function(){console.log(123);},true,null,{name:"123",age:23}];//arr作为拷贝对象1.Array.from()Array.from()能将一个类数组转化成一个真正的数组，因此它返回的是一个新数组。letarr1=Array.from(arr);arr[0]=2;console.log(arr1);//[undefined,[Function],true,null,{name:'123'... 继续阅读 >
2020
10-06

Python API 操作Hadoop hdfs详解

http://pyhdfs.readthedocs.io/en/latest/1：安装由于是windows环境（linux其实也一样），只要有pip或者setup_install安装起来都是很方便的>pipinstallhdfs2：Client——创建集群连接>fromhdfsimport*>client=Client("http://s100:50070")其他参数说明：classhdfs.client.Client(url,root=None,proxy=None,timeout=None,session=None)url：ip：端口root：制定的hdfs根目录proxy：制定登陆的用户身份timeout：设置的... 继续阅读 >
2020
10-06

php框架CI（codeigniter）自动加载与自主创建对象操作实例分析

本文实例讲述了php框架CI（codeigniter）自动加载与自主创建对象操作。分享给大家供大家参考，具体如下：CI的autoload很好用，自动创建对象，但是注意，他的对象只有一个。我们很多情况下需要生成对象，这就很麻烦。好在我们可以有一些方法来创建。下面记录一下使用library自定义类时，怎么使用自动加载或者用load的方法，以及自主生成任意多个实例的方法。1、定义符合library要求的自定义类。要定义自定义类，最好放到library，而... 继续阅读 >
2020
10-06

python读取hdfs上的parquet文件方式

在使用python做大数据和机器学习处理过程中，首先需要读取hdfs数据，对于常用格式数据一般比较容易读取，parquet略微特殊。从hdfs上使用python获取parquet格式数据的方法(当然也可以先把文件拉到本地再读取也可以)：1、安装anaconda环境。2、安装hdfs3。condainstallhdfs33、安装fastparquet。condainstallfastparquet4、安装python-snappy。condainstallpython-snappy5、读取文件##namenodemode:fromhdfs3importHDFileS... 继续阅读 >
2020
10-06

CI框架简单分页类用法示例

本文实例讲述了CI框架简单分页类用法。分享给大家供大家参考，具体如下：/****关于页码有效性的判断需要加在控制器中判断，即当页码数<1或者>总页数**/classCustom_pagination{var$page_url='';//分页目标URLvar$page_size=10;//每一页行数var$page_num=1;//页码var$rows_num='';//数据总行数var$links_num=3;//选中链接前后的链接数，必须大于等于1var$anchor_class='';//链接... 继续阅读 >