首页 > 分享 > 2020年07月

2020年07月

花匠小妙招
2024-09-10 12:30

原创 hive：使用concat_ws实现 array转string

array转string：select * from (selectcollect_list(id) id_array,concat_ws('',collect_list(id)) id_string, --array转stringorigin_idfrom(selectconcat('{',id,'}') id,origin_id --付款通知书idfrom ods.ods_awa_finance_incomewhere

2020-07-31 12:40:53 14431

原创 spark：Action算子：show()

show：展示数据　　以表格的形式在输出中展示jdbcDF中的数据，类似于select * from spark_sql_test的功能。　　show方法有四种调用方式，分别为，（1）show　　只显示前20条记录。　　示例：jdbcDF.show结果：（2）show(numRows: Int)　　显示numRows条　　示例：jdbcDF.show(3)　　结果：（3）show(truncate: Boolean)　　是...

2020-07-29 23:04:02 7574 1

原创 hadoop：hdfs：HdfsUtil

NoClassDefFoundError: org/apache/hadoop/crypto/key/KeyProviderTokenIssuer

2020-07-28 10:43:39 988

原创 zookeeper：启动方式

kafka自带的zk，kafka目录下：bin/zookeeper-server-start.sh config/zookeeper.properties &[root@sparkproject1 local]# cd kafka/[root@sparkproject1 kafka]# bin/zookeeper-server-start.sh config/zookeeper.properties &[1] 31276[root@sparkproject1 kafka]#

2020-07-26 16:35:13 2086

原创 hive：修改hive的元数据库

hive-site.xml文件中修改如下几个参数：<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://192.168.56.204:3306/hive_metastore?createDatabaseIfNotExist=true</value></property><property>&l...

2020-07-26 15:25:39 762

原创 IDEA：注册

http://www.mamicode.com/info-detail-2931821.html

2020-07-26 10:38:12 193

原创 superset：连接各数据源前缀

参考：https://www.cnblogs.com/JustToNight/category/1078634.html

2020-07-19 15:33:03 583

原创 linux：crontab 定时任务

linux下可以通过配置crontab来定时执行任务，执行体可以是一条系统命令或自己写的一个脚本，同时可以指派用户来执行。配置crontab有两种方法。方法1、使用crontab命令，例如添加一个新的或编辑已有的，使用：crontab -e就可以进入配置文件。此时配置crontab的执行者是当前登入用户，如果当前用户是root，需要为其他用户配置，可以使用crontab -e -u 用户名或su 用户名crontab -e这种方法有一个缺点，就是当前系统中配置的crontab不在一

2020-07-15 16:50:47 222

原创 mysql：索引常用的规则

数据库建立索引常用的规则如下：1、表的主键、外键必须有索引；2、数据量超过300的表应该有索引；3、经常与其他表进行连接的表，在连接字段上应该建立索引；4、经常出现在Where子句中的字段，特别是大表的字段，应该建立索引；5、索引应该建在选择性高的字段上；6、索引应该建在小字段上，对于大的文本字段甚至超长字段，不要建索引；7、复合索引的建立需要进行仔细分析；尽量考虑用单字段索引代替：A、正确选择复合索引中的主列字段，一般是选择性较好的字段；B、复合索引的几个字段是否经常同...

2020-07-10 19:04:31 1083

原创 sql：mysql：截取某个字符 1.最后一次出现的之前的字符串 2.最后出现那次的之后的字符串

mysql 截取某个最后一个字符前的字符串，比如字符串“vip_cc_99”,现在截取最后一个'_'前面的字符串如下：REVERSE(SUBSTR(REVERSE('vip_cc_99') , INSTR(REVERSE('vip_cc_99)','_')+1)) AS name比如字符串“vip_cc_99”,现在截取最后一个'_'后面的字符串如下：REVERSE(left(REVERSE('vip_cc_99'),LOCATE('_',REVERSE('vip_cc_99'))-1)..

2020-07-08 15:36:56 3159 1

Xftp-7.0.0085p和Xshell-7.0.0087p教育版.zip

Xftp-7.0.0085p和Xshell-7.0.0087p教育版

2021-10-18

apache-phoenix.zip

实现sql查询Hbase，Phoenix 基于Hbase给面向业务的开发人员提供了以标准SQL的方式对Hbase进行查询操作，并支持标准SQL中大部分特性:条件运算,分组，分页，等高级查询语法。这里提供两个版本： apache-phoenix-4.8.1-HBase-1.2-bin.tar.gz（建议使用） apache-phoenix-4.14.1-HBase-1.2-bin.tar.gz

2020-09-01

Hadoop本地环境配置需要的文件hadoopdll和winutilexe.zip

windows本地跑hadoop环境配置，需要的文件hadoop.dll和winutil.exe,亲测可用，里边包含了我写的配置方法，需要的拿去！

2020-04-23

RedisDesktopManager_v0.9.3.817_itmop.com(可用).zip

之前下载的版本总是乱码，终于找到了这款，直接解压就可以用，分享给需要的人。资源简介：一款非常实用的redis桌面管理工具,它可以支持命令控制台操作,以及常用,查询key,rename,delete等操作。

2019-12-19

DBeaver（含hive驱动）

其实在网上搜一下，连接hive的工具还有很多，使用DBeaver的原因是因为我之前连接关系型数据库使用的就是DBeaver，正好DBeaver支持连接hive，且个人认为DBeaver确实挺好用的，支持各种关系型数据库，如连接Oracle数据库不需要像plsql那样自己配置连接文件，只需要在界面上输入url、用户名、密码即可，还有就是DBeaver的快捷键和Eclipse是一样的，比如注释、删除一行、复制一行到下一行等。安装以及连接hive参考：https://blog.csdn.net/weixin_38750084/article/details/85263918

2019-05-31

MouseWithoutBordersSetup 无界鼠标

无界鼠标由于是微软出品的，所以只支持 Windows 平台，安装包也是 MSI 文件格式。安装和配置上比 Synergy 相对简单，可配置的项目不算多，最大的优点是可以实现跨电脑拷贝文件与拖放文件。另外，无界鼠标的电脑们是完全对等模式，你拿起任意一台电脑连接的鼠标和键盘都能操作其它电脑。

2019-05-25

kafkatool 连接kafka工具

kafka连接工具

2019-01-24

zookeeper客户端

详细安装：https://blog.csdn.net/weixin_38750084/article/details/86622166

2019-01-24

【进程查看器】Process+Explorer

Process Explorer 是一款免费的增强型任务管理器,是最好的进程管理器. 它能让使用者了解看不到的在后台执行的处理程序,可以使用它方便地管理你的程序进程. 能监视,挂起,重启,强行终止任何程序,包括系统级别的不允许随便终止的关键进程和十分隐蔽的顽固木马. 除此之外,它还详尽地显示计算机信息: CPU,内存,I/O使用情况,可以显示一个程序调用了哪些动态链接库DLL,句柄,模块,系统进程. 以目录树的方式查看进程之间的归属关系,可以对进程进行调试. 可以查看进程的路径,以及公司,版本等详细信息,多色彩显示服务进程,很酷的曲线图. 可以替换系统自带的任务管理器,有了它,系统自带的任务管理器就可以扔进垃圾桶了.

2018-09-30

DbVisualizer-8.0.9免安装版

特别好用的数据库连接工具，可以连接各种关系型数据库，还可以连接hive

2018-09-14