本文为您介绍数据分析支持的字符串函数的命令格式、参数说明及示例。
函数 功能 CHR 将指定ASCII码转换成字符。 CONCAT 将参数中的所有字符串连接在一起。 GET_JSON_OBJECT 获取JSON字符串中的指定字符串。 INSTR 计算子字符串在整个字符串中的位置。 BASE64_DECODE 对Base64加密数据,进行Base64解码。 LENGTH 返回字符串的长度。 LENGTHB 返回字符串以字节为单位的长度。 MD5 计算字符串的MD5值。 REGEXP_REPLACE 将字符串中指定位置的子字符串替换成新字符串后返回。 SPLIT_PART 依照分隔符拆分字符串,返回指定闭区间的子串。 SUBSTR 返回字符串从指定位置开始指定长度的子串。 TOLOWER 返回英文字符串对应的小写字符串。 TOUPPER 返回英文字符串对应的大写字符串。 TO_CHAR 将BOOLEAN、BIGINT、DECIMAL或DOUBLE类型转为对应的STRING类型表示。 TRIM 去除字符串的左右空格。 LTRIM 去除字符串的左空格。 RTRIM 去除字符串的有空格。 REVERSE 返回倒序字符串。 ASCII 返回字符串第一个字符的ASCII码。 LPAD 用b字符串将a字符串向左补足到len位。 RPAD 用b字符串将a字符串向右补足到len位。 REPLACE 将字符串中指定字符串替换为新字符串后返回。 URL_ENCODE 将输入字符串编码为application/x-www-form-urlencoded MIME格式。 URL_DECODE 将输入字符串从application/x-www-form-urlencoded MIME格式转为正常字符串,是URL_ENCODE的逆过程。 ENDSWITH 判断字符串1的值是否以字符串2结尾。 TO_BASE64 将二进制数据转换成对应base64编码的字符串输出。CHR
命令格式STRING CHR(BIGINT ascii) 命令说明
将指定ASCII码ascii转换成字符。
参数说明ascii:BIGINT类型的ASCII值。参数范围是0~255,超过此范围会引发异常。如果输入为STRING、DOUBLE或DECIMAL类型,则会隐式转换为BIGINT类型后参与运算,其它类型会返回异常。
返回值说明返回STRING类型。如果输入参数为NULL,则返回NULL。
CONCAT
命令格式STRING CONCAT(STRING a, STRING b...) 命令说明
将参数中的所有字符串连接在一起。
参数说明输入参数为STRING类型。如果输入参数为BIGINT、DOUBLE、DECIMAL或DATETIME类型,则会隐式转换为STRING类型后参与运算,其它类型会返回异常。
返回值类型返回STRING类型。如果没有参数或者任一参数为NULL,则返回NULL。
示例CONCAT('ab','c') = 'abc' CONCAT() = NULL CONCAT('a', null, 'b') = NULL
GET_JSON_OBJECT
命令格式STRING GET_JSON_OBJECT(STRING json,STRING path) 命令说明
用于在一个标准JSON字符串中,按照path抽取指定的字符串。每次调用该函数时,都会读一次原始数据,因此反复调用可能浪费性能和费用。您可以通过GET_JSON_OBJECT,结合UDTF,轻松转换JSON格式日志数据,避免多次调用函数。
参数说明 JSON:STRING类型,标准的JSON格式字符串。 path:STRING类型,表示在JSON中的path,以$开头。path详情请参见LanguageManual UDF。 $:表示根节点。 .:表示子节点。 []:[number]表示数组下标,数组格式为key[sub1][sub2][sub3]……。 *:Wildcard for [],返回整个数组。*不支持转义。 返回值说明 如果JSON为空或非法的JSON格式,则返回NULL。 如果JSON合法,path也存在,则返回对应字符串。 不支持一个Object中出现相同的Key,例如{a:1, a:0},可能导致无法解析。 不支持Emoji表情字符串。 示例 示例1:--json内容。 {"store": {"fruit":[{"weight":8,"type":"apple"},{"weight":9,"type":"pear"}], "bicycle":{"price":19.95,"color":"red"} }, "email":"amy@only_for_json_udf_test.net", "owner":"amy" }
执行如下命令提取JSON对象中的信息。
--返回amy。 GET_JSON_OBJECT(json, '$.owner'); --返回{"weight":8,"type":"apple"}。 GET_JSON_OBJECT(json, '$.store.fruit[0]'); --返回NULL。 GET_JSON_OBJECT(json, '$.non_exist_key'); 示例2:
GET_JSON_OBJECT('{"array":[["aaaa",1111],["bbbb",2222],["cccc",3333]]}','$.array[1][1]')= "2222" GET_JSON_OBJECT('{"aaa":"bbb","ccc":{"ddd":"eee","fff":"ggg","hhh":["h0","h1","h2"]},"iii":"jjj"}','$.ccc.hhh[*]') = "["h0","h1","h2"]" GET_JSON_OBJECT('{"aaa":"bbb","ccc":{"ddd":"eee","fff":"ggg","hhh":["h0","h1","h2"]},"iii":"jjj"}','$.ccc.hhh[1]') = "h1"
INSTR
命令格式BIGINT INSTR(STRING str1, STRING str2[, BIGINT start_position[, BIGINT nth_appearance]]) 命令说明
用于计算子串str2在字符串str1中的位置。
参数说明 str1:STRING类型,要搜索的字符串。如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型,则会隐式转换为STRING类型后参与运算,其它类型会返回异常。 str2:STRING类型,要搜索的子串。如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型,则会隐式转换为STRING类型后参与运算,其它类型会返回异常。 start_position:BIGINT类型,其它类型会返回异常。表示从str1的第几个字符开始搜索,默认起始位置是第一个字符位置1。 nth_appearance:BIGINT类型,大于0。表示子串在字符串中的第nth_appearance次匹配的位置。如果nth_appearance为其它类型或小于等于0,则返回异常。 返回值说明 返回BIGINT类型。 如果在str1中未找到str2,则返回0。 如果任一输入参数为NULL,则返回NULL。 如果str2为空串,则总能匹配成功,例如instr(‘abc’, ‘’)会返回1。 示例INSTR('Tech on the net', 'e') = 2 INSTR('Tech on the net', 'e', 1, 1) = 2 INSTR('Tech on the net', 'e', 1, 2) = 11 INSTR('Tech on the net', 'e', 1, 3) = 14
BASE64_DECODE
命令格式base64_decode(STRING str) 命令说明
当字符串为Base64加密数据时,可使用该函数进行Base64解码处理
参数说明str:STRING类型的字符串。如果输入为BIGINT、DOUBLE、DECIMAL、TIMESTAMP或DATE类型,则会隐式转换为STRING类型后参与运算。如果输入为非Base64加密的字符串,则返回原字符串。
返回值说明返回STRING类型。
LENGTH
命令格式BIGINT LENGTH(STRING str) 命令说明
返回字符串str的长度。
参数说明 str:STRING类型。如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型,则会隐式转换为STRING类型后参与运算,其它类型会返回异常。 返回BIGINT类型。如果输入参数为NULL,则返回NULL;如果输入参数为非UTF-8编码格式,则返回-1。 示例LENGTH('hi! 中国') = 6
LENGTHB
命令格式BIGINT LENGTHB(STRING str) 命令说明
返回字符串str的以字节为单位的长度。
参数说明 str:STRING类型。如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型,则会隐式转换为STRING类型后参与运算,其它类型会返回异常。 返回BIGINT类型。如果输入参数为NULL,则返回NULL。 示例LENGTHB('hi! 中国') = 10
MD5
命令格式STRING MD5(STRING value) 命令说明
计算输入字符串value的MD5值。
参数说明value:STRING类型。如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型,则会隐式转换为STRING类型参与运算,其它类型会返回异常。
返回值说明返回STRING类型。如果输入参数为NULL,则返回NULL。
REGEXP_REPLACE
命令格式STRING REGEXP_REPLACE(STRING source, STRING pattern, STRING replace_string[, BIGINT occurrence]) 命令说明
将source字符串中,第occurrence次匹配pattern的子串,替换成指定字符串replace_STRING后,返回结果字符串。
参数说明 source:STRING类型,要替换的字符串。 pattern:STRING类型常量,要匹配的模式,pattern为空串时返回异常。 replace_string:STRING类型,将匹配的pattern替换成的字符串。 occurrence:BIGINT类型常量,必须大于等于0,表示将第几次匹配替换成replace_string,为0时表示替换掉所有的匹配子串。为其它类型或小于0时,返回异常。可缺省,默认值为0。 返回值说明 返回STRING类型。当引用不存在的组时,不进行替换。 如果任一输入参数为NULL,则返回NULL。 如果replace_string为NULL且pattern有匹配,则返回NULL。 如果replace_string为NULL但pattern不匹配,则返回原字符串。 示例regexp_replace("123.456.7890", "([[:digit:]]{3})\.([[:digit:]]{3})\.([[:digit:]]{4})", "(\1)\2-\3", 0) = "(123)456-7890" regexp_replace("abcd", "(.)", "\1 ", 0) = "a b c d " regexp_replace("abcd", "(.)", "\1 ", 1) = "a bcd" regexp_replace("abcd", "(.)", "\2", 1) = "abcd" -- 因为pattern中只定义了一个组,引用的第二个组不存在。 -- 请避免这样使用,引用不存在的组的结果未定义。 regexp_replace("abcd", "(.*)(.)$", "\2", 0) = "d" regexp_replace("abcd", "a", "\1", 0) = "bcd" -- 因为在pattern中没有组的定义,所以1引用了不存在的组。 -- 请避免这样使用,引用不存在的组的结果未定义。
SPLIT_PART
命令格式STRING SPLIT_PART(STRING str, STRING separator, BIGINT start[, BIGINT end]) 命令说明
依照分隔符separator拆分字符串str,返回从第start部分到第end部分的子串(闭区间)。
参数说明 str:STRING类型,要拆分的字符串。如果是BIGINT、DOUBLE、DECIMAL或DATETIME类型,则会隐式转换为STRING类型后参与运算,其它类型会返回异常。 separator:STRING类型常量,拆分用的分隔符,可以是一个字符,也可以是一个字符串,其它类型返回异常。 start:BIGINT类型常量,必须大于0。非常量或其它类型会返回异常。返回段的开始编号(从1开始),如果没有指定end,则返回start指定的段。 end:BIGINT类型常量,大于等于start,否则返回异常。返回段的截止编号,非常量或其它类型会返回异常。此参数可省略,缺省时表示最后一部分。 返回值说明 返回STRING类型。 如果start的值大于切分后实际的分段数,例如字符串拆分完有6个片段,start大于6,返回空串。 如果separator不存在于str中,且start指定为1,返回整个str。如果str为空串,则输出空串。 如果separator为空串,则返回原字符串str。 如果end大于片段个数,按片段个数处理。 如果任一输入参数为NULL,则返回NULL。 示例SPLIT_PART('a,b,c,d', ',', 1) = 'a' SPLIT_PART('a,b,c,d', ',', 1, 2) = 'a,b' SPLIT_PART('a,b,c,d', ',', 10) = ''
SUBSTR
命令格式STRING SUBSTR(STRING str, BIGINT start_position[, BIGINT length]) 命令说明
返回字符串str从start_position开始,长度为length的子串。
参数说明 str:STRING类型,如果输入为BIGINT、DECIMAL、DOUBLE或DATETIME类型,则会隐式转换为STRING类型后参与运算,其它类型会返回异常。 start_position:BIGINT类型,起始位置为1。当start_position为0时,返回空串。当start_position为负数时,表示开始位置是从字符串的结尾往前倒数,最后一个字符是-1,往前数依次为-2、-3…,其它类型会返回异常。 length:BIGINT类型,表示子串的长度值。值大于0,其它类型或值小于等于0返回异常。 返回值说明返回STRING类型。如果任一输入参数为NULL,则返回NULL。
说明
当length被省略时,返回到str结尾的子串。
示例SUBSTR("abc", 2) = "bc" SUBSTR("abc", 2, 1) = "b" SUBSTR("abc",-2,2) = "bc" SUBSTR("abc",-3) = "abc"
TOLOWER
命令格式STRING TOLOWER(STRING source) 命令说明
输出英文字符串source对应的小写字符串。
参数说明source:STRING类型。如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型,则会隐式转换为STRING类型后参与运算,其它类型会返回异常。
返回值说明返回STRING类型。如果输入参数为NULL,则返回NULL。
示例tolower("aBcd") = "abcd" tolower("哈哈Cd") = "哈哈cd"
TOUPPER
命令格式STRING TOUPPER(STRING source) 命令说明
输出英文字符source串对应的大写字符串。
参数说明source:STRING类型。如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型,则会隐式转换为STRING类型后参与运算,其它类型会返回异常。
返回值说明返回STRING类型。如果输入参数为NULL,则返回NULL。
示例toupper("aBcd") = "ABCD" toupper("哈哈Cd") = "哈哈CD"
TO_CHAR
命令格式STRING TO_CHAR(BOOLEAN value) STRING TO_CHAR(BIGINT value) STRING TO_CHAR(DOUBLE value) STRING TO_CHAR(DECIMAL value) 命令说明
将BOOLEAN、BIGINT、DECIMAL或DOUBLE类型转为对应的STRING类型表示。
参数说明value:BOOLEAN、BIGINT、DECIMAL型或DOUBLE类型,其它类型会返回异常。
返回值说明返回STRING类型。如果输入参数为NULL,则返回NULL。
示例TO_CHAR(123) = '123' TO_CHAR(true) = 'TRUE' TO_CHAR(1.23) = '1.23' TO_CHAR(null) = NULL
TRIM
命令格式STRING TRIM(STRING str) 命令说明
去除字符串str的左右空格。
参数说明str:STRING类型。如果输入为BIGINT、DECIMAL、DOUBLE或DATETIME类型,则会隐式转换为STRING类型后参与运算,其它类型返回异常。
返回值说明返回STRING类型。如果输入参数为NULL,则返回NULL。
示例LTRIM(' abc ')="abc";
LTRIM
命令格式STRING LTRIM(STRING str) 命令说明
去除字符串str的左边空格。
参数说明str:STRING类型。如果输入为BIGINT、DECIMAL、DOUBLE或DATETIME类型,则会隐式转换为STRING类型后参与运算,其它类型会返回异常。
返回值说明返回为STRING类型。如果输入参数为NULL,则返回NULL。
示例LTRIM(' abc ')="abc ";
RTRIM
命令格式STRING RTRIM(STRING str) 命令说明
去除字符串str的右边空格。
参数说明str:STRING类型。如果输入为BIGINT、DECIMAL、DOUBLE或DATETIME类型,则会隐式转换为STRING类型后参与运算,其它类型会返回异常。
返回值说明返回STRING类型。如果输入参数为NULL,则返回NULL。
示例RTRIM('a abc ')="a abc";
REVERSE
命令格式STRING REVERSE(STRING str) 命令说明
返回倒序字符串。
参数说明str:STRING类型。如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型,则会隐式转换为STRING类型后参与运算,其它类型会返回异常。
返回值说明返回STRING类型。如果输入参数为NULL,则返回NULL。
示例REVERSE('abcedfg')="gfdecba"
ASCII
命令格式BIGINT ASCII(STRING str) 命令说明
返回字符串str第一个字符的ASCII码。
参数说明str:STRING类型。如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型,则会隐式转换为STRING类型后参与运算,其它类型会返回异常。
返回值说明返回BIGINT类型。
示例--返回97。 ASCII('abcde')
LPAD
命令格式STRING LPAD(STRING a, INT len, STRING b) 命令说明
用b字符串将a字符串向左补足到len位。
参数说明 len:INT整型。 a、b:STRING类型。 返回值说明返回STRING类型。如果len小于a的位数,则返回a从左开始截取len位字符。如果len为0,则返回空。
示例lpad('abcdefgh',10,'12')='12abcdefgh' lpad('abcdefgh',5,'12')='abcde' lpad('abcdefgh',0,'12') --返回空
RPAD
命令格式STRING RPAD(STRING a, INT len, STRING b) 命令说明
用b字符串将a字符串向右补足到len位。
参数说明 len:INT整型。 a、b:STRING类型。 返回值说明返回STRING类型。如果len小于a的位数,则返回a从左开始截取len位字符;如果len为0,则返回空。
示例rpad('abcdefgh',10,'12')='abcdefgh12' rpad('abcdefgh',5,'12')='abcde' rpad('abcdefgh',0,'12') -- 返回空。
REPLACE
命令格式STRING REPLACE(STRING a, STRING OLD, STRING NEW) 命令说明
用NEW字符串替换a字符串中与OLD字符串完全重合的部分并返回a。
参数说明参数均为STRING类型。
返回值说明返回STRING类型。如果任一输入参数为NULL,则返回NULL。
示例REPLACE('ababab','abab','12')='12ab' REPLACE('ababab','cdf','123')='ababab' REPLACE('123abab456ab',null,'abab')=null
URL_ENCODE
命令格式STRING URL_ENCODE(STRING input[, STRING encoding]) 命令说明
将输入字符串编码为application/x-www-form-urlencoded MIME格式。
a~z、A~Z保持不变。 英文句点(.)、短划线(-)、星号(*)和下划线(_)保持不变。 空格转为加号(+)。 其余字符根据指定的encoding转为字节值,然后将每个字节值表示为%xy的格式,xy是该字符的十六进制表示方式。 参数说明 input:要输入的字符串。 encoding:指定的编码格式,支持GBK或UTF-8等标准编码格式,不输入默认为UTF-8。 返回值说明返回STRING类型。如果输入参数为NULL,则返回NULL。
示例URL_ENCODE('示例for URL_ENCODE:// (fdsf)') = "%E7%A4%BA%E4%BE%8Bfor+URL_ENCODE%3A%2F%2F+%28fdsf%29" URL_ENCODE('Example for URL_ENCODE:// dsf(fasfs)', 'GBK') = "Example+for+URL_ENCODE+%3A%2F%2F+dsf%28fasfs%29"
URL_DECODE
命令格式STRING URL_DECODE(STRING input[, STRING encoding]) 命令说明
将输入字符串从application/x-www-form-urlencoded MIME格式转为正常字符串,是URL_ENCODE的逆过程。
a~z、A~Z保持不变。 英文句点(.)、短划线(-)、星号(*)和下划线(_)保持不变。 加号(+)转为空格。 %xy格式的序列转为对应的字节值,连续的字节值根据输入的encoding名称解码为对应的字符串。 其余的字符保持不变。 函数最终的返回值是UTF-8编码的字符串。 参数说明 input:要输入的字符串。 encoding:指定的编码格式,支持GBK或UTF-8等标准编码格式,不输入默认为UTF-8。 返回值说明返回STRING类型。如果输入参数为NULL,则返回NULL。
示例URL_DECODE('%E7%A4%BA%E4%BE%8Bfor+URL_DECODE%3A%2F%2F+%28fdsf%29')= "示例for URL_DECODE:// (fdsf)" URL_DECODE('Example+for+URL_DECODE+%3A%2F%2F+dsf%28fasfs%29', 'GBK') = "Example for URL_DECODE:// dsf(fasfs)"
ENDSWITH
命令格式BOOLEAN ENDSWITH(STRING input, STRING suffix) 命令说明
判断input的值是否以suffix结尾。
参数说明输入参数为STRING类型。如果输入参数为BIGINT、DOUBLE、DECIMAL或DATETIME类型,则会隐式转换为STRING类型后参与运算,其它类型会返回异常。
返回值说明返回BOOLEAN类型。
TO_BASE64
命令TO_BASE64(BINARY bin) 命令说明
将二进制数据转换成对应base64编码的字符串输出。
参数说明输入参数为BINARY类型。
返回值说明返回base64编码的字符串。