最近碰到一个奇怪的问题，测试程序的过程中，总是莫名其妙的数据被修改，在网上扒拉了一番，记录一下：
1、已系统用户登录数据库，执行sql语句select * from v$sql，找到目标语句，复制sql_id;
2、执行select address from v$sql where sql_id='g84s7vp6uh2mc'; 复制address
3、执行select username,osuser,machine,program from v$session where prev_sql_addr='2C3FFE00';其中machine 就是目标机器，
此处sql语句网上还有说执行select username,osuser,machine,program from v$session where sql_address=‘2C3FFE00’，这句对我的oracle 无效

查看MySQL数据库的SQL语句的执行记录日志

方法1：可以使用processlist查看SQL执行语句，但是有个弊端，就是只能查看正在执行的sql语句，无法查看历史执行的语句。

> use information_schema;

> show processlist;

或者

> select * from information_schema.`PROCESSLIST` where info is not null;

+--------+------+-----------+--------------------+---------+------+----------------------+-----------------------------------------------------------------------+---------+-------+-----------+----------+

| ID     | USER | HOST      | DB                 | COMMAND | TIME | STATE                | INFO                                                                  | TIME_MS | STAGE | MAX_STAGE | PROGRESS |

+--------+------+-----------+--------------------+---------+------+----------------------+-----------------------------------------------------------------------+---------+-------+-----------+----------+

| 347182 | root | localhost | information_schema | Query   |    0 | Filling schema table | select * from information_schema.`PROCESSLIST` where info is not null |   0.502 |     0 |         0 |    0.000 |

+--------+------+-----------+--------------------+---------+------+----------------------+-----------------------------------------------------------------------+---------+-------+-----------+----------+

1 row in set (0.00 sec)



方法2：开启数据库的日志模式，通过日志查看历史执行记录

* 查看当前配置

> show variables like '%log_output%'; 

+---------------+-------+

| Variable_name | Value |

+---------------+-------+

| log_output    | FILE  |

+---------------+-------+

> show variables like '%general_log%';

+------------------+------------------------------+

| Variable_name    | Value                        |

+------------------+------------------------------+

| general_log      | OFF                          |

| general_log_file | /var/log/mariadb/mariadb.log |

+------------------+------------------------------+

* 开启&关闭日志模式（可选择输出到表或文件中）：

> SET GLOBAL log_output = 'FILE';  SET GLOBAL general_log = 'ON';   //日志开启（日志输出到文件）

> SET GLOBAL log_output = 'FILE';  SET GLOBAL general_log = 'OFF';  //日志关闭

或者

> SET GLOBAL log_output = 'TABLE'; SET GLOBAL general_log = 'ON';   //日志开启（日志输出到表：mysql.general_log）

> SET GLOBAL log_output = 'TABLE'; SET GLOBAL general_log = 'OFF';  //日志关闭

> show variables like '%log_output%'; 

+---------------+-------+

| Variable_name | Value |

+---------------+-------+

| log_output    | FILE  |

+---------------+-------+

> show variables like '%general_log%';

+------------------+------------------------------+

| Variable_name    | Value                        |

+------------------+------------------------------+

| general_log      | ON                           |

| general_log_file | /var/log/mariadb/mariadb.log |

+------------------+------------------------------+



* 查看日志文件中的执行记录：

#tail -f /var/log/mariadb/mariadb.log

......

347189 Query INSERT INTO `table_copy1` (`id`, `col02_str`, `col03_str`, `col04_int`, `col05_integer`, `col06_bigint`) 

 VALUES ( 1,  'aaaa',  'bbbbb',  20,  30,  655360),

        ( 2,  'xxxx',  'yyyy',  21,  333,  65536000),

        ( 3,  'asasdf',  'sdkfjdkf',  55,  900,  2222),

        ( 4,  'test',  'testaaa',  11,  22,  33),

        ( 5,  'test05',  'testssssss',  222,  222,  222),

        ( 6,  'test06',  'aaaa',  111,  111,  222),

        ( 7,  'aaaa',  'bbbb',  22,  22,  22),

        ( 8,  '你好',  'hello',  25,  25,  25),

        ( 9,  'aaa',  'aaa',  11,  11,  11),

        ( 10,  '',  'bbbbddddrrrrssss4444',  null,  null,  null),

347189 Query    commit

......

* 表查询执行记录：

> SELECT * from mysql.general_log ORDER BY event_time DESC;

* 日志查询执行记录

> SELECT * from mysql.general_log ORDER BY event_time DESC;

* 清空表

> truncate table mysql.general_log;  //该表仅支持truncate不支持delete

 

        在日常的工作中，MySQL和SQLServer是经常使用到的两种数据库，直接连接使用的话是很简单的，如果说需要基于pyspark做连接工具，进行相应的数据查询操作的话就会复杂一点，今天简单的基于pyspark模块实现了连接MySQL数据库，执行给定的查询语句，返回查询结果数据。

      接下来简单的说一点自己学习使用pyspark以来的记录学习，具体如下：

      pyspark顾名思义就是由python和spark组合使用的。Spark提供了一个Python_Shell，即pyspark，从而可以以交互的方式使用Python编写Spark程序。有关Spark的基本架构以及pyspark环境配置相关的内容本篇博客就不再多加阐述了，网络上也有很多不错的讲解。

      pyspark里最核心的模块是SparkContext（简称sc）,最重要的数据载体是RDD。RDD就像一个NumPy array或者一个Pandas Series，可以视作一个有序的item集合。只不过这些item并不存在driver端的内存里，而是被分割成很多个partitions，每个partition的数据存在集群的executor的内存中。parkSession是Spark 2.0引入的新概念。SparkSession为用户提供了统一的切入点，来让用户学习spark的各项功能。 在spark的早期版本中，SparkContext是spark的主要切入点，由于RDD是主要的API，我们通过sparkcontext来创建和操作RDD。对于每个其他的API，我们需要使用不同的context。例如，对于Streming，我们需要使用StreamingContext；对于sql，使用sqlContext；对于hive，使用hiveContext。但是随着DataSet和DataFrame的API逐渐成为标准的API，就需要为他们建立接入点。所以在spark2.0中，引入SparkSession作为DataSet和DataFrame API的切入点。SparkSession实质上是SQLContext和HiveContext的组合(未来可能还会加上StreamingContext)，所以在SQLContext和HiveContext上可用的API在SparkSession上同样是可以使用的。SparkSession内部封装了SparkContext，所以计算实际上是由SparkContext完成的。

     

         接下来回归正题，基于pyspark的MySQL数据库操作实现如下：

def mysqlDataRead(table='table'):
    '''
    读取 MySQL 数据库内容
    '''
    sqlContext=SQLContext(sc)
    url='jdbc:mysql://'+mysql['host']+':'+str(mysql['port'])+'/'+mysql['db']+'?'+'user='+mysql['user']+'&password='+mysql['passwd']
    df=sqlContext.read.format("jdbc").options(url=url,dbtable=table).load()
    print '=========================================================='
    df.show()
    all_columns=df.columns
    print '=========================================================='
    print all_columns
    res_list=df.collect()
    print '=========================================================='
    print type(res_list)
    print '=========================================================='
    result=splitRowData(all_columns,res_list)
    for one in result[:10]:
        print one
    sc.stop()
    return result

           简单实践如下：

table='(SELECT * FROM myTable LIMIT 5) T'
mysqlDataRead(table=table)

        结果如下：





      简单的小工具！

 

达梦数据库开启SQL日志记录功能
达梦数据库的SQL日志功能可以将在数据库执行的SQL语句完美的记录下来。通过记录的日志可以找出慢的SQL语句，在进一步进行分析处理。
开启达梦SQL语句记录一共有两种方法：
1、通过配置sqllog.ini
2、通过执行系统过程修改dm.ini
一、sqllog.ini 配置文件介绍

sqllog.ini文件位置



打开sqlog.ini配置文件如下：

BUF_TOTAL_SIZE          = 10240         #SQLs Log Buffer Total Size(K)(1024~1024000)
BUF_SIZE                = 1024          #SQLs Log Buffer Size(K)(50~409600)
BUF_KEEP_CNT            = 6             #SQLs Log buffer keeped count(1~100)

[SLOG_ALL]
    FILE_PATH    = ../log  
    PART_STOR    = 0 
    SWITCH_MODE  = 0
    SWITCH_LIMIT   = 0
    ASYNC_FLUSH   = 0
    FILE_NUM = 0
    ITEMS    = 0
    SQL_TRACE_MASK  = 0
    MIN_EXEC_TIME = 0
    USER_MODE   = 0
    USERS =


配置文件详细说明


二、配置sqllog.ini举例

举例：记录所有用户的原始SELECT语句大于100ms以上的语句，并记录参数信息、数据库类型和值。sql日志文件放在/dm/dmdbms/log下以dmsql_实例名_日期时间.LOG，单个日志文件达到200M后切换到新的日志文件，总共记录10个日志文件。

[dmdba@localhost ~]$ cd /opt/dmdbms/data/DAMENG/
[dmdba@localhost DAMENG]$ vi sqllog.ini 

BUF_TOTAL_SIZE          = 10240         #SQLs Log Buffer Total Size(K)(1024~1024000)
BUF_SIZE                = 1024          #SQLs Log Buffer Size(K)(50~409600)
BUF_KEEP_CNT            = 6             #SQLs Log buffer keeped count(1~100)

[SLOG_ALL]
    FILE_PATH    = /opt/dmdbms/log   
    PART_STOR    = 0 
    SWITCH_MODE  = 2
    SWITCH_LIMIT   = 200
    ASYNC_FLUSH   = 1
    FILE_NUM = 10
    ITEMS    = 0
    SQL_TRACE_MASK  = 7:27:28
    MIN_EXEC_TIME = 100
    USER_MODE   = 0
    USERS =

设置SVR_LOG参数为1，打开SQL日志

SP_SET_PARA_VALUE(1,‘SVR_LOG’,1);

[dmdba@localhost ~]$ cd /opt/dmdbms/bin
[dmdba@localhost bin]$ ./disql SYSDBA/SYSDBA@localhost:5236

服务器[localhost:5236]:处于普通打开状态
登录使用时间: 7.548(毫秒)
disql V8
SQL> SP_SET_PARA_VALUE(1,'SVR_LOG',1);
DMSQL 过程已成功完成
已用时间: 31.549(毫秒). 执行号:4.
SQL> exit
[dmdba@localhost bin]$ 


注意！！！！  只有把INI参数SVR_LOG置为1，且SVR_LOG_NAME为SLOG_ALL时，sqllog.ini中名称为SLOG_ALL的配置块才会生效。若SVR_LOG为1，但不存在sqllog.ini或sqllog.ini配置错误，则仍旧使用dm.ini中的相关参数.

验证SQL日志记录的信息
测试环境是安装的达梦DEM工具，以下是达梦DEM工具的SQL查询语句。
[dmdba@localhost log]$ cd /opt/dmdbms/log/
[dmdba@localhost log]$ ls
DmAPService.log     dm_DMSERVER_202009.log  dmsql_DMSERVER_20200921_154946.log  dm_unknown_202009.log  install.log
dm_dmap_202009.log  DmServiceDMSERVER.log   dmsvc_sh.log                        install_ant.log        tool.log
[dmdba@localhost log]$ tail -f dmsql_DMSERVER_20200921_154946.log 
2020-09-21 15:49:59.201 (EP[0] sess:0x7fc9d80112f8 thrd:3194 user:SYSDBA trxid:1952127 stmt:0x7fc9d8033af0 appname: ip:::ffff:127.0.0.1) [ORA]: /***DEM***/select drs.id,drs.ddfs_id,drs.gmt_create,drs.gmt_modify,drs.mf_id,drs.auto_restart,drs.watcher_is_stop,drs.drs_id,drs.inst_name,drs.ip_address,drs.port,drs.grp_id,drs.grp_name,drs.mode$,drs.ts,drs.bin_path,drs.ini_path,drs.service_name ,(select count(1) from dem.dma_alert_his where exe_id = drs.id and valid = 1) alert_count from dem.dma_ddfs_drs drs where drs.flag=1  and drs.mf_id = ?
2020-09-21 15:49:59.201 (EP[0] sess:0x7fc9d80112f8 thrd:3194 user:SYSDBA trxid:1952127 stmt:0x7fc9d8033af0 appname: ip:::ffff:127.0.0.1) PARAMS(SEQNO, TYPE, DATA)={(0, VARCHAR, '000C29C5A229525400148874')}
2020-09-21 15:49:59.201 (EP[0] sess:0x7fc9d80112f8 thrd:3194 user:SYSDBA trxid:1952127 stmt:0x7fc9d8033af0 appname: ip:::ffff:127.0.0.1) [ORA]: /***DEM***/select dcs.id,dcs.ddfs_id,dcs.gmt_create,dcs.gmt_modify,dcs.mf_id,dcs.ddfs_db_id,dcs.port,dcs.micro_size,dcs.great_size,dcs.page_size,dcs.ts,dcs.ip_address,dcs.bin_path,dcs.ini_path,dcs.service_name,(select count(1) from dem.dma_alert_his where exe_id = dcs.id and valid = 1) alert_count from dem.dma_ddfs_dcs dcs where dcs.flag=1  and dcs.mf_id = ? order by dcs.ddfs_db_id 
2020-09-21 15:49:59.202 (EP[0] sess:0x7fc9d80112f8 thrd:3194 user:SYSDBA trxid:1952127 stmt:0x7fc9d8033af0 appname: ip:::ffff:127.0.0.1) PARAMS(SEQNO, TYPE, DATA)={(0, VARCHAR, '000C29C5A229525400148874')}
2020-09-21 15:49:59.202 (EP[0] sess:0x7fc9d80112f8 thrd:3194 user:SYSDBA trxid:0 stmt:0x7fc9d8033af0 appname: ip:::ffff:127.0.0.1) [ORA]: /***DEM***/select db.id,db.ddfs_id, db.gmt_create, db.gmt_modify, db.mf_id,db.ip_address,db.port,db.username,db.password,db.mode,db.bin_path,db.ini_path,db.service_name,(select count(1) from dem.dma_alert_his where exe_id = db.id and valid = 1) alert_count,mf.os_name,mf.outer_ip,mf.inner_ip  from dem.dma_ddfs_db db left join dem.dma_valid_mf_view mf on db.mf_id=mf.id  where db.flag=1  and db.ddfs_id = ? order by db.mode,db.id 
2020-09-21 15:49:59.202 (EP[0] sess:0x7fc9d80112f8 thrd:3194 user:SYSDBA trxid:1952128 stmt:0x7fc9d8033af0 appname: ip:::ffff:127.0.0.1) PARAMS(SEQNO, TYPE, DATA)={(0, DEC, NULL)}


修改sqllog.ini文件后，可以调用过程SP_REFRESH_SVR_LOG_CONFIG() 对后面新的会话生效。

三、dm.ini配置文件详细介绍

--#记录SQL的类型
SF_SET_SYSTEM_PARA_VALUE('SQL_TRACE_MASK','7::25:27:28',0,1); 
--#异步记录SQL日志
SF_SET_SYSTEM_PARA_VALUE('SVR_LOG_ASYNC_FLUSH',1,0,1);

--#记录执行时间超过100ms的SQL语句
SF_SET_SYSTEM_PARA_VALUE('SVR_LOG_MIN_EXEC_TIME',100,0,1);  
--#总共记录多少个日志文件
SF_SET_SYSTEM_PARA_VALUE('SVR_LOG_FILE_NUM',20,0,1);
--#开启SQL日志
SP_SET_PARA_VALUE(1,'SVR_LOG',1);
--#关闭SQL日志
SP_SET_PARA_VALUE(1,'SVR_LOG',0);


SF_SET_SYSTEM_PARA_VALUE	(paraname	varchar(256),	value t64\double\varchar（256）, deferred int,	scope int64)


该过程用于修改系统整型、double、varchar 的静态配置参数或动态配置参数。

DEFERRED 参数，为 0 表示当前 session 修改的参数立即生效，为 1 表示当前 session不生效，后续再生效，默认为 0。

SCOPE 参数为 1 表示在内存和 INI 文件中都修改参数值，此时只能修改动态的配置参数。参数为 2 表示只在 INI 文件中修改配置参数，此时可用来修改静态配置参数和动态配置参数。

四、修改dm.ini实现SQL语句的记录

注意！！！！除了配置sqllog.ini 以外，还可以配置dm.ini中相关数据库参数。但是需要注意的是，如果sqllog.ini配置文件存在且配置正确，那么SQL日志以sqllog.ini中的配置来记录符合条件的SQL信息。


举例：记录所有用户的原始SELECT语句大于100ms以上的语句，并记录参数信息、数据库类型和值。sql日志文件放在/dm/dmdbms/log下以dmsql_实例名_日期时间.LOG，单个日志文件达到1000条后切换到新的日志文件，共记录20个日志文件。

[dmdba@localhost log]$ 
[dmdba@localhost log]$ cd /opt/dmdbms/data/DAMENG/
[dmdba@localhost DAMENG]$ ls
bak           ctl_bak       DAMENG02.log  DMHR.DBF  dminit20200917141856.log  HMAIN     rep_conflict.log  sqllog.ini  TEMP.DBF
BOOKSHOP.DBF  DAMENG01.log  dm.ctl        dm.ini    dm_service.prikey         MAIN.DBF  ROLL.DBF          SYSTEM.DBF  trace
[dmdba@localhost DAMENG]$ mv sqllog.ini sqllog.ini.bak
[dmdba@localhost DAMENG]$ 
[dmdba@localhost DAMENG]$ cd /opt/dmdbms/bin
[dmdba@localhost bin]$ ./disql SYSDBA/SYSDBA

服务器[LOCALHOST:5236]:处于普通打开状态
登录使用时间: 6.753(毫秒)
disql V8
SQL> SF_SET_SYSTEM_PARA_VALUE('SQL_TRACE_MASK','7:25:27:28',0,1); 

SF_SET_SYSTEM_PARA_VALUE('SVR_LOG_ASYNC_FLUSH',1,0,1);

SF_SET_SYSTEM_PARA_VALUE('SVR_LOG_MIN_EXEC_TIME',1,0,1);  

SF_SET_SYSTEM_PARA_VALUE('SVR_LOG_FILE_NUM',20,0,1);

SP_SET_PARA_VALUE(1,'SVR_LOG',1);DMSQL 过程已成功完成
已用时间: 5.762(毫秒). 执行号:33463.
SQL>DMSQL 过程已成功完成
已用时间: 4.114(毫秒). 执行号:33464.
SQL> DMSQL 过程已成功完成
已用时间: 4.322(毫秒). 执行号:33465.
SQL>DMSQL 过程已成功完成
已用时间: 4.168(毫秒). 执行号:33466.
SQL> exit;
[dmdba@localhost bin]$ 
[dmdba@localhost bin]$ cd /opt/dmdbms/log/
[dmdba@localhost log]$ ls
DmAPService.log     dm_DMSERVER_202009.log  dmsql_DMSERVER_20200921_154946.log  dmsvc_sh.log           install_ant.log  tool.log
dm_dmap_202009.log  DmServiceDMSERVER.log   dmsql_DMSERVER.log                  dm_unknown_202009.log  install.log
[dmdba@localhost log]$ tail -f dmsql_DMSERVER.log 
2020-09-21 16:55:08.293 (EP[0] sess:0x7fc9dc0112f8 thrd:3193 user:SYSDBA trxid:1974144 stmt:0x7fc9dc033af0 appname: ip:::ffff:127.0.0.1) PARAMS(SEQNO, TYPE, DATA)={(0, BIGINT, 1600678508274), (1, VARCHAR, '1600332513156'), (2, BIGINT, 140334902350584), (3, TEXT, ), (4, TIMESTAMP, 2020-09-21 16:55:08), (5, VARCHAR, 'SYSDBA'), (6, VARCHAR, '::ffff:192.168.1.32'), (7, VARCHAR, ''), (8, VARCHAR, 'ACTIVE'), (9, BIGINT, 0), (10, BIGINT, 1), (11, BIGINT, 2640), (12, BIGINT, 601), (13, BIGINT, 2), (14, BIGINT, 0), (15, BIGINT, 0), (16, BIGINT, 0), (17, BIGINT, 0), (18, BIGINT, 0), (19, BIGINT, 0), (20, BIGINT, 0), (21, BIGINT, 0), (22, BIGINT, 0), (23, BIGINT, 0), (24, BIGINT, 0), (25, BIGINT, 0), (26, BIGINT, 0)}
2020-09-21 16:55:10.299 (EP[0] sess:0x7fc9dc0112f8 thrd:3193 user:SYSDBA trxid:0 stmt:0x7fc9dc033af0 appname: ip:::ffff:127.0.0.1) [ORA]: select 1
2020-09-21 16:55:10.300 (EP[0] sess:0x7fc9dc0112f8 thrd:3193 user:SYSDBA trxid:0 stmt:0x7fc9dc033af0 appname: ip:::ffff:127.0.0.1) [ORA]: /***DEM***/insert into dem.dma_mainframe_stat(mf_id, ts, cpu_user_p, cpu_sys_p, cpu_wait_p, cpu_used_p, mem_total, mem_used, swap_total, swap_used, swap_page_in, swap_page_out, disk_total, disk_used, disk_i_speed, disk_o_speed, net_r_speed, net_t_speed) values(?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)
2020-09-21 16:55:10.300 (EP[0] sess:0x7fc9dc0112f8 thrd:3193 user:SYSDBA trxid:1974146 stmt:0x7fc9dc033af0 appname: ip:::ffff:127.0.0.1) PARAMS(SEQNO, TYPE, DATA)={(0, VARCHAR, '000C29032D66525400148874'), (1, BIGINT, 1600678507771), (2, DEC, 0), (3, DEC, 0.49), (4, DEC, 0), (5, DEC, 0.49), (6, BIGINT, 1907818496), (7, BIGINT, 1479241728), (8, BIGINT, 2147479552), (9, BIGINT, 561774592), (10, BIGINT, 22543), (11, BIGINT, 161951), (12, BIGINT, 18849792), (13, BIGINT, 8033080), (14, DEC, 0), (15, DEC, 4091.908092), (16, DEC, 1484.55), (17, DEC, 4198.4)}
2020-09-21 16:55:10.653 (EP[0] sess:0x7fc9dc0112f8 thrd:3193 user:SYSDBA trxid:0 stmt:0x7fc9dc033af0 appname: ip:::ffff:127.0.0.1) [ORA]: select 1
2020-09-21 16:55:10.654 (EP[0] sess:0x7fc9dc0112f8 thrd:3193 user:SYSDBA trxid:0 stmt:0x7fc9dc033af0 appname: ip:::ffff:127.0.0.1) [ORA]: insert into dem.dma_database_event(ts, db_id, event#, event, total_waits, time_waited, time_waited_micro, average_wait_micro, smax_time, smin_time, wait_class#, wait_class) values(?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)
2020-09-21 16:55:10.654 (EP[0] sess:0x7fc9dc0112f8 thrd:3193 user:SYSDBA trxid:1974148 stmt:0x7fc9dc033af0 appname: ip:::ffff:127.0.0.1) PARAMS(SEQNO, TYPE, DATA)={(0, BIGINT, 1600678510645), (1, VARCHAR, '1600332513156'), (2, INTEGER, 9), (3, VARCHAR, 'dbfile extend'), (4, INTEGER, 2), (5, INTEGER, 0), (6, BIGINT, 1179), (7, INTEGER, 589), (8, INTEGER, 633), (9, INTEGER, 546), (10, INTEGER, 1), (11, VARCHAR, 'System I/O')}

由于测试环境是安装的达梦DEM工具，以上是达梦DEM工具的SQL查询语句。