关于kafka内存溢出，和数据不能写入问题。
 
曾经实用kafka消息队列，代码没问题，有时候出现数据不能写入，有时候会出现数据可以写入了，队列中的信息也消费了，但是内存降不下来。
 
造成内存溢出。
 
经过检测和测试；是实用的kafka版本低的问题。低版本的一个bug.可以升级或者打补丁方式解决
 
issues地址：
 
 
https://issues.apache.org/jira/browse/KAFKA-3594
 
 

 
 

 
 

 

SQLite是我非常喜欢的一个小型数据库。如果你真把它当SQL Server、Oracle来使用的话，那简直是灾难，读写效率带来的死锁问题够你受的。
 
不过，如果把整个数据库加载到内存中呢？哈哈，那简直是爽翻了。不过，写入怎么解决呢？
 你的程序不知道什么时候会退出，一旦退出，数据还未保存的话，哭吧。。。。
 
其实，向数据库中写入数据的频率是非常低的，而读取数据的频率却很高。
 
且看我的更新方法：
 1、把数据库加载到内存
 2、每次需要读取数据的时候，直接从内存中读取。
 3、每次写入数据的时候，先写内存，然后把那条SQL语句再磁盘上的数据库上执行一下。
 4、如果向内存数据库写入都失败，怎么办？很简单，那就用不着更新磁盘上的数据库啦。
 
有时候，执行的并不是一条简单的ＳＱＬ语句，而是加了参数的语句，那么这里还需要对参数进行处理。处理的代码如下：
 
public static void SQLiteFileDatabseExecute(SQLiteCommand command)
{
    SQLiteConnection sQLiteConnection = new SQLiteConnection(SQLiteConnectionString);
    SQLiteCommand sQLiteCommand = new SQLiteCommand("", sQLiteConnection);
    try
    {
        sQLiteConnection.Open();
        sQLiteCommand.CommandText = command.CommandText;
        foreach (SQLiteParameter sQLiteParameter in command.Parameters)
        {
            sQLiteCommand.Parameters.Add(sQLiteParameter);
        }
        sQLiteCommand.ExecuteNonQuery();
    }
    catch (Exception ex)
    {
        Console.WriteLine(ex.ToString());
    }
    finally
    {
        sQLiteConnection.Close();
    }
}
 
读，从内存中加载的数据库中读取
 写，先写内存数据库，然后在磁盘上的数据库中执行同样的SQL语句。
 
OK。先写到这里。如果你有疑问，欢迎留言。

Python内存中的读取与写入
 
1、内存中的读写-StirngIO
 
StirngIO顾名思义就是在内存中读写str字符串
 
sio.write(str)
 功能：将字符串写入sio对象中。
 
sio.getvalue()
 功能:获取写入的内容
 
from io import StringIO#
sio = StringIO()
sio.write("hello")
sio.write("good")
print(sio.getvalue())
#结果：hellogood
 
sio2.read()
 功能:一次性读取所有的sio对象中的内容
 
from io import StringIO#
sio2 = StringIO("hello jerry!!!")
print(sio2.read())
#结果：hello jerry!!!
 
2、在内存中读取二进制字符串-BytesIO
 
StringIO操作的只能是str,如果要操作二进制数据,就需要使用BytesIO，BytesIO实现了在内存中读写bytes。
 
与StringIO操作类似，但是注意要进行编码写入bytes
 
from io import BytesIO
f = BytesIO()
f.write("中文".encode('utf-8'))#写入的不是str,而是经过UTF-8编码的bytes
print(f.getvalue())#未解码
print(f.getvalue().decode("utf-8"))#解码

#结果
#未解码：b'\xe4\xb8\xad\xe6\x96\x87'
#解码：中文
 
from io import BytesIO
bio2 = BytesIO("中国红".encode("utf-8"))
print(bio2.read().decode("utf-8"))
#结果：中国红

  不是不关闭就不能写入，而是已经在内存缓冲中写入，但并没有写到文档中，所以你看不到 你可以加入调用 flush()方法 刷新该缓冲，那个关闭输出流 和flush()方法一样，都可以刷新缓冲，但close可以节省内存，如果总是调用流，但不关闭，导致内存大量占用，程序崩溃