精华内容
下载资源
问答
  • tensorboard是TensorFlow的可视化工具,可以将神经网络模型结构与训练过程的数据保存到自定义的路径与日志文件中,然后在web端可视化展现。这里简单记录一下tensorboard的运行方法。 1.代码生成可视化文件 简单测试...

    tensorboard是TensorFlow的可视化工具,可以将神经网络模型结构与训练过程的数据保存到自定义的路径与日志文件中,然后在web端可视化展现。这里简单记录一下tensorboard的运行方法。

    1.代码生成可视化文件

    简单测试代码生成文件放在D:\logs中,包含训练以及测试的文件夹。
    events文件

    2. 采用Anaconda安装的TensorFlow,打开Anaconda Prompt,也可以用CMD打开。

    在这里插入图片描述

    3.运行tensorboard的两种方式

    a.进入文件路径下运行

    1.进入路径D:\logs
    2.输入tensorboard --logdir=./
    3.打开谷歌浏览器输入localhost:6006,或是http://本机IP:6006

    b.进入文件路径下运行

    直接输入tensorboard --logdir=D://logs,注意必须是//,测试时/是不行的。

    4.查看结果

    在这里插入图片描述

    展开全文
  • 用tensorboard可视化log日志

    千次阅读 2020-02-15 17:03:22
    最近在学习处理三维点云的神经网络模型PointNet,在数据训练完成后,要对日志进行图表可视化,因此用到了tensorflow自带的具有强大功能的可视化工具tensorboard。为避免遗忘,特此记录一下tensorboard的简单使用方法...

           最近在学习处理三维点云的神经网络模型PointNet,在数据训练完成后,要对日志进行图表可视化,因此用到了tensorflow自带的具有强大功能的可视化工具tensorboard。为避免遗忘,特此记录一下tensorboard的简单使用方法。
            1. 训练日志准备
            所要查看的日志log文件:

           或者,也可以使用博客https://blog.csdn.net/hnwolfs/article/details/81122380中的python小程序构建简单的log文件进行测试。

            2. 运行环境准备
        本系统的tensorflow运行环境采用anaconda配置,名称为tfpy36。

    3. tensorboard可视化
         (1)激活运行环境
            在命令行输入cmd,进入命令提提示符,输入activate tfpy36,其中tfpy36是本系统配置了tensorflow的一个环境名。

         (2) 切换到log文件所在目录

         (3)启动tensorBoard
            在命令行中输入tensorboard --logdir=log并运行,其中log是日志文件名。

         (4) 显示训练结果
            找到上一节运行结果中的链接http://DESKTOP-UOQ3REQ:6006,复制粘贴到浏览器中,即可在浏览器中显示训练结果。

    展开全文
  • wandb: 深度学习轻量级可视化工具入门教程引言wandb验证数据可视化自然语言重要工具极简教程1 安装库2 创建账户3 初始化4 声明超参数5 记录日志6 保存文件参考文献 引言 人工智能方向的项目,和数据可视化是紧密相连...

    本文,就来给大家介绍一款新型的机器学习可视化工具,能够让人工智能研发过程变得更加简单明了。

    引言

    人工智能方向的项目,和数据可视化是紧密相连的。

    模型训练过程中梯度下降过程是什么样的?损失函数的走向如何?训练模型的准确度怎么变化的?

    清楚这些数据,对我们模型的优化至关重要。

    由于人工智能项目往往伴随着巨大数据量,用肉眼去逐个数据查看、分析是不显示的。这时候就需要用到数据可视化和日志分析报告。

    TensorFlow自带的Tensorboard在模型和训练过程可视化方面做得越来越好。但是,也越来越臃肿,对于初入人工智能的同学来说有一定的门槛。

    人工智能方面的项目变得越来越规范化,以模型训练、数据集准备为例,目前很多大公司已经发布了各自的自动机器学习平台,让工程师把更多精力放在优化策略上,而不是在准备数据、数据可视化方面。

    wandb

    wandb是Weights & Biases的缩写,这款工具能够帮助跟踪你的机器学习项目。它能够自动记录模型训练过程中的超参数和输出指标,然后可视化和比较结果,并快速与同事共享结果。

    通过wandb,能够给你的机器学习项目带来强大的交互式可视化调试体验,能够自动化记录Python脚本中的图标,并且实时在网页仪表盘展示它的结果,例如,损失函数、准确率、召回率,它能够让你在最短的时间内完成机器学习项目可视化图片的制作。

    总结而言,wandb有4项核心功能:

    • 看板:跟踪训练过程,给出可视化结果
    • 报告:保存和共享训练过程中一些细节、有价值的信息
    • 调优:使用超参数调优来优化你训练的模型
    • 工具:数据集和模型版本化

    也就是说,wandb并不单纯的是一款数据可视化工具。它具有更为强大的模型和数据版本管理。此外,还可以对你训练的模型进行调优。

    wandb另外一大亮点的就是强大的兼容性,它能够和Jupyter、TensorFlow、Pytorch、Keras、Scikit、fast.ai、LightGBM、XGBoost一起结合使用。

    因此,它不仅可以给你带来时间和精力上的节省,还能够给你的结果带来质的改变。

    验证数据可视化

    wandb会自动选取一部分验证数据,然后把它展示到面板上。例如,手写体预测的结果、目标识别的包围盒。

    自然语言处理

    使用自定义图表可视化基于NLP注意力的模型

    这里只给出2个示例,除了这些,它目前还有更多实用有价值的功能。而且,它还不断在增加新功能。

    重要工具

    wandb(Weights & Biases)是一个类似于tensorboard的极度丝滑的在线模型训练可视化工具。
    在这里插入图片描述
    wandb这个库可以帮助我们跟踪实验,记录运行中的超参数和输出指标,可视化结果并共享结果。

    下图展示了wandb这个库的功能,Framework Agnostic的意思是无所谓你用什么框架,均可使用wandb。wandb可与用户的机器学习基础架构配合使用:AWS,GCP,Kubernetes,Azure和本地机器。
    在这里插入图片描述

    下面是wandb的重要的工具

    • Dashboard: Track experiments(跟踪实验), visualize results(可视化结果);
    • Reports:Save and share reproducible findings(分享和保存结果);
    • Sweeps:Optimize models with hyperparameter tuning(超参调优);
    • Artifacts:Dataset and model versioning, pipeline tracking(数据集和模型的版本控制);

    极简教程

    1 安装库

    pip install wandb
    

    2 创建账户

    wandb login
    

    3 初始化

    # Inside my model training code
    import wandb
    wandb.init(project="my-project")
    

    4 声明超参数

    wandb.config.dropout = 0.2
    wandb.config.hidden_layer_size = 128
    

    5 记录日志

    def my_train_loop():
        for epoch in range(10):
            loss = 0 # change as appropriate :)
            wandb.log({'epoch': epoch, 'loss': loss})
    

    6 保存文件

    # by default, this will save to a new subfolder for files associated
    # with your run, created in wandb.run.dir (which is ./wandb by default)
    wandb.save("mymodel.h5")
    
    # you can pass the full path to the Keras model API
    model.save(os.path.join(wandb.run.dir, "mymodel.h5"))
    

    使用wandb以后,模型输出,log和要保存的文件将会同步到cloud。

    PyTorch应用wandb

    我们以一个最简单的神经网络为例展示wandb的用法:

    首先导入必要的库:

    from __future__ import print_function
    import argparse
    import random  # to set the python random seed
    import numpy  # to set the numpy random seed
    import torch
    import torch.nn as nn
    import torch.nn.functional as F
    import torch.optim as optim
    from torchvision import datasets, transforms
    from torch.utils.data import DataLoader
    # Ignore excessive warnings
    import logging
    
    logging.propagate = False
    logging.getLogger().setLevel(logging.ERROR)
    
    # WandB – Import the wandb library
    import wandb
    

    登陆你的wandb账户:

    # WandB – Login to your wandb account so you can log all your metrics
    !wandb login
    

    定义Convolutional Neural Network:

    # 定义Convolutional Neural Network:
    
    class Net(nn.Module):
        def __init__(self):
            super(Net, self).__init__()
    
            # In our constructor, we define our neural network architecture that we'll use in the forward pass.
            # Conv2d() adds a convolution layer that generates 2 dimensional feature maps
            # to learn different aspects of our image.
            self.conv1 = nn.Conv2d(3, 6, kernel_size=5)
            self.conv2 = nn.Conv2d(6, 16, kernel_size=5)
    
            # Linear(x,y) creates dense, fully connected layers with x inputs and y outputs.
            # Linear layers simply output the dot product of our inputs and weights.
            self.fc1 = nn.Linear(16 * 5 * 5, 120)
            self.fc2 = nn.Linear(120, 84)
            self.fc3 = nn.Linear(84, 10)
    
        def forward(self, x):
            # Here we feed the feature maps from the convolutional layers into a max_pool2d layer.
            # The max_pool2d layer reduces the size of the image representation our convolutional layers learnt,
            # and in doing so it reduces the number of parameters and computations the network needs to perform.
            # Finally we apply the relu activation function which gives us max(0, max_pool2d_output)
            x = F.relu(F.max_pool2d(self.conv1(x), 2))
            x = F.relu(F.max_pool2d(self.conv2(x), 2))
    
            # Reshapes x into size (-1, 16 * 5 * 5)
            # so we can feed the convolution layer outputs into our fully connected layer.
            x = x.view(-1, 16 * 5 * 5)
    
            # We apply the relu activation function and dropout to the output of our fully connected layers.
            x = F.relu(self.fc1(x))
            x = F.relu(self.fc2(x))
            x = self.fc3(x)
    
            # Finally we apply the softmax function to squash the probabilities of each class (0-9)
            # and ensure they add to 1.
            return F.log_softmax(x, dim=1)
    

    定义训练函数

    def train(config, model, device, train_loader, optimizer, epoch):
        # switch model to training mode. This is necessary for layers like dropout, batchNorm etc.
        # which behave differently in training and evaluation mode.
        model.train()
    
        # we loop over the data iterator, and feed the inputs to the network and adjust the weights.
        for batch_id, (data, target) in enumerate(train_loader):
            if batch_id > 20:
                break
            # Loop the input features and labels from the training dataset.
            data, target = data.to(device), target.to(device)
    
            # Reset the gradients to 0 for all learnable weight parameters
            optimizer.zero_grad()
    
            # Forward pass: Pass image data from training dataset, make predictions
            # about class image belongs to (0-9 in this case).
            output = model(data)
    
            # Define our loss function, and compute the loss
            loss = F.nll_loss(output, target)
    
            # Backward pass:compute the gradients of loss,the model's parameters
            loss.backward()
    
            # update the neural network weights
            optimizer.step()
    

    定义测试函数

    # wandb.log用来记录一些日志(accuracy,loss and epoch), 便于随时查看网路的性能
    def test(args, model, device, test_loader, classes):
        model.eval()
        # switch model to evaluation mode.
        # This is necessary for layers like dropout, batchNorm etc. which behave differently in training and evaluation mode
        test_loss = 0
        correct = 0
        example_images = []
    
        with torch.no_grad():
            for data, target in test_loader:
                # Load the input features and labels from the test dataset
                data, target = data.to(device), target.to(device)
    
                # Make predictions: Pass image data from test dataset,
                # make predictions about class image belongs to(0-9 in this case)
                output = model(data)
    
                # Compute the loss sum up batch loss
                test_loss += F.nll_loss(output, target, reduction='sum').item()
    
                # Get the index of the max log-probability
                pred = output.max(1, keepdim=True)[1]
                correct += pred.eq(target.view_as(pred)).sum().item()
    
                # Log images in your test dataset automatically,
                # along with predicted and true labels by passing pytorch tensors with image data into wandb.
                example_images.append(wandb.Image(
                    data[0], caption="Pred:{} Truth:{}".format(classes[pred[0].item()], classes[target[0]])))
    
       # wandb.log(a_dict) logs the keys and values of the dictionary passed in and associates the values with a step.
       # You can log anything by passing it to wandb.log(),
       # including histograms, custom matplotlib objects, images, video, text, tables, html, pointclounds and other 3D objects.
       # Here we use it to log test accuracy, loss and some test images (along with their true and predicted labels).
        wandb.log({
            "Examples": example_images,
            "Test Accuracy": 100. * correct / len(test_loader.dataset),
            "Test Loss": test_loss
        })
    

    初始化一个wandb run,并设置超参数:

    # 初始化一个wandb run, 并设置超参数
    # Initialize a new run
    wandb.init(project="pytorch-intro")
    wandb.watch_called = False  # Re-run the model without restarting the runtime, unnecessary after our next release
    
    # config is a variable that holds and saves hyper parameters and inputs
    config = wandb.config  # Initialize config
    config.batch_size = 4  # input batch size for training (default:64)
    config.test_batch_size = 10  # input batch size for testing(default:1000)
    config.epochs = 50  # number of epochs to train(default:10)
    config.lr = 0.1  # learning rate(default:0.01)
    config.momentum = 0.1  # SGD momentum(default:0.5)
    config.no_cuda = False  # disables CUDA training
    config.seed = 42  # random seed(default:42)
    config.log_interval = 10  # how many batches to wait before logging training status
    

    主函数

    def main():
        use_cuda = not config.no_cuda and torch.cuda.is_available()
        device = torch.device("cuda:0" if use_cuda else "cpu")
        kwargs = {'num_workers': 1, 'pin_memory': True} if use_cuda else {}
    
        # Set random seeds and deterministic pytorch for reproducibility
        # random.seed(config.seed)      # python random seed
        torch.manual_seed(config.seed)  # pytorch random seed
        # numpy.random.seed(config.seed) # numpy random seed
        torch.backends.cudnn.deterministic = True
    
        # Load the dataset: We're training our CNN on CIFAR10.
        # First we define the transformations to apply to our images.
        transform = transforms.Compose([
            transforms.ToTensor(),
            transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
        ])
    
        # Now we load our training and test datasets and apply the transformations defined above
        train_loader = DataLoader(datasets.CIFAR10(
            root='./data',
            train=True,
            download=True,
            transform=transform
        ), batch_size=config.batch_size, shuffle=True, **kwargs)
    
        test_loader = DataLoader(datasets.CIFAR10(
            root='./data',
            train=False,
            download=True,
            transform=transform
        ), batch_size=config.batch_size, shuffle=False, **kwargs)
    
        classes = ('plane', 'car', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck')
        # Initialize our model, recursively go over all modules and convert their parameters
        # and buffers to CUDA tensors (if device is set to cuda)
        model = Net().to(device)
        optimizer = optim.SGD(model.parameters(), lr=config.lr, momentum=config.momentum)
    
        # wandb.watch() automatically fetches all layer dimensions, gradients, model parameters
        # and logs them automatically to your dashboard.
        # using log="all" log histograms of parameter values in addition to gradients
        wandb.watch(model, log="all")
        for epoch in range(1, config.epochs + 1):
            train(config, model, device, train_loader, optimizer, epoch)
            test(config, model, device, test_loader, classes)
    
        # Save the model checkpoint. This automatically saves a file to the cloud
        torch.save(model.state_dict(), 'model.h5')
        wandb.save('model.h5')
    
    
    if __name__ == '__main__':
        main()
    

    在这里插入图片描述

    参考文献

    1. https://www.jianshu.com/p/148c108b00f0
    2. https://zhuanlan.zhihu.com/p/266337608
    展开全文
  • 此外,mysqlbench日志文件在~/.mysql/workbench/log/ /usr/bin/mysql-workbench --help --admin instance:打开指定MySQL实例的管理选项卡。 --upgrade-mysql-dbs:打开“迁移向导...
    sudo apt-get install mysql-workbench

    这样就可以啦!非常简单。

    此外,mysqlbench日志文件在~/.mysql/workbench/log/

    /usr/bin/mysql-workbench --help
    • --admin instance:打开指定MySQL实例的管理选项卡。

    • --upgrade-mysql-dbs:打开“迁移向导”选项卡。

    • --migration:打开“迁移向导”选项卡。

    • --log-to-stderr:还要登录 stderr

    • --version:显示MySQL Workbench版本号并退出。

    • --verbose, -v:启用诊断输出。

    • --query [connection|connection_string]

      • 空:打开查询选项卡并提示连接。

      • 连接:打开命名连接。

      • Connection_string:根据输入的连接字符串创建连接,该连接字符串应该在表单中$USER@$HOST:$PORT

    • --model modelfile:打开给定的EER模型文件。

    • --script script:在连接中打开给定的SQL文件,通常与--query参数一起使用。

    • --run code:使用GRT shell的默认语言执行给定代码。

    • --run-python script:在Python中执行给定的代码。

    • --run-script file:从文件执行Python代码。

    • --open file:在启动时打开给定的文件。不推荐使用,因此请使用特定类型,例如--script或 --model

    • --quit-when-done:退出MySQL工作台后 --script--run结束。

    展开全文
  • tensorflow数据可视化

    千次阅读 2017-01-16 17:13:01
    可视化简单说就是把数据通过图,表等展示出来,使用者可以通过眼睛就可以... 使用的话,就是在源代码的基础之上加点操作,然后执行,生成日志文件,tensorBoard通过运行这个文件,可视化就完成了,共三步: 第一步:
  • TensorBoard 是 TensorFlow 的可视化工具, 它可以通过TensorFlow程序运行过程中输出的日志文件可视化TensorFlow的运行状态。TensorBoard 和 TensorFlow 程序不同的进程中,TensorBoard会自动读取最新的TensorBoard...
  • TensorBoard是TensorFlow的可视化工具,它可以通过TensorFlow程序运行过程中输出的日志文件可视化TensorFlow程序的运行状态。TensorBoard和TensorFlow程序跑在不同的进程中,TensorBoard会自动读取最新的TensorFlow...
  • tensorboard是tensorflow内置的一个可视化工具,它通过将tensorflow程序输出的日志文件的信息可视化使得tensorflow程序的理解、调试和优化更加简单高效
  • tensorboad是我们深度学习训练时非常好用的可视化工具,使用起来也非常简单,以下是利用MobaXterm的隧道转发功能可视化tensorboard的教程: 首先我们使用pip install tensorboard命令安装tensorboard扩展包 安装完成...
  • 本文主要介绍Tensorboard的可视化工具TensorFlow,Tensorboard通过将tensorflow程序输出的日志文件的信息可视化使得tensorflow程序的理解、调试和优化更加简单高效。
  • TensorBoard是TensorFlow的可视化工具,它可以通过TensorFlow程序运行过程中输出的日志文件可视化TensorFlow程序的运行状态。TensorFlow和TensorBoard程序跑在不同的进程中,TensorBoard会自动读取最新的TensorFlow...
  • 才哥由于在工作中需要处理很多日志文件数据,这些数据并不存在于数据库,而是以每日1个单文件的形式存在,为了让我们在日常数据处理中更方便的进行一些基础的数据合并、清洗筛选以及简单的分组或数据透视处理,结合...
  • 日志文件所在的路径,VisualDL将在此路径下递归搜索日志文件并进行可视化,可指定单个或多个路径 model string 模型文件路径(非文件夹路径),VisualDL将在此路径指定的模型文件进行可视化 host string 指定启动...
  • tensorboard是tensorflow的可视化工具,它可以通过tensorflow程序运行过程中输出的日志文件可视化tensorflow程序的运行状态。 我们在简单理解tensorboard的过程中仍然以以前写过的tensorflow识别mnist手写数字为例...
  • 随附的向导将用户从一个调整引导到另一个,并通过直观的红绿色开关按钮建议最佳设置,以及附加的系统状态指示器可视化系统的优化状态。 Tweak-SSD适用于Win7和Win8,win10,无论是32位还是64位版本。 2.0.20更新...
  • TensorBoard是TensorFlow的可视化工具,它可以通过TensorFlow程序运行过程中输出的日志文件可视化TensorFlow程序的运行状态。 环境: 已经在Pycharm上安装好TensorFlow及TensorBoard Python3.6 一. TensorBoard...
  • 源码在文末由于在工作中需要处理很多日志文件数据,这些数据并不存在于数据库,而是以每日1个单文件的形式存在,为了让我们在日常数据处理中更方便的进行一些基础的数据合并、清洗筛选以及简单的分组或数据透视处理...
  • 源码在文末由于在工作中需要处理很多日志文件数据,这些数据并不存在于数据库,而是以每日1个单文件的形式存在,为了让我们在日常数据处理中更方便的进行一些基础的数据合并、清洗筛选以及简单的分组或数据透视处理...
  • tensorboard是tensorflow的可视化工具,它可以通过tensorflow程序运行过程中输出的日志文件可视化tensorflow程序的运行状态。tensorboard和tensorflow程序跑在不同的进程中,tensorboard会自动读取最新的tensorflow...
  • HaoheDI让ETL变得简单

    2018-09-18 15:22:00
    HaoheDI(昊合数据整合平台)http://www.haohedi.com,产品基于BS架构,开发运维...并提供图形化的作业流程设计界面,以及可视化的任务作业管理、计划调度、实时监控、消息提醒和日志分析,有效弥补传统ETL工具在调...
  • 窗体可视化设计2.多文件合并(concat)2.1.获取文件夹下的文件列表2.2.根据文件类型进行文件读取2.3.对读取的文件夹下简单的数据清洗2.4.合并清洗后的数据3.多文件拼接(merge)4.数据处理(pivot_table和groupby)...
  • 指定GPU并且指定端口启动tensorboard

    千次阅读 2019-11-15 10:01:26
    Tensorboard是tensorflow内置的一个可视化工具,它通过将tensorflow程序输出的日志文件的信息可视化使得tensorflow程序的理解、调试和优化更加简单高效。Tensorboard的可视化依赖于tensorflow程序运行输出的日志文件...
  • pytorch中使用tensorboard

    2020-06-19 10:33:06
    Tensorboard是tensorflow内置的一个可视化工具,它通过将tensorflow程序输出的日志文件的信息可视化使得tensorflow程序的理解、调试和优化更加简单高效。 Tensorboard的可视化依赖于tensorflow程序运行输出的日志...
  • 【健康体检】 一键式操作,整合DoKit多项工具,数据可视化,快速准确定位问题,让你对app的性能了如指掌。 【文件同步助手】 通过终端服务,让你的终端空间在平台端完整的展现并提供强大的文件以及数据库操作能力。...
  • Tensorboard详解

    2020-08-19 14:54:07
    Tensorboard是tensorflow内置的一个可视化工具,它通过将tensorflow程序输出的日志文件的信息可视化使得tensorflow程序的理解、调试和优化更加简单高效。Tensorboard的可视化依赖于tensorflow程序运行输出的日志文件...
  • Splunk-SDK-Python学习

    千次阅读 2017-09-16 13:19:37
    简单来说,Splunk是一个托管的日志文件管理工具,它的主要功能包括: · 日志聚合功能 · 搜索功能 · 提取意义 · 对结果进行分组,联合,拆分和格式化 · 可视化功能 · 电子邮件提醒功能 而目前我通过...

空空如也

空空如也

1 2 3 4 5 ... 7
收藏数 123
精华内容 49
关键字:

日志文件可视化工具简单的