试题地址：Tabular Playground Series - Jan 2022

简介：给出了两家商店在三个国家在2015年-2018年的三种产品的每天的销售量，要求预测2019年的销售量。

本文参考 TPSFEB22-01 EDA which makes sense

import pandas as pd
import matplotlib.pyplot as plt
import matplotlib.dates as mdates

读取数据

train_data=pd.read_csv('../datas/train.csv')
test_data=pd.read_csv('../datas/test.csv')

for df in [train_data, test_data]:
    df['date'] = pd.to_datetime(df.date)
    df.set_index('date', inplace=True, drop=False)

# Shape and preview
print('Training data df shape:',train_data.shape)
print('Test data df shape:',test_data.shape)
train_data.head()

查看有无缺失值

print('Number of missing values in training set:',train_data.isna().sum().sum())
print('')
print('Number of missing values in test set:',test_data.isna().sum().sum())

查看数据成分

print('Training cardinalities: \n', train_data.nunique())
print('')
print('Test cardinalities: \n', test_data.nunique())

查看日期范围

print('Training data:')
print('Min date', train_data['date'].min())
print('Max date', train_data['date'].max())
print('')
print('Test data:')
print('Min date', test_data['date'].min())
print('Max date', test_data['date'].max())

综上，我们可以发现：有三个国家，两个商店和三种产品，这样就会有18种组合。训练数据涵盖2015 - 2018年，测试数据要求我们预测2019年。训练数据和测试数据均无缺失值。

来看看每个组合销售量的图

plt.figure(figsize=(18, 15))
for i, (combi, df) in enumerate(train_data.groupby(['country', 'store', 'product'])):
    # df = df.set_index('date')
    # print(df.index)
    # break
    ax = plt.subplot(6, 3, i+1, ymargin=0.5)
    ax.plot(df.index,df.num_sold)
    
    ax.set_title(combi)

    
    ax.xaxis.set_major_locator(mdates.YearLocator())
    ax.xaxis.set_major_formatter(mdates.DateFormatter('%y/%m/%d'))
    ax.xaxis.set_minor_locator(mdates.MonthLocator())

plt.tight_layout(h_pad=3.0)
plt.suptitle('Daily sales for 2015-2018', y=1.03)
plt.show()

从上图中可以发现每年年底每种产品的销售量远高于平常，可能需要将每年年底的日期单独提取出来作为特征。同时可以发现Kaggle Hat 和Kaggle Mug似乎具有季节性特征，考虑增加傅里叶特征。

plt.figure(figsize=(18, 20))
for i, (combi, df) in enumerate(train_data.groupby(['country', 'store', 'product'])):
    ax = plt.subplot(6, 3, i+1, ymargin=0.5)
    resampled = df.resample('MS').sum()
    for m, (combm, dfm) in enumerate(resampled.groupby(resampled.index.year)):
        # print(dfm)
        ax.plot(range(1 , 13) , dfm.num_sold, label=combm )
        # break
    # resampled = resampled.groupby(resampled.index.year)
    
    # break
    # ax.plot(range(1, 13), resampled.num_sold)
    ax.legend()
    ax.set_xticks(ticks=range(1, 13))
    # ax.set_xticklabels('JFMAMJJASOND')
    ax.set_title(combi)
    # ax.set_ylim(resampled.num_sold.min(), resampled.num_sold.max())
plt.suptitle('Monthly sales for 2015-2018', y=1.03)
plt.tight_layout(h_pad=3.0)
plt.show()

可以发现每年每月的波动很相似。同时，销售趋势并不是逐年递增，最明显的是挪威2016年的每月的销售量会低于2015年！所以可能还受其他因素的影响。

接下来看看每周是否有季节性特征

plt.figure(figsize=(18, 12))
for i, (combi, df) in enumerate(train_data.groupby(['country', 'store', 'product'])):
    
    ax = plt.subplot(6, 3, i+1, ymargin=0.5)
    #计算每周每天销售的平均值
    resampled = df.groupby(df.index.dayofweek).mean()
    ax.bar(range(7), resampled.num_sold, 
           color=['b']*4 + ['g'] + ['orange']*2)
    ax.set_title(combi)
    ax.set_xticks(range(7))
    ax.set_xticklabels(['M', 'T', 'W', 'T', 'F', 'S', 'S'])
    ax.set_ylim(0, resampled.num_sold.max())
plt.suptitle('Sales per day of the week', y=1.03)
plt.tight_layout(h_pad=3.0)
plt.show()

可以发现一到了周末销量会有明显的升高，考虑增加每周的季节性指示器(Seasonal indicators)

接下来看看12月和1月的销量统计

plt.figure(figsize=(18, 12))
for i, (combi, df) in enumerate(train_data.groupby(['country', 'store', 'product'])):
    ax = plt.subplot(6, 3, i+1, ymargin=0.5)
    ax.bar(range(1, 32),
           df.num_sold[df.date.dt.month==12].groupby(df.date.dt.day).mean(),
           color=['b'] * 25 + ['orange'] * 6)
    ax.set_title(combi)
    ax.set_xticks(ticks=range(5, 31, 5))
plt.tight_layout(h_pad=3.0)
plt.suptitle('Daily sales for December', y=1.03)
plt.show()

plt.figure(figsize=(18, 12))
for i, (combi, df) in enumerate(train_data.groupby(['country', 'store', 'product'])):
    ax = plt.subplot(6, 3, i+1, ymargin=0.5)
    ax.bar(range(1, 32),
           df.num_sold[df.date.dt.month==1].groupby(df.date.dt.day).mean(),
           color=['b'] * 5 + ['orange'] * 26)
    ax.set_title(combi)
    ax.set_xticks(ticks=range(5, 31, 5))
plt.tight_layout(h_pad=3.0)
plt.suptitle('Daily sales for December', y=1.03)
plt.show()

可以看出，大约12月25日销量开始增长，基本上到1月5日回归正常。

之前发现挪威2016年月销售量是低于2015年的，后来发现可能跟GDP有关。

参考讨论1

参考讨论2

gdp_df = pd.read_csv('../datas/GDP_data_2015_to_2019_Finland_Norway_Sweden.csv')

gdp_df.set_index('year', inplace=True)
gdp_df

至此，我们完成了初步的数据分析。接下来我们将会使用时间序列和线性回归来尝试拟合数据。下一节：Kaggle Tabular Playground Series - Jan 2022 学习笔记2（使用时间序列的线性回归）

学习地址：PowerBI.Tips - Tutorial - Using Scripts in Tabular Editor - YouTube

Tabular Editor | Tabular Editor Documentation

系列文章目录

Tabular Editor学习笔记_1

Tabular Editor学习笔记_2_chichi_magic的博客-CSDN博客

Tabular Editor学习笔记_3:警告标志及解决办法_chichi_magic的博客-CSDN博客

目录

系列文章目录

前言

一、Tabulor Editor是什么？

二、Scripting

1. output()

2.同时建立多个度量值

3.建立多个度量值的同时修改properties

3.1 对数值进行formatting

3.2 增加对于度量值的描述

 3.3 其他properties

4. 同时修改度量值中所有信息

4.1 修改所有度量值的描述信息

前言

表格编辑器是一个非常高效的工具，它是Power BI、分析语义模型和DAX表达式的最佳开发环境。
 

一、Tabulor Editor是什么？

 表格编辑器是 SSDT 的替代编辑器，用于为 Analysis Services 创作表格模型，即使没有工作区服务器也是如此。

表格编辑器 2 是一个开源项目，可以编辑 BIM 文件，而无需访问模型中的任何数据。此脱机功能支持快速更改 BIM 文件，尤其是在操作和管理度量值、计算列、显示文件夹、透视图和翻译时。

表格编辑器 3 是该工具的商业版本，它添加了许多生产力功能、出色的 DAX 编辑器、更好的 UI 和专用支持。

表格编辑器支持兼容级别 1200 或更高版本（JSON 格式），包括计算组所需的 1500 级别。

可以从 GitHub 上的表格编辑器项目下载可执行文件和源代码。

Tabular Editor - SQLBIhttps://www.sqlbi.com/tools/tabular-editor/

二、Scripting

平时使用tabular editor编写script之后，注意收集写过的script，可建立一个查询文档，提高开发速率。

1. output()

通过拖拽表的形式到Advanced scripting，然后使用output()函数，可以输出当前表的相关信息

“hello world”.Output();

Model.Tables["Fact"].Measures["total sales"].Output();

2.同时建立多个度量值

在advanced scripting窗口，选择一个sample，可以同时创建多个度量值 

多选需要计算的列，执行script

注意下面的hidden按钮是否打开

3.建立多个度量值的同时修改properties

3.1 对数值进行formatting

这里可以对新创建的度量值加一条语句

newMeasure.FormatString = "0.00";

执行之后的结果可以看到

3.2 增加对于度量值的描述

newMeasure.Description = "This measure is the SUM of" + c.Name

 3.3 其他properties

对于下面这些描述度量值的内容，都可以在script中进行统一更改

3.4 c.Name 和 c.DaxObjectName的区别

c.Name        //Sales Amount, 度量值的名称

c.DaxObjectName        //[Sales Amount]，引用度量值

4. 同时修改度量值中所有信息

我们知道，当一个table名字改变，或者想要同时修改多个度量值的属性，在power bi中，需要一个一个点击，但是在tabular editor中，我们可以统一修改

4.1 修改所有度量值的描述信息

foreach(var m in Model.AllMeasures)

{

        m.Description = m.Expression

}

最近写论文要用latex，实验部分需要画表格，于是百度看了两个多小时的博客，一无所获，全都写的乱七八糟的，越看越烦躁，于是谷歌五分钟，就学会了怎么画表格，下面是我最终画出来的表格：

接着我将讲解如何从零开始绘制一张latex表格，参考LaTeX tables - Tutorial with code examples

先画一张最简单的表格

绘制Latex表格需要用到 table 和 tabular 环境。其中 table 环境里写表格的标题（caption）、表格的偏移之类的。 tabular 环境则是绘制表格的内容。一个简单的表格绘制代码如下所示：

\documentclass{article}

\begin{document}

\begin{table}[h!]
  \begin{center}
    \caption{Your first table.}
    \begin{tabular}{l|c|r} % <-- Alignments: 1st column left, 2nd middle and 3rd right, with vertical lines in between
      \textbf{Value 1} & \textbf{Value 2} & \textbf{Value 3}\\
      $\alpha$ & $\beta$ & $\gamma$ \\
      \hline
      1 & 1110.1 & a\\
      2 & 10.1 & b\\
      3 & 23.113231 & c\\
    \end{tabular}
  \end{center}
\end{table}

\end{document}

首先是 table 环境部分，\begin{center}让表格居中，\caption{Your first table.}写表格的标题。

然后是 tabular 环境部分，\begin{tabular}{l|c|r}这里面的{l|c|r}，包含了三个字母，代表了表格总共有三列，第一列靠左偏移，第二列居中，第三列靠右偏移。竖线代表列之间用线分隔开来，如果想要左右两边都用线包围起来，应该改成{|l|c|r|}。接下来就是正式的表格绘制部分。

latex里的表格是一行行来绘制的，每一行里面用&来分隔各个元素，用\\来结束当前这一行的绘制。代码中\textbf{Value 1} & \textbf{Value 2} & \textbf{Value 3}\\绘制表格的第一行，是三个加粗的字符串。第二行$\alpha$ & $\beta$ & $\gamma$ \\则是三个希腊字符。

接着是\hline，它的作用是画一整条横线，注意如果想画一条只经过部分列的横线，则可以用cline{a-b}，代表的是画一条从第a列到第b列的横线。

至此就画完了表头部分，接下来填充表格数据，这个很简单，看代码即可。

简单的表格画完了，但是完全不能满足需求，我需要用到的是一个更复杂的表格形式，一个表格单元占据了多个行或者列。

表格单元占据多个行或者列

这里需要用到multirow和multicolumn，首先要引入相关的包：

%...
\usepackage{multirow} % Required for multirows
\begin{document}
%...

multirow和multicolumn的格式如下：

\multirow{NUMBER_OF_ROWS}{WIDTH}{CONTENT} 

NUMBER_OF_ROWS代表该表格单元占据的行数，WIDTH代表表格的宽度，一般填 * 代表自动宽度，CONTENT则是表格单元里的内容。

\multicolumn{NUMBER_OF_COLUMNS}{ALIGNMENT}{CONTENT}

NUMBER_OF_COLUMNS代表该表格单元占据的列数，ALIGNMENT代表表格内容的偏移（填l,c或者r），CONTENT则是表格单元里的内容。

一个multirow的例子

%...

\begin{table}[h!]
  \begin{center}
    \caption{Multirow table.}
    \label{tab:table1}
    \begin{tabular}{l|S|r}
      \textbf{Value 1} & \textbf{Value 2} & \textbf{Value 3}\\
      $\alpha$ & $\beta$ & $\gamma$ \\
      \hline
      \multirow{2}{*}{12} & 1110.1 & a\\ % <-- Combining 2 rows with arbitrary with (*) and content 12
      & 10.1 & b\\ % <-- Content of first column omitted.
      \hline
      3 & 23.113231 & c\\
      4 & 25.113231 & d\\
    \end{tabular}
  \end{center}
\end{table}

%...

主要是这一句代码\multirow{2}{*}{12} & 1110.1 & a\\，使得内容为 12 的这一个表格单元占据了两行。注意的是，下一行的第一个位置，由于已经被 12 这个单元给占据了，因此第二行的代码是& 10.1 & b\\，这里第一个位置没有写东西，如果写了东西会使得这一行超过3列，表格错位。

一个multicolumn的例子

%...

\begin{table}[h!]
  \begin{center}
    \caption{Multicolumn table.}
    \label{tab:table1}
    \begin{tabular}{l|S|r}
      \textbf{Value 1} & \textbf{Value 2} & \textbf{Value 3}\\
      $\alpha$ & $\beta$ & $\gamma$ \\
      \hline
      \multicolumn{2}{c|}{12} & a\\ % <-- Combining two cells with alignment c| and content 12.
      \hline
      2 & 10.1 & b\\
      3 & 23.113231 & c\\
      4 & 25.113231 & d\\
    \end{tabular}
  \end{center}
\end{table}

%...

这里主要是这一句代码\multicolumn{2}{c|}{12} & a\\，使得内容为 12 的这一个表格单元占据了两列。所以这一行接下来只能填一个元素a。注意这里的ALIGNMENT写的是c|代表表格内容居中，表格右侧有竖线而左侧没有。

结合multirow与multicolumn

可以看到我所需要画的表格中，内容为Model的这个表格单元需要同时占据两行和两列，这是最复杂的。其实只需要把\multirow{NUMBER_OF_ROWS}{WIDTH}{CONTENT}的CONTENT写成multicolumn就可以了。

%...

\begin{table}[h!]
  \begin{center}
    \caption{Multirow and -column table.}
    \label{tab:table1}
    \begin{tabular}{l|S|r}
      \textbf{Value 1} & \textbf{Value 2} & \textbf{Value 3}\\
      $\alpha$ & $\beta$ & $\gamma$ \\
      \hline
      \multicolumn{2}{c|}{\multirow{2}{*}{1234}} & a\\ % <-- Multicolumn spanning 2 columns, content multirow spanning two rows
      \multicolumn{2}{c|}{} & b\\ % <-- Multicolumn spanning 2 columns with empty content as placeholder
      \hline
      3 & 23.113231 & c\\
      4 & 25.113231 & d\\
    \end{tabular}
  \end{center}
\end{table}

%...

最主要的语句\multicolumn{2}{c|}{\multirow{2}{*}{1234}} & a\\使得内容为1234的表格单元占据了2行两列，所以当前这一行右边只能再写一个元素a了，然后注意的是下一行是\multicolumn{2}{c|}{} & b\\用一个空的multicolumn来代表前两个位置空置，然后填剩下的一个元素b。

我的表格实例代码

\begin{table*}[t]
\centering
\caption{MAP scores of teacher model, different student models with 4 widths and three baseline models with different length of binary codes on CIFAR-10 and SUN datasets.}
\label{table1}
\begin{tabular}{|c|c|c|c|c|c|c|c|c|c|c|c|}
\hline
\multicolumn{2}{|c|}{\multirow{2}{*}{Model}} &\multirow{2}{*}{FLOPs}&\multirow{2}{*}{Params} & \multicolumn{4}{c|}{CIFAR-10}&\multicolumn{4}{c|}{SUN}\\
\cline{5-12}

\multicolumn{2}{|c|}{} & & & 12bits & 24bits & 32bits & 48bits & 12bits & 24bits & 32bits & 48bits \\
\hline

\multicolumn{2}{|c|}{Teacher} &4.12G	&25.56M	&0.87841	&0.89512	&0.9014	&0.90601	&0.83587	&0.85736	&0.86297	&0.87103\\ 
\hline

%0.25x-----------------
\multirow{4}{*}{$0.25\times$} & Stu-1 & 0.15G & 1.03M &
0.70746 & 0.73458 &	0.74909 &	0.75833 &	0.69618 &	0.76631 &	0.78075 &	0.78787 \\
\cline{2-12}

\multirow{4}{*}{} & Stu-2 &0.19G	&1.08M	&0.7629	&0.79111	&0.80039	&0.80519	&0.73539	&0.79714	&0.80753	&0.81195\\
\cline{2-12}

\multirow{4}{*}{} & Stu-3 &0.26G	&1.43M	&0.84684	&0.86443	&0.87384	&0.88268	&0.79284	&0.83442	&0.84350	&0.84353\\
\cline{2-12}

\multirow{4}{*}{} & Stu-4 & 0.29G	&1.99M	&0.85901	&0.87269	&0.8836	&0.88728	&0.81997	&0.84620	&0.85041	&0.85036\\
\hline
\end{tabular}
\label{table_MAP}
\end{table*}

这里我用\begin{table*}[t]有一个星号，是为了让表格宽度与页面等宽而不是二分之一宽。

latex的基本画法就差不多这样了，如果还有更高的需求，最好去谷歌查询，因为百度出来的博客写的实在太烂了，排版混乱，不知所云，看了也是浪费时间。