Regressão linear

Regressão simples

Causalidade e correlação são conceitos diferentes. Ao fazer uma regressão, geralmente buscamos uma interpretação causal dos coeficientes (ou seja, qual é a relação causal entre as variáveis)

Uma regressão linear é um modelo que explica uma variável a partir de outra(s), tendo como objetivo obter a relação entre a relação causal de duas ou mais variáveis
1. Regressão simples: uma variável é explicada pela outra
2. Regressão múltipla: uma variável é explicada por duas ou mais variáveis

Partindo de uma amostra de $n$ observações com informações de $y$ (variável explicada/dependente) que pode ser explicada por $x$ (variável explicativa/independente), podemos definir uma regressão simples da seguinte forma

$$ y_i=\beta_o+\beta_1x_i+u_i $$
A nomenclatura dos termos do modelo acima é dada por
1. $y$: variável explicada/dependente para cada $i$ da amostra
2. $x$: variável explicativa/independente para cada $i$ da amostra
3. $\beta_o$: intercepto
4. $\beta_1$: coeficiente (angular)
5. $u_i$: termo de erro
- Note que podemos escrever modelos de regressão linear sem o índice $i$, de tal forma que estaríamos representando-o do ponto de vista da população, e não da amostra, mas a interpretação é a mesma. No caso do modelo acima, teríamos
  
  $$ y=\beta_0+\beta_1x+u $$
Tipos de bases de dados
1. Cross-section: apenas 1 período de tempo e muitas unidades de observações (como o Censo Demográfico), ou seja, um grande $n$ com $T$ pequeno
2. Séries de tempo: poucas unidades de observação acompanhadas durante vários períodos de tempo, ou seja, um $n$ baixo com $T$ alto
3. Painel: dados longitudinais, ou seja, várias cross-sections

Objetivo da regressão simples: encontrar valores de $\beta_0$ e $\beta_1$ que façam sentido para os dados. Ou seja, buscamos as estimativas $\hat{\beta}_0$ e $\hat{\beta}_1$. Assim, temos o seguinte modelo estimado

$$ \hat{y}_i=\hat{\beta}_0+\hat{\beta}_1x_i $$
O resíduo da regressão é dado por

$$ \hat{u}_i=y_i-\hat{y}_i $$
No método de Mínimos Quadrados Ordinários (MQO), buscamos a minimização da soma dos quadrados dos resíduos. Ou seja, queremos encontrar $\hat{\beta}_0$ e $\hat{\beta}_1$ que resolvem o seguinte problema de otimização

$$ \min_{\hat{\beta}_0,\hat{\beta}1} \sum{i=1}^{n}\hat{u}i^2=\sum{i=1}^{n}(y_i-\hat{y}i)^2=\sum{i=1}^{n}(y_i-\hat{\beta}_0-\hat{\beta}_1x_i)^2 $$
As soluções do problema acima são dadas por

$$ \begin{aligned} &\hat{\beta}1=\frac{\sum{i=1}^{n}x_i(y_i-\bar{y})}{\sum_{i=1}^{n}x_i(x_i-\bar{x})}=\frac{\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^{n}(x_i-\bar{x})^2}=\frac{\mathrm{Cov}(x,y)}{\mathrm{Var}(x)}\\ &\hat{\beta}_0=\bar{y}-\hat{\beta}_1\bar{x} \end{aligned} $$

Ou seja $\hat{\beta}_0$ depende do valor de $\hat{\beta}_1$
Observação importante: $\mathrm{Cov}(x,y)$ e $\mathrm{Var}(x)$ são, respectivamente, covariância e a variância amostrais