Partindo de uma amostra de $n$ observações com informações de $y$ (variável explicada/dependente) que pode ser explicada por $x$ (variável explicativa/independente), podemos definir uma regressão simples da seguinte forma
$$ y_i=\beta_o+\beta_1x_i+u_i $$
A nomenclatura dos termos do modelo acima é dada por
Note que podemos escrever modelos de regressão linear sem o índice $i$, de tal forma que estaríamos representando-o do ponto de vista da população, e não da amostra, mas a interpretação é a mesma. No caso do modelo acima, teríamos
$$ y=\beta_0+\beta_1x+u $$
Tipos de bases de dados
Objetivo da regressão simples: encontrar valores de $\beta_0$ e $\beta_1$ que façam sentido para os dados. Ou seja, buscamos as estimativas $\hat{\beta}_0$ e $\hat{\beta}_1$. Assim, temos o seguinte modelo estimado
$$ \hat{y}_i=\hat{\beta}_0+\hat{\beta}_1x_i $$
O resíduo da regressão é dado por
$$ \hat{u}_i=y_i-\hat{y}_i $$
No método de Mínimos Quadrados Ordinários (MQO), buscamos a minimização da soma dos quadrados dos resíduos. Ou seja, queremos encontrar $\hat{\beta}_0$ e $\hat{\beta}_1$ que resolvem o seguinte problema de otimização
$$ \min_{\hat{\beta}_0,\hat{\beta}1} \sum{i=1}^{n}\hat{u}i^2=\sum{i=1}^{n}(y_i-\hat{y}i)^2=\sum{i=1}^{n}(y_i-\hat{\beta}_0-\hat{\beta}_1x_i)^2 $$
As soluções do problema acima são dadas por
$$ \begin{aligned} &\hat{\beta}1=\frac{\sum{i=1}^{n}x_i(y_i-\bar{y})}{\sum_{i=1}^{n}x_i(x_i-\bar{x})}=\frac{\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^{n}(x_i-\bar{x})^2}=\frac{\mathrm{Cov}(x,y)}{\mathrm{Var}(x)}\\ &\hat{\beta}_0=\bar{y}-\hat{\beta}_1\bar{x} \end{aligned} $$
Ou seja $\hat{\beta}_0$ depende do valor de $\hat{\beta}_1$
Observação importante: $\mathrm{Cov}(x,y)$ e $\mathrm{Var}(x)$ são, respectivamente, covariância e a variância amostrais