03_evaluacion.Rmd

# Evaluación de reservas

Las reservas marinas son sistemas socio-ecológicos complejos. Su efectividad depende de las interacciones y combinaciones de factores sociales y ambientales. Por muchos años, la ciencia de reservas marinas se ha enfocado en comprender los efectos ecológicos de estas áreas, reportando aumentos en biomasa, riqueza y densidad de organismos o beneficios de mitigación de cambio climático y protección ambiental [@lester_2009;@micheli_2012;@giakoumi_2017;@sala_2017;@roberts_2017]. Más recientemente, algunos trabajos se han enfocado en la relación entre estructuras de gobernanza y aspectos socioeconómicos, así como la efectividad de las reservas [@halpern_2013;@lpezangarita_2014;@mascia_2017]. Por lo tanto, es importante que la evaluación de reservas tome en cuenta las dimensiones ecológicas, socioeconómicas y de gobernanza.

La metodología propuesta e implementada en MAREA utiliza una serie de indicadores de cada dimensión. Los indicadores sugeridos pueden ser usados en función de los objetivos de la reserva o de otras preguntas de interés. En este capítulo definimos los objetivos generales para los cuales las reservas pueden ser implementadas y los indicadores sugeridos para cada caso. Después explicamos a profundidad cómo MAREA utiliza el análisis de Diferencias entre Diferencias presentado previamente en el capítulo anterior (Capítulo \@ref(antecedentes)).

## Objetivos e indicadores

Como cualquier otra intervención de manejo, las reservas marinas deben de tener objetivos claros[^smart]. Los objetivos nos ayudan a identificar los cambios que deseamos ver y, por lo tanto, seleccionar indicadores para evaluar la efectividad de la intervención.

[^smart]: Idealmente, usaremos objetivos [SMART](https://en.wikipedia.org/wiki/SMART_criteria)

En la práctica, los objetivos suelen ser difusos y se encuentran escondidos en documentos oficiales. Habrá ocasiones en las que diferentes agencias, cuerpos o actores tengan percepciones distintas sobre los objetivos. En otras, las reservas tendrán objetivos muy específicos (por ejemplo "Duplicar la biomasa de mero en los primeros 10 años"). Por lo tanto, es difícil generar una lista de todos los objetivos e indicadores posibles.

En su lugar, la metodología desarrollada por @villasenorderbez_2018 e implementada en MAREA presenta una serie de 7 objetivos generales a los cuales se asignan 25 indicadores divididos en indicadores biológicos (n = 7), socioeconómicos (n = 3) y de gobernanza (n = 15). Los 7 objetivos están inspirados en la normatividad de las zonas de refugio pesquero [@nom], pero agrupan muchos otros objetivos más particulares. 

```{r tabla-oi}
read.csv(here::here("tab","oi.csv"),
         stringsAsFactors = F) %>% 
  select(c(1:5, 7:9, 11, 13, 15)) %>% 
  knitr::kable(booktabs = T, caption = "Matriz de objetivos e indicadores. Cada columna representa un indicador biológico (B) o socioeconómico (S). Los indicadores de gobernanza no se muestran, pues sugerimos que todos sean utilizados sin importar el objetivo.")
```

La lista de indicadores presentada es el resultado de un proceso de depuración de más de 40 indicadores iniciales obtenidos de la literatura científica [@halpern_2002;@lester_2009;@lester_2008;@micheli_2012;@halpern_2013;@basurto_2013;@leslie_2015]. El proceso de selección incluyó pescadores, investigadores, gestores ambientales y personal de agencias de gobierno. Los indicadores fueron elegidos según su facilidad de medición, la existencia de información anterior y presencia de programas de monitoreo que los midan anualmente. Además de separar explícitamente los indicadores en las categorías previamente mencionadas, también hay una separación implícita entre indicadores que cambian por defecto de la reserva (por ejemplo, **B** - Biomasa) o indicadores que pueden explicar la efectividad de la reserva, como **G5** - Pesca ilegal.

Los indicadores biológicos son:

- **B1** - Índice de diversidad de Shannon
- **B2** - Riqueza de especies
- **B3** - Densidad de organismos maduros (proporción de organismos mayores a la talla de primera maduréz)
- **B4** - Densidad de organismos
- **B5** - Presencia de una perturbación ambiental
- **B6** - Nivel trófico medio
- **B7** - Biomasa

Los indicadores socioeconómicos son:

- **S1** - Arribos totales
- **S2** - Ingresos totales
- **S3** - Oportunidades económicas alternativas a la pesca

Los indicadores de gobernanza son:

- **G1** - Acceso a la pesquería
- **G2** - Número de pescadores
- **G3** - Reconocimiento legal de la reserva
- **G4** - Tipo de reserva
- **G5** - Pesca ilegal
- **G6** - Plan de manejo
- **G7** - Procuración y vigilancia de la reserva
- **G8** - Tamaño de la reserva
- **G9** - Razonamiento para la localización de la reserva
- **G10** - Presencia de organizaciones pesqueras
- **G11** - Tipo de organizaciones pesqueras
- **G12** - Representación
- **G13** - Regulaciones internas
- **G14** - Efectividad percibida
- **G15** - Impacto social de la reserva

## Análisis

Una vez definidos los indicadores, debemos establecer formas de analizarlos. La metodología de colecta de datos no es parte central de este manual, y ha sido descrita a detalle en otros trabajos [@suman_2010;@villaseorderbez_2017;@villasenorderbez_2018]. En esta sección describimos el análisis de Diferencias entre Diferencias empleado para estimar el efecto de la reserva en los indicadores biológicos y los análisis para indicadores socioeconómicos y de gobernanza.

### Inferencia de causalidad

Como se mencionó en la Sección \@ref(antes-despues-dentro-fuera), MAERA usa un análisis de Diferencias en Diferencias. Pero ¿cómo funciona este análisis cuando tenemos más de cuatro observaciones? El análisis puede hacerse por medio de una regresión lineal múltiple.

Retomando el ejemplo del capítulo anterior (Captítulo \@ref(antecedentes)), podemos imaginarnos un caso en el que tenemos dos observaciones para cada sitio en cada periodo. En tal caso, podríamos calcular el promedio de cada sitio en cada periodo. La Figura \@ref(fig:baci-multi) muestra las observaciones como puntos y los promedios como líneas. En este caso, podríamos calcular la pendiente de cada línea (esto es, el cambio en el tiempo) y así obtener el contrafactual (línea punteada roja) y calcular el efecto de la reserva.

```{r baci-multi, fig.cap = "Diseño muestreal antes-despues-dentro-fuera con dos observaciones por sitio y periodo (puntos). Las líneas sólidas muestran las tendencias promedio de cada sitio con azul para el control y rojo para la reserva. La línea punteada roja muestra el contrafactual de la reserva. Las líneas punteadas negras horizontales y verticales presentan los promedios de cada sitio y periodo."}
df <- tibble(zona = c("Control", "Reserva", "Control", "Reserva"),
             tiempo = c("Antes", "Antes", "Despues", "Despues"),
             ano = c(2010, 2010, 2011, 2011),
             valor = c(1, 3, 4, 8)) %>% 
  rbind(tibble(zona = c("Control", "Reserva", "Control", "Reserva"),
             tiempo = c("Antes", "Antes", "Despues", "Despues"),
             ano = c(2010, 2010, 2011, 2011),
             valor = c(3, 5, 6, 10)))


dfv <- tibble(x1 = c(2010, 2011, 2009.5, 2009.5, 2009.5, 2009.5),
              x2 = c(2010, 2011, 2010, 2011, 2011, 2010),
              y1 = c(0, 0, 4, 5, 9, 2),
              y2 = c(4, 9, 4, 5, 9, 2))

dfc <- tibble(x1 = 2010, x2 = 2011, y1 = 4, y2 = 7)

ggplot(data = df) +
  stat_summary(geom = "line", fun.y = "mean", size = 2, mapping = aes(x = ano, y = valor, color = zona)) +
  geom_point(size = 4, mapping = aes(x = ano, y = valor, color = zona), alpha = 0.5)  +
  theme_bw() +
  theme(legend.position = "none",
        panel.grid = element_blank()) +
  guides(color = guide_legend(title = "Zona"),
         alpha = guide_legend(title = "Zona")) +
  scale_color_brewer(palette = "Set1", direction = -1) +
  labs(x = "Año", y = "") +
  scale_x_continuous(breaks = 2009:2012,
                     limits = c(2009.5, 2011.5),
                     expand = c(0,0)) +
  scale_y_continuous(breaks = c(0, 2, 4, 6, 8, 10),
                     limits = c(0, 10)) +
  scale_alpha_manual(values = c(0.3, 1)) +
  geom_segment(aes(x = x1, xend = x2, y = y1, yend = y2), data = dfv, linetype = "dashed") +
  geom_segment(aes(x = x1, xend = x2, y = y1, yend = y2), data = dfc, linetype = "dotted", color = "red", size = 2, alpha = 0.5)
```

Como el cambio a través del tiempo es básicamente una pendiente, podemos usar una regresión lineal múltiple para obtener esos valores. En el caso de Diferencias en Diferencias, nos interesan 3 cambios o pendientes: i) La diferencia a través del tiempo y ii) La diferencia entre sitios y iii) La diferencia entre estas diferencias.

Para calcular la diferencia a través del tiempo, podemos definir una variable llamada $Post$ que tomará un valor $Post = 0$ para todas las observaciones antes de la implementación de la reserva y un valor de $Post = 1$ una vez que la reserva haya sido implementada. Al igual que cuando comparamos 2011 contra 2010, la diferencia entre años o entre $Post$ será de 1 ($2011 - 2010 = 1$; $1 - 0 = 1$).

Para obtener la diferencia entre sitios, definimos otra variablle llamada $Zona$ que tomará un valor de $Zona = 0$ para las observaciones realizadas en el control y un valor de $Zona = 1$ para las observaciones de la reserva. Finalmente, podemos "interactuar" (multiplicar) estas variables para generar un *término de interacción*, de tal manera que $Zona \times Post = 0$ para todas las observaciones del control y la observación de la reserva **antes** de la implementación, y $Zona \times Post = 1$ para las observaciones de la reserva **después** de la implementación.

Por lo tanto, podemos definir un modelo lineal múltiple que contenga una variable para el tiempo, una para la zona y otra para la interacción entre estas, de la siguiente manera:

\begin{equation} 
I = \alpha + \beta_1Post + \beta_2Zona + \beta_3Zona \times Post + \epsilon
(\#eq:did)
\end{equation}

En esta especificación, estimamos los coeficientes $\alpha$, $\beta_1$, $\beta_2$ y $\beta_3$ por medio de mínimos cuadrados ordinarios. Estos coeficientes presentarán la siguiente información:

- $\alpha$: promedio del indicador en la zona control antes de la implementación
- $\beta_1$: cambio a través del tiempo
- $\beta_2$: cambio a través de sitios
- $\beta_3$: restante del cambio entre reservas y sitios (este es el efecto de la reserva)

Esto es quivalente a un ANOVA de dos vías con un término de interacción. La ventaja de hacerlo así es que no solamente podemos decir si hay o no diferencias, si no que también inferir algo sobre la magnitud de estas diferencias. La interpretación de estos coeficientes puede ser un poco compleja, pero el siguiente ejemplo puede ayudarnos a aclarar dudas. Ajustando el modelo lineal a los datos de la Figura \@ref(fig:baci-multi), obtenemos los coeficientes mostrados en la Tabla \@ref(tab:reg).

```{r reg, results = "asis"}
df %>% 
  mutate(post = (tiempo == "Despues") * 1,
         zona = (zona == "Reserva") * 1,
         indicador = valor) %>% 
  lm(indicador ~ post * zona, data = .) %>% 
  stargazer::stargazer(header = F,
                       intercept.bottom = F,
                       single.row = T,
                       title = "Coeficientes estimados mediante la regresión lineal múltiple.",
                       covariate.labels = c("alpha", "B1", "B2", "B3"),
                       type = ifelse(knitr:::is_latex_output(), "latex", "html"),
                       dep.var.caption = "Variable dependiente",
                       label = "reg",
                       omit.stat = "adj.rsq")
```

La Tabla \@ref(tab:reg) muestra los valores estimados para los coeficientes. Los números entre paréntesis presentan el error estándar al rededor de la estimación. Además, presenta la varianza explicada por el modelo, en este caso con un valor de $R^2 = 0.87$[^covars].

[^covars]: El modelo completo de MAREA incluye covariables que pueden ayudar a explicar mayor parte de la variación en los datos. Estos incluyen la profundidad, visibilidad y temperatura asociadas a cada observación. En este caso, 13% de la variación faltante es debido a la manipulación manual de los datos, pero podríamos esperar que las covariables antes mencionadas expliquen algo de la variación en los datos.

Para interpretar los coeficientes, debemos sustituirlos en la ecuación anterior. Por lo tanto, obtenemos lo siguiente:

$$
I = 2 + (3 \times Post) + (2\times Zona) + (2 \times Zona \times Post)
$$

Podemos usar esta acuación para calcular el valor promedio del indicador $I$ en cada sitio y cada perido según los valores de las variables $Post$, $Zona$ y $Zona \times Post$.

#### Valor antes en el control

Primero, debemos definir los valores de las variables según el sitio y periodo en el que estamos. Para los valores antes de la implementación sabemos que $Post = 0$. Para los valores del sitio control sabemos que $Zona = 0$. Sustituimos estos valores en la fórmula anterior y obtenemos

$$
\begin{split}
I &= 2 + (3 \times 0) + (2\times 0) + (2 \times 0 \times 0) \\
I &= 2 + 0 + 0 + 0 \\
I &= 2
\end{split}
$$

Este ejercicio sugiere que el valor promedio del indicador en el control antes de la intervención es de 2. La inspección visual de la Figura \@ref(fig:baci-multi) confirma esto.

#### Valor después en el control

En este caso, $Post = 1$ pero seguimos con $Zona = 0$:

$$
\begin{split}
I &= 2 + (3 \times 1) + (2\times 0) + (2 \times 0 \times 0) \\
I &= 2 + 3 + 0 + 0 \\
I &= 5
\end{split}
$$

Ahora identificamos que el promedio del indicador en el control después de la intervención es de 5, como lo vemos en la Figura \@ref(fig:baci-multi).

#### Valor antes en la reserva

Ahora, regresamos a tener $Post = 0$ pero con $Zona = 1$, pues estamos en la reserva:

$$
\begin{split}
I &= 2 + (3 \times 0) + (2\times 1) + (2 \times 0 \times 0) \\
I &= 2 + 0 + 2 + 0 \\
I &= 4
\end{split}
$$

En este caso el promedio del indicador en la reserva antes de la intervención es de 4 (Figura \@ref(fig:baci-multi)).

#### Valor después en la reserva

Para calcular el valor en el sitio de reserva después de la intervención, tendremos $Post = 1$ y $Zona =1$. Hagamos el ejercicio sin incluir el término de interacción por ahora:

$$
\begin{split}
I &= 2 + (3 \times 1) + (2\times 1) \\
I &= 2 + 3 + 2 \\
I &= 7
\end{split}
$$

¿Por qué obtenemos un valor de 7 si la reserva presenta un valor de 9 después de su implementación? En este caso, no hemos aún incluido el valor del término de interacción, por lo que obtenemos el valor que la reserva habría presentado si la reserva no se hubiera implementado. Este es el contrafactual, mostrado como la línea punteada roja en la Figura \@ref(fig:baci-multi). Al incluir el término de interacción, obtenemos:

$$
\begin{split}
I &= 2 + (3 \times 1) + (2\times 1) + (2\times 1 \times 1)\\
I &= 2 + 3 + 2 + 2\\
I &= 9
\end{split}
$$

El término de interacción captura la diferencia entre lo que debería de haberse observado para la reserva y lo que realmente se observó. Es decir, la diferencia entre las líneas rojas. Este término es el **efecto de la reserva**. En este sentido, podemos entonces concluir que una reserva marina causó un incremento de 2 unidades en el indicador.

Aunque la regresión lineal y el álgebra pueden parecer complicados, en la realidad todo puede implementarse con una línea de código (como `lm(indicador ~ post * zona, data = datos)`). Mejor aún, MAREA se encarga de generar las variables $Post$ y $Zona$, ajustar el modelo, obtener los coeficientes y reportar los resultados. En el siguiente capítulo (Capítulo \@ref(uso-de-marea)), describimos el uso de MAREA y demostramos que con 6 sencillos pasos podemos evaluar todos los indicadores y obtener reportes para compartir.


### Socioeconómicos y de gobernanza

Ahora pasamos a describir el análisis de los indicadores socioeconómicos y de gobernanza. Los primeros dos [indicadores socioeconómicos ](#objetivos-e-indicadores) son numéricos, puesto que representan los arribos (masa) e ingresos (dinero) que generan las pesquerías de la comunidad. En este caso, no tenemos una comunidad control, pero podemos aún inferir algo de los cambios mediante una evaluación antes-después. Para esto, MAREA implementa una forma reducida del modelo anterior:

$$
I = \alpha + \beta_1Post + \epsilon
$$

Lo anterior es equivalente a realizar una prueba t de student de dos colas con muestras pareadas. Un valor de $\beta_1 = 0$ indicaría que no hay cambio en el indicador. Como se mencionó en el Capítulo \@ref(antecedentes), una evaluación antes-después no toma en cuenta otros factores exógenos y por lo tanto no podemos inferir causalidad. Sin embargo, la información obtenida sigue siendo útil al evaluar las reservas y el contexto social en el que se desarrollan.

La mayoría de los indicadores de gobernanza son cuantitativos. Por lo tanto, no existe una evaluación numérica de estos. En su lugar, @villasenorderbez_2018 realizaron una revisión literaria para identificar valores asociados a impactos positivos y negativos en la reserva. Por ejemplo, el indicador **G5** - Pesca Ilegal nos indica la presencia y / o el grado de pesca ilegal en la reserva, lo que sabemos es detrimental.