Estadística para la toma de decisiones
Aug 2026 · inferencia · distribuciones muestrales · tests de hipótesis · regresión
These are my notes for Estadística para la toma de decisiones, a second-year course at UCEMA. They come out of my class notebook, reordered and worked out until each topic stood on its own, without the lecture next to it. They are in Spanish, since they come from the transcription of that notebook.
They are not meant to replace a textbook. They are the course's own path, with the explanations I needed myself.
Parte I · Herramientas de probabilidad
1. La función generatriz de momentos
Una distribución de probabilidad queda descripta por su densidad o su función de probabilidad puntual , pero esa no es la única descripción posible ni siempre la más cómoda. La función generatriz de momentos (FGM) es una segunda forma de codificar la misma información, y tiene dos ventajas decisivas: convierte el cálculo de momentos en derivadas, y convierte la suma de variables independientes en un producto.
Definición
que en el caso continuo es
y en el discreto
La variable es auxiliar: no tiene significado probabilístico. Es apenas el argumento de una función que se va a derivar.
Por qué "generatriz de momentos"
El -ésimo momento de respecto del origen es . La propiedad fundamental de la FGM es que todos esos momentos están guardados en sus derivadas sucesivas evaluadas en cero:
La razón se ve desarrollando la exponencial en serie:
Tomando esperanza término a término,
de modo que es la serie de Taylor cuyos coeficientes son precisamente los momentos. Derivar veces y evaluar en aísla el -ésimo.
En particular, y .
Ejemplo. Para , con densidad en :
La restricción no es un detalle: si la integral diverge. Toda FGM tiene un dominio de existencia alrededor del origen, y ese dominio importa cuando se comparan dos FGM.
Derivando, , de donde ; y , de donde y .
El teorema de unicidad
Este resultado es el que hace que la FGM sea una herramienta y no una curiosidad:
Teorema. Si dos variables aleatorias tienen funciones generatrices de momentos que existen y coinciden en un entorno de , entonces tienen la misma distribución.
Dicho de otro modo: la FGM identifica a la distribución. No hay dos distribuciones distintas con la misma FGM.
Es un teorema que se usa constantemente y casi siempre en silencio. Cada vez que en las páginas que siguen aparezca un razonamiento del tipo "la FGM de resultó ser , que es la de una Poisson, luego es Poisson", lo que está operando es este teorema. Sin él, la coincidencia de las FGM sería solo eso, una coincidencia.
Las FGM del curso
Conviene tener a mano las de las distribuciones que aparecen:
| Distribución | |||
|---|---|---|---|
| Bernoulli | |||
| Binomial | |||
| Poisson | |||
| Exponencial | |||
| Normal | |||
| Gamma | |||
Las últimas tres se deducen en las secciones §4 y §6. La de la normal estándar merece destacarse por lo simple que queda: con y ,
y de ahí, derivando, y , como debe ser.
2. La FGM de una suma de variables independientes
Muchas cantidades de interés son sumas: el total de reclamos de un mes, el gasto conjunto de un grupo de turistas, el número de piezas defectuosas en un lote. Y la media muestral, que es el objeto central de todo el curso, es una suma dividida por . La pregunta natural es entonces qué distribución tiene una suma, y la FGM la responde de manera notablemente limpia.
El resultado
Sean variables aleatorias independientes y . Entonces
La FGM de la suma es el producto de las FGM. La demostración cabe en tres renglones y muestra exactamente dónde entra la independencia:
Como los son independientes, también lo son las funciones , y la esperanza de un producto de variables independientes es el producto de las esperanzas:
El paso crítico es el último. Sin independencia, y todo el argumento se cae.
¿La suma conserva la familia?
Con este resultado y el teorema de unicidad se puede responder, caso por caso, si la suma de dos variables de cierta familia pertenece a la misma familia. La respuesta no es siempre la misma, y ahí está lo interesante.
Suma de Poisson. Sean e independientes, :
Esta es exactamente la FGM de una Poisson de parámetro . Por unicidad,
La familia se conserva y los parámetros se suman. Tiene sentido: si un proceso produce en promedio eventos y otro independiente produce , el conjunto produce .
Suma de exponenciales. Con e independientes:
Si fuera exponencial de algún parámetro , su FGM sería . Igualando:
El miembro izquierdo tiene dos polos (en y ) y el derecho uno solo. No hay ningún que satisfaga la igualdad para todo . Por lo tanto:
Esto tiene una explicación intuitiva. La exponencial no tiene memoria y su moda está en cero: el valor más probable de una espera exponencial es una espera nula. La suma de dos esperas, en cambio, difícilmente sea cero, porque para eso las dos tendrían que serlo. La forma de la distribución cambia.
Que la suma no sea exponencial no significa que no tenga nombre. Es una Gamma, y eso se demuestra en §6, una vez introducida esa familia.
Suma de binomiales. Con e independientes:
Este producto no se puede compactar en general. Pero si , las bases coinciden y los exponentes se suman:
La condición es esencial y se entiende sin cuentas: una binomial cuenta éxitos en ensayos con una misma probabilidad de éxito. Juntar 10 ensayos con y 15 con da un experimento que ya no es binomial, porque los ensayos dejaron de ser homogéneos.
Suma de normales. Con y independientes:
que es la FGM de una . La normal se conserva siempre, sin condiciones, y las medias y las varianzas se suman. Esta estabilidad es una de las razones por las que la normal ocupa el lugar que ocupa: es la única de la lista que atraviesa la suma sin deformarse ni pedir permiso.
Conviene registrar que las varianzas se suman también cuando las variables se restan. Como , en el coeficiente entra al cuadrado y queda . Restar dos cantidades inciertas produce algo más incierto, no menos. Este hecho reaparece en todos los intervalos y tests de diferencias (§24 en adelante).
| Familia | ¿La suma es de la misma familia? | Condición | Parámetro resultante |
|---|---|---|---|
| Poisson | Sí | ninguna | |
| Normal | Sí | ninguna | ; |
| Binomial | Sí | ; | |
| Exponencial | No | — | (es Gamma, §6) |
3. La distribución de
Esta sección resuelve un problema puntual —hallar la distribución del cuadrado de una normal estándar— pero de él sale la , que es la distribución sobre la que se apoya casi toda la inferencia sobre varianzas del resto del curso.
El punto de partida es , con densidad
y función de distribución acumulada
Esta integral no tiene primitiva elemental: por eso la normal se evalúa con tablas o con funciones incorporadas al software. Todo lo que sigue se apoya en poder consultar , no en calcularla.
Se define y se la estudia paso a paso.
a) La función de distribución de
Como es un cuadrado, solo toma valores positivos, y el suceso se traduce en un intervalo simétrico para :
para . Como la normal estándar es simétrica, y también puede escribirse .
b) La densidad
Se deriva respecto de , con la regla de la cadena:
y como la densidad normal es par, , los dos términos del corchete son iguales:
Vale la pena mirar esta densidad. Tiene una asíntota vertical en (por el del denominador) y decae exponencialmente. Es fuertemente asimétrica hacia la derecha, y esa asimetría es la que después obliga a que los intervalos de confianza para la varianza no sean simétricos (§28).
c) La FGM
Con el cambio de variable la integral se reduce a una y queda
d) y e) Esperanza y varianza
Con la FGM el cálculo es mecánico:
El primer resultado, , ya se conocía —es la varianza de una normal estándar— y sirve de control. El segundo, , es nuevo.
f) Una probabilidad, por tres caminos
Calcular admite tres enfoques que dan lo mismo, y compararlos es instructivo.
Por integración directa de la densidad hallada:
Volviendo a , que es el camino más económico porque usa la tabla normal de siempre:
Reconociendo la distribución, que es lo que se hará a partir de la sección siguiente:
4. La distribución
Definición
La variable de la sección anterior recibe el nombre de chi-cuadrado con un grado de libertad, . La generalización natural es sumar cuadrados de normales estándar independientes:
El parámetro se llama grados de libertad y cuenta cuántos cuadrados se sumaron. Es un número entero positivo.
FGM y momentos
Aquí la maquinaria de §2 rinde de inmediato. Los son independientes y cada uno tiene FGM , así que el producto de de ellas es
y derivando —o simplemente sumando copias de y de , que es lícito por independencia—:
De la forma de la FGM se sigue además una propiedad muy útil: la suma de dos independientes es , y los grados de libertad se suman, ya que . Esta aditividad es la que hace funcionar la relación de Cochran (§11) y la descomposición del ANOVA (§43).
Forma de la distribución
La vive en y es asimétrica hacia la derecha. Para y la densidad es decreciente; a partir de tiene una moda interior, situada en . A medida que crece la asimetría se atenúa y la distribución se acerca a una normal —lo cual es de esperar, porque es una suma de términos i.i.d. y le corresponde el teorema central del límite.
Dos consecuencias prácticas de la asimetría, que reaparecen más adelante: los intervalos de confianza basados en la no se escriben como "estimador margen", y en un test bilateral los dos valores críticos deben buscarse por separado, porque no son opuestos entre sí.
Cómo se leen las tablas: el subíndice es área a la derecha
Este es el momento de fijar una convención que rige para todas las tablas del curso —, , y — y que es fuente permanente de confusión:
denota el valor que deja de área a su derecha con grados de libertad.
De modo que significa . Tres corolarios que conviene tener presentes:
- El percentil 95 deja a la izquierda y por lo tanto a la derecha: se busca con subíndice .
- Un valor de cola izquierda al se rotula , no .
- A subíndice más chico corresponde valor más grande de la variable.
Dónde aparece la
Bajo el supuesto de población normal, , la aparece cada vez que se estudia una suma de desviaciones al cuadrado:
| Estadístico | Distribución | De dónde sale |
|---|---|---|
| suma de normales estándar al cuadrado | ||
| varianza insesgada, vía Cochran (§11) | ||
| varianza sesgada (es la misma cantidad) | ||
| varianza centrada en |
La segunda fila es la más importante del cuadro. De ella salen la distribución de , el intervalo de confianza para la varianza, el test para , la distribución de Student y —combinada con otra independiente— la distribución . Se demuestra en §11.
5. La función Gamma
Antes de introducir la distribución Gamma hace falta la función que le da nombre. No es un objeto estadístico sino analítico: es la extensión del factorial a los números reales.
La propiedad de recurrencia
Integrando por partes, con y :
Como además , aplicando la recurrencia repetidamente se obtiene, para entero,
Ese es el sentido en que generaliza al factorial: coincide con él en los enteros y está definida en todos los reales positivos.
El valor
El valor no entero que aparece una y otra vez —porque los grados de libertad impares producen argumentos semienteros— es , y vale . La demostración conecta la función Gamma con la integral de la normal, que es exactamente la razón por la que este valor aparece en la :
Con la sustitución , esto es y :
La integral restante es media campana de Gauss sin normalizar, que vale . Por lo tanto
Y con la recurrencia se generan los demás semienteros:
| 1 | 2 | 3 | entero | ||||
|---|---|---|---|---|---|---|---|
| 1 | 1 | 2 |
6. La distribución Gamma
La distribución Gamma es una familia flexible de distribuciones sobre que contiene como casos particulares a la exponencial y a la . Su utilidad aquí es doble: permite ver a la como miembro de una familia mayor, y resuelve la pregunta que quedó abierta en §2 sobre la suma de exponenciales.
Parametrización
El curso usa el parámetro de escala , relacionado con la tasa por . Conviene fijarlo porque la otra parametrización, con , es igual de común y las fórmulas cambian.
El parámetro se llama de forma: gobierna el aspecto de la densidad. El parámetro es de escala: estira o comprime el eje sin cambiar la forma.
Los casos particulares
La exponencial es una Gamma con . Reemplazando en la densidad, y queda , que es la exponencial de media . La FGM lo confirma: con .
La chi-cuadrado es una Gamma con y . El chequeo es inmediato por FGM:
y de ahí, aplicando y , se recuperan y , coincidentes con lo obtenido en §4 por otro camino.
La suma de exponenciales, resuelta
Con esto se cierra la pregunta abierta en §2. Sean exponenciales independientes de igual parámetro , y . Cada una tiene FGM , de modo que
que es la FGM de una . Es decir:
La suma no era exponencial, pero no por eso carecía de nombre: subió un escalón dentro de la misma familia. Es el parámetro de forma el que cuenta cuántas exponenciales se sumaron, y esto explica su interpretación habitual: el tiempo de espera hasta el -ésimo evento de un proceso de Poisson.
Vale notar que este argumento también explica por qué la es aditiva en los grados de libertad: sumar es sumar Gammas de igual escala , y eso suma los .
7. El teorema central del límite
Las secciones anteriores permiten decir algo exacto sobre la distribución de una suma cuando se conoce la distribución de los sumandos. El teorema central del límite dice algo mucho más fuerte y mucho más útil: si los sumandos son suficientemente numerosos, deja de importar cómo se distribuían.
Enunciado
Sean variables aleatorias independientes e idénticamente distribuidas, con y finitas, cualquiera sea su distribución. Entonces la media muestral estandarizada converge en distribución a una normal estándar:
La hipótesis es mínima: independencia, idéntica distribución, y momentos de primer y segundo orden finitos. No se pide normalidad, ni simetría, ni continuidad. La distribución original puede ser discreta, asimétrica o de aspecto arbitrario.
La demostración por FGM
La demostración que sigue es la del curso y tiene el interés de mostrar de dónde sale la normalidad: aparece porque, al promediar, los términos de orden superior al segundo se desvanecen.
Se estandarizan las variables originales:
Los no son normales: son los recentrados y reescalados, con la misma forma que tenían. Con esta definición, , y por lo tanto
Los son i.i.d., así que por la propiedad de §2 la FGM de es la de un elevada a la :
Se desarrolla la exponencial en serie y se toma esperanza término a término, usando y :
Este es el corazón del argumento. El término de primer orden se anula porque las variables están centradas; el de segundo orden sobrevive con coeficiente porque están normalizadas; y los de orden tres en adelante llevan potencias de o menores, que al elevar a la se van a cero. Elevando:
usando . Y es la FGM de la normal estándar. Como la convergencia de las FGM implica convergencia en distribución,
Lo que la demostración deja ver es que solo los dos primeros momentos sobreviven al promediado. Toda la información sobre la forma particular de la distribución original —asimetría, curtosis, todo lo que vive en los momentos de tercer orden en adelante— se diluye. Por eso el límite es siempre el mismo.
Qué significa " suficientemente grande"
El teorema es asintótico y no dice a partir de qué la aproximación es aceptable. La regla operativa habitual, y la que usa el curso, es
Es una convención, no un teorema. La velocidad de convergencia depende de cuán lejos esté la distribución original de la normal: para una población ya simétrica y unimodal la aproximación es buena con mucho menor, mientras que para una fuertemente asimétrica —o con una proporción muy cercana a 0 o a 1— puede hacer falta bastante más de 30.
Hay un caso en que el resultado es exacto para todo y no hay nada que aproximar: cuando la población ya es normal. Ahí la suma de normales es normal (§2) y es exactamente , aunque sea 4.
Un ejemplo
Una empresa de viajes registra el gasto por turista según categoría, con una distribución que no tiene forma reconocible:
| Categoría | A | B | C | D |
|---|---|---|---|---|
| Gasto | 700 | 1.200 | 1.900 | 3.300 |
| Probabilidad | 22% | 31% | 18% | 8% |
De esa distribución se obtienen y . Para un grupo de turistas, el gasto total tiene
y por el teorema central del límite es aproximadamente , de modo que .
Nada en el planteo requiere saber qué forma tiene la distribución del gasto individual —de hecho es discreta y con cuatro valores—. Basta con su media y su varianza. Esa es la utilidad práctica del teorema: convierte información parcial sobre una población en una distribución completa para el agregado.
Parte II · Distribuciones muestrales
8. Población, muestra y estimadores
Hasta aquí todo fue probabilidad: dada una distribución, se calcularon propiedades de las variables que la siguen. La estadística invierte el planteo. La distribución es lo desconocido y los datos son lo dado. Esta sección fija el vocabulario de esa inversión, que gobierna todo el resto del manual.
Población y muestra
La población es el conjunto completo sobre el que se quiere concluir, descripto por una variable aleatoria con cierta distribución. Una muestra aleatoria simple de tamaño es una elección al azar de observaciones de esa variable, .
Antes de observarlas, las son variables aleatorias; después de observarlas son números, y se anotan en minúscula, . La distinción parece pedante pero es la que permite hablar de la distribución de un estadístico: el azar está en el muestreo, no en la población, que es fija.
El supuesto de trabajo es que las son independientes e idénticamente distribuidas (i.i.d.): cada extracción sigue la misma distribución que la población y no informa sobre las demás. Esto vale exactamente cuando el muestreo es con reposición o cuando la población es infinita. Si la población es finita y la muestra representa una fracción apreciable de ella, la independencia se pierde y hay que corregir; ese ajuste se trata en §27.
Vale la pena distinguir dos maneras en que una población lleva su probabilidad. Puede ser intrínseca al objeto —500 monedas donde la probabilidad de cara es una propiedad física de cada moneda— o extrínseca —una encuesta a 500 personas, donde la probabilidad de cada respuesta surge de la composición del grupo—. La matemática es la misma en los dos casos, pero la interpretación de lo que se está estimando no lo es.
Parámetros, estadísticos y estimadores
Un parámetro poblacional es una constante que caracteriza la distribución de la población: , , , , . Es fijo y desconocido. Genéricamente se lo denota .
Un estadístico muestral es cualquier función de los datos de la muestra, , que no dependa de parámetros desconocidos. Como es función de variables aleatorias, un estadístico es él mismo una variable aleatoria, y tiene su propia distribución: la distribución muestral.
Un estimador es un estadístico usado para aproximar un parámetro. La media muestral es un estimador de ; la proporción muestral lo es de ; la varianza muestral lo es de .
Esta última definición encierra el problema central de la Parte III. Nada impide proponer como estimador de el promedio de la primera y la última observación, o directamente : los tres son estadísticos y los tres apuntan a . Lo que hace falta es un criterio para decidir cuál es mejor, y ese criterio se construye a partir de la distribución muestral de cada uno. De ahí que el orden sea este: primero las distribuciones muestrales (esta parte), después el juicio sobre los estimadores (la siguiente).
9. La media muestral
De todos los estadísticos, es el más importante, y su distribución muestral se conoce en detalle.
Media y varianza
Cualesquiera sean los , con tal de que sean i.i.d. con y :
El primer resultado dice que está centrada en : no tiene tendencia sistemática a sobreestimar ni a subestimar. El segundo dice que su dispersión disminuye con , y disminuye de una forma muy concreta: el desvío es , no .
Esa cantidad, , se llama error estándar de la media. Es el desvío del estimador, no el de la población, y la distinción importa: mide cuánto varían los individuos entre sí, mientras que mide cuánto varía el promedio de una muestra a otra.
La presencia de la raíz tiene una consecuencia práctica que atraviesa todo el curso: para reducir a la mitad el error estándar hay que cuadruplicar el tamaño de la muestra. La precisión se compra a costo creciente.
Nótese que la varianza usó la independencia (los términos cruzados de la varianza de una suma se anulan) pero la esperanza no. vale aun con datos dependientes; , no.
Distribución
En cuanto a la forma de la distribución de , hay dos vías que llevan a la normal:
- Si la población es normal, , entonces exactamente, para cualquier . Sale de §2: la suma de normales es normal, y multiplicar por preserva la normalidad.
- Si la población no es normal, el teorema central del límite da la misma conclusión de manera aproximada, con la aproximación mejorando al crecer . La convención del curso es aceptarla desde .
El resultado es que en la enorme mayoría de las situaciones se puede trabajar con
y esa expresión es el punto de partida de los intervalos de confianza para (§22) y de los tests sobre (§35).
El caso de una proporción
Cuando la población es dicotómica —cada individuo tiene o no tiene cierto atributo— se codifica si lo tiene y si no, de modo que Bernoulli con y , donde .
La proporción muestral es una media muestral, y por lo tanto hereda todo lo anterior sin cambios:
La aproximación normal necesita grande y, además, que no esté demasiado cerca de 0 ni de 1; el criterio usual pide que y superen 5.
Hay una peculiaridad de las proporciones que conviene registrar desde ahora, porque explica varias diferencias entre los intervalos de proporciones y los de medias: la varianza está determinada por el propio . No hay dos parámetros que estimar, sino uno solo que aparece en los dos lugares.
Ejemplo. El 90% de las piezas de un proceso son de buena calidad. En una muestra de piezas,
10. La varianza muestral
Estimar presenta una dificultad que estimar no tiene. La definición poblacional es , y su traducción muestral inmediata sería promediar . Pero ahí hay dos decisiones ocultas: si dividir por o por , y si medir las desviaciones desde o desde . Las combinaciones dan tres estadísticos distintos, con propiedades distintas, y los tres aparecen en el curso.
La varianza insesgada
Es el estimador estándar. La razón del divisor se ve en la demostración de su esperanza, que vale para cualquier distribución poblacional. Se parte de la identidad algebraica y se toman esperanzas de cada término, usando para las observaciones individuales y para la media muestral:
La suma de cuadrados de desviaciones tiene esperanza , no . Dividir por es lo que compensa exactamente esa pérdida.
La interpretación de esa pérdida es que está construida a partir de los mismos datos y por lo tanto está sistemáticamente más cerca de ellos que . De hecho es, por definición, el valor que minimiza sobre todo ; en particular . Medir la dispersión desde la subestima, y el divisor corrige esa subestimación.
Para población normal hay además un resultado sobre la distribución completa, no solo sobre la esperanza. Es la consecuencia de la relación de Cochran, que se demuestra en la sección siguiente:
De aquí sale todo lo que se sabe de . Como , se recupera ; y como ,
La varianza sesgada
Es el promedio literal de los cuadrados. Su esperanza se sigue de la de :
Subestima , con un sesgo que se desvanece cuando crece. Pese a ello aparece con frecuencia, por dos razones: es el estimador de máxima verosimilitud de cuando es desconocido (§19), y coincide con el estimador de momentos (§20).
En la práctica de cálculo el vínculo entre las dos versiones se usa constantemente, porque la fórmula abreviada
evita restar la media en cada término. Se calcula con ella y se multiplica por para obtener .
Como —las dos expresiones son la misma suma de cuadrados—, para población normal se tiene igualmente
La varianza centrada en :
Esta versión mide las desviaciones respecto del verdadero , lo que solo es posible si es conocido —situación poco frecuente en la práctica, pero teóricamente esclarecedora. Su esperanza es inmediata: cada término tiene esperanza por definición de varianza, de modo que
Es insesgada dividiendo por , sin corrección alguna. Esto confirma el diagnóstico: el problema del divisor no venía de dividir por sino de haber usado en lugar de .
Para población normal, cada término es con , y la suma de cuadrados independientes es directamente una :
Aquí no se pierde ningún grado de libertad, porque no se estimó nada.
Comparación
| Divisor | |||
| Centrada en | (conocido) | ||
| Sesgo | 0 | 0 | |
| Distribución (pob. normal) | |||
| Varianza |
Los grados de libertad de la última fila resumen la lógica del cuadro: son menos la cantidad de parámetros que hubo que estimar de la muestra. Con conocido no se estima nada y quedan ; con estimado por se pierde uno y quedan .
Ejemplo. Sea una población normal con y , y muestras de . Para hallar se transforma la desigualdad multiplicando por :
Nótese que la media poblacional no interviene: la distribución de depende de y de , no de .
11. La relación de Cochran
Esta sección demuestra el resultado que se viene anticipando desde §4 y sobre el que descansan la de Student, la , el intervalo para la varianza y el análisis de la varianza. El argumento tiene dos etapas bien diferenciadas: una identidad algebraica que vale siempre, y una lectura probabilística que requiere normalidad.
La identidad
Para cualquier conjunto de números y cualquier constante vale
Se comprueba sumando y restando dentro del cuadrado del miembro izquierdo, , y desarrollando: el doble producto es , y esa suma es cero por definición de media. Es álgebra pura, sin ninguna hipótesis distribucional.
Lo que dice la identidad es que la dispersión de los datos respecto de se descompone en dos partes: la dispersión interna de los datos respecto de su propio promedio, más lo que ese promedio se corrió respecto de .
La lectura probabilística
Se divide todo por :
Ahora sí se supone población normal, , y se identifican dos de los tres términos:
- (a) es con independientes, o sea .
- (c) es , el cuadrado de una normal estándar, o sea .
Queda una identidad de la forma . El teorema de Cochran garantiza además que y son independientes —lo cual no es evidente, ya que ambos se construyen con los mismos datos, y es la parte técnica del teorema— y de ahí, por la aditividad de los grados de libertad vista en §4, se concluye
Qué se lleva de esto
Dos cosas, y las dos se usan constantemente.
La primera es el resultado en sí: la distribución exacta de la varianza muestral en poblaciones normales. De ahí salen , el intervalo de confianza para (§28) y el test correspondiente (§37).
La segunda es la independencia entre y , que la descomposición deja al descubierto. Es una propiedad particular de la normal —en general la media y la varianza muestrales están correlacionadas— y es la que permite construir la de Student, cuya definición exige que el numerador normal y el denominador sean independientes.
Y una tercera lectura, más conceptual: aquí aparece por primera vez la idea de descomponer una variabilidad total en partes atribuibles a fuentes distintas, cada una con sus grados de libertad, sumando ambas cosas. Es exactamente el esquema que reaparece, a mayor escala, en el análisis de la varianza (§43).
12. La distribución de Student
Todo lo construido hasta acá para la media supone conocido , que es justamente lo que casi nunca ocurre. Reemplazarlo por parece inofensivo, pero tiene una consecuencia: también es una variable aleatoria, y al dividir por una cantidad que fluctúa el cociente acumula dos fuentes de azar. La distribución resultante ya no es normal.
Definición
La estructura a reconocer es: arriba una normal estándar, abajo la raíz de una dividida por sus propios grados de libertad, y ambas independientes. Cada vez que aparezca esa forma, la distribución es una , y los grados de libertad son los de la del denominador.
Por simetría de y positividad del denominador, (para ).
La estadística para la media
La derivación consiste en manipular el cociente hasta que tenga la forma de la definición. Se parte de y se multiplica y divide por :
El numerador es normal estándar. Para el denominador se usa Cochran: como , se tiene , y la independencia entre y —que Cochran también garantiza— completa el requisito de la definición:
Los grados de libertad son , no : son los de la del denominador, que perdió uno al estimar la media con .
Forma y comportamiento
La es simétrica alrededor de cero y de aspecto acampanado, como la normal, pero con colas más pesadas. La razón está en el denominador aleatorio: cuando sale menor que , el cociente se infla, y esos casos producen valores extremos con más frecuencia que en una normal.
La consecuencia operativa es que, para el mismo nivel de confianza,
y por lo tanto todo intervalo construido con es más ancho que el correspondiente con . Ese ensanchamiento es el precio de no conocer : se paga en precisión lo que no se tiene en información.
Al crecer los grados de libertad, estima cada vez mejor a , el denominador se estabiliza y la converge a la normal estándar. El cuadro siguiente muestra la velocidad de esa convergencia para el cuantil bilateral al 95%:
| g.l. | 1 | 4 | 9 | 15 | 30 | 60 | 120 | |
|---|---|---|---|---|---|---|---|---|
| 12,706 | 2,776 | 2,262 | 2,131 | 2,042 | 2,000 | 1,980 | 1,960 |
Con pocos grados de libertad la diferencia es enorme; a partir de 30 es de segundo orden, y a partir de 120 es prácticamente nula. Este cuadro justifica una práctica que reaparece varias veces: con muestras grandes se usa aunque sea desconocido, porque la corrección de la ya no cambia nada.
La relación
De la definición se sigue de inmediato un resultado que se retomará en §45. Elevando al cuadrado,
usando que (§3). El cuadrado de una con grados de libertad es una con y grados de libertad. No es una coincidencia numérica sino una consecuencia directa de cómo están definidas ambas.
13. La distribución de Fisher–Snedecor
La surgió de combinar una normal con una . La surge de combinar dos , y sirve para comparar dos varianzas.
Definición
Cada se divide por sus propios grados de libertad antes del cociente. Esa normalización es la que hace que el cociente tenga valor típico cercano a 1: como , si las dos miden lo mismo el cociente ronda la unidad.
El orden de los subíndices importa y no es intercambiable: el primero corresponde al numerador. De hecho, si entonces , propiedad que se explota en §29 para leer las tablas.
Dónde aparece
Comparando varianzas de dos poblaciones normales independientes. Si e , con muestras de tamaños y , Cochran da para cada una, y el cociente normalizado es
Este es el pivote del intervalo de confianza para el cociente de varianzas (§29) y del test correspondiente (§38).
Calculando probabilidades de comparación entre dos . Un suceso del tipo con e independientes se reescribe dividiendo por los grados de libertad:
Comparando varianzas explicadas y no explicadas. Esta es la aplicación del análisis de la varianza (§43), donde el numerador mide la variabilidad atribuible a un factor y el denominador la variabilidad residual.
Momentos y forma
La esperanza depende solo de los grados de libertad del denominador y tiende a 1 cuando crece, en línea con lo dicho más arriba.
La vive en y es asimétrica hacia la derecha, como la . Esa asimetría tiene dos consecuencias que aparecerán más adelante: los intervalos basados en la no son simétricos, y las tablas se publican solo para la cola derecha, lo que obliga a la identidad de inversión de §29.
14. Cuadro de distribuciones muestrales
Este cuadro resume la Parte II. Es el repertorio completo de resultados que la inferencia va a usar: cada procedimiento de las partes IV y V se apoya en alguna de estas seis filas.
| Estadístico | Condición | Distribución |
|---|---|---|
| población normal, cualquier | exacta | |
| , población cualquiera | por TCL | |
| población normal, desconocido | ||
| población normal | ||
| , población dicotómica | por TCL | |
| ambas poblaciones normales, independientes |
Conviene notar la asimetría entre las filas de la media y las de la varianza. Para el teorema central del límite ofrece una salida cuando la población no es normal; para no hay tal salida. Los resultados de las filas tercera, cuarta y sexta descansan enteramente en la normalidad de la población, y no hay ningún teorema que los rescate con grande. Esto hace que la inferencia sobre varianzas sea sensiblemente más frágil que la inferencia sobre medias, un punto que se retoma en §28.
Ejemplo de uso. Sea una población normal con y muestras de ; se pide , donde es la varianza sesgada. La cuarta fila se aplica a , pero , de modo que
Parte III · Teoría de la estimación
15. Sesgo y error cuadrático medio
Un mismo parámetro admite muchos estimadores. Para , por ejemplo, sirven , el promedio de la primera y la última observación, la mediana muestral o directamente . Hace falta un criterio para ordenarlos, y como los estimadores son variables aleatorias, el criterio tiene que ser una propiedad de su distribución.
Sesgo
Un estimador es insesgado cuando , es decir cuando su distribución muestral está centrada en el parámetro. No significa que acierte —una estimación puntual casi nunca coincide con — sino que no yerra sistemáticamente en una dirección.
Error cuadrático medio
El sesgo por sí solo es insuficiente: un estimador puede estar bien centrado y ser tan disperso que resulte inútil. La medida que combina ambos aspectos es
que promedia el error al cuadrado. Su descomposición es el resultado central de esta sección. Desarrollando el cuadrado,
y sumando y restando para reconocer la varianza:
El error total se descompone en dispersión más sesgo al cuadrado. Un estimador es bueno cuando ambos son chicos, y la descomposición hace explícito que puede convenir aceptar algo de sesgo a cambio de mucha menos varianza. Cuando el estimador es insesgado, el ECM se reduce a la varianza.
Un ejemplo comparativo
Sea con y , y considérense tres estimadores de a partir de una muestra de tamaño .
Primero, , el promedio de la primera y la última observación:
Segundo, , que pondera de manera arbitraria:
Los coeficientes no suman 1, y de ahí el sesgo. Es peor que el primero en los dos frentes: .
Tercero, :
Para este es el mejor de los tres, y la ventaja crece con . La razón es transparente: descarta observaciones, y por eso su precisión no mejora aunque la muestra crezca. Usar todos los datos no es una preferencia estética; se traduce en un ECM menor.
16. Consistencia
Un requisito mínimo razonable para un estimador es que mejore al acumular datos: que con muestras cada vez más grandes se acerque al parámetro. Eso es la consistencia, y admite dos formulaciones de distinta fuerza.
Consistencia en probabilidad (débil)
Fijada una tolerancia tan chica como se quiera, la probabilidad de caer dentro de ella tiende a 1. La distribución del estimador se concentra alrededor de .
Consistencia en media cuadrática (fuerte)
Es una condición más exigente, y la implicación es CMC consistencia en probabilidad —se prueba con la desigualdad de Chebyshev, que acota la probabilidad de desviarse mucho en términos del error cuadrático medio. La recíproca no vale.
La ventaja práctica de la versión fuerte es que se verifica fácilmente. Como y ambos términos son no negativos, que el ECM tienda a cero equivale a que los dos tiendan a cero por separado. De modo que alcanza con comprobar:
- que el estimador sea insesgado, o al menos asintóticamente insesgado ();
- que su varianza tienda a cero.
Dos ejemplos que contrastan
El caso favorable: como estimador de .
Ambas condiciones se cumplen, de modo que es CMC y, por lo tanto, consistente en probabilidad. Es el resultado que legitima usar la media muestral: al crecer la muestra, converge a la media poblacional.
El caso desfavorable: con , el estimador que solo mira dos observaciones.
Es insesgado, pero su varianza no depende de y por lo tanto no tiende a cero. No es CMC.
Queda por ver si es consistente en probabilidad, ya que la implicación no vale al revés. Como cada es normal, , y esa distribución es la misma para todo . Entonces
El área es un número fijo, menor que 1, que no depende de : el límite no puede llegar a 1. Tampoco es consistente en probabilidad.
El diagnóstico es el mismo que en §15. Un estimador que ignora la mayor parte de la muestra no puede mejorar cuando la muestra crece, porque no la está mirando. La consistencia formaliza esa intuición.
17. Suficiencia
Las propiedades anteriores juzgan a un estimador por su desempeño. La suficiencia plantea una pregunta distinta y previa: ¿cuánta de la información de la muestra hace falta retener?
Una muestra de tamaño 100 son 100 números. Si para estimar alcanza con conocer su suma, entonces los 100 números pueden reducirse a uno solo sin perder nada relevante. Un estadístico con esa propiedad se llama suficiente.
Definición
es estadístico suficiente para si la distribución conjunta de la muestra, condicionada a , no depende de .
Vale la pena traducir la definición, porque es la parte que suele quedar oscura. Condicionar a es preguntarse qué queda por saber una vez conocido el valor de . Si en ese resto ya no aparece , entonces el resto no dice nada sobre : toda la información sobre el parámetro quedó capturada por . Conocer los datos individuales, más allá de , es indistinguible de haber sorteado valores al azar con una regla que no involucra a .
La función de verosimilitud
La herramienta para trabajar con esto es la verosimilitud, que reaparecerá en §19:
Es la densidad (o probabilidad) conjunta de la muestra, pero mirada como función de con los datos fijos: cuán verosímil es cada valor del parámetro a la luz de lo que efectivamente ocurrió. La notación omite los datos por comodidad, entendiendo que están fijos en los valores observados.
El teorema de factorización de Neyman
Verificar la definición directamente exigiría calcular una distribución condicional, lo cual es engorroso. El teorema de factorización lo reduce a mirar la forma de :
es suficiente para si y solo si la verosimilitud se factoriza como donde depende de los datos solo a través de , y no depende de .
En la práctica el procedimiento es mecánico: se escribe la productoria, se agrupa todo lo que contenga a y se observa por qué combinación de los datos entra. Esa combinación es el estadístico suficiente.
Ejemplo 1 — Gamma, estimando con conocido.
El parámetro entra en el exponente únicamente a través de . Por lo tanto es suficiente para .
Ejemplo 2 — la misma Gamma, pero estimando con conocido. La factorización se reagrupa distinto:
Ahora acompaña a , de modo que es suficiente para . La comparación entre los dos ejemplos es instructiva: la suficiencia es relativa al parámetro que se estima, no una propiedad absoluta del estadístico. La misma distribución tiene un estadístico suficiente distinto para cada parámetro.
Ejemplo 3 — Poisson.
de donde es suficiente para : sumar todos los datos conserva toda la información disponible sobre . Como es una función biunívoca de , también es suficiente —cualquier transformación invertible de un estadístico suficiente lo es.
Ejemplo 4 — Geométrica, :
y otra vez es suficiente. Aquí es constante, lo cual es perfectamente admisible.
18. Eficiencia y la cota de Cramér–Rao
Entre los estimadores insesgados, el criterio de comparación es la varianza: gana el menos disperso.
Eficiencia relativa
Para dos estimadores insesgados del mismo parámetro,
Un valor mayor que 1 indica que es más eficiente. Es una comparación entre dos candidatos concretos y no dice nada sobre si alguno es el mejor posible.
Un estimador insesgado de varianza mínima (EIVM) es aquel que ningún otro estimador insesgado supera en varianza. Para identificarlo haría falta comparar contra todos los estimadores insesgados imaginables, cosa impracticable —salvo que exista una cota inferior conocida.
La cota de Cramér–Rao
Bajo tres condiciones de regularidad —que sea insesgado, que el soporte de la distribución no dependa de y que la densidad sea diferenciable respecto de —, la varianza de cualquier estimador insesgado satisface
El denominador, , se llama información de Fisher y mide cuán sensible es la verosimilitud a cambios en : si mover apenas altera la densidad, los datos informan poco sobre él y la cota es alta.
La cota resuelve el problema práctico: si un estimador insesgado alcanza esa varianza, es necesariamente el EIVM, porque nada puede estar por debajo de la cota. Ya no hace falta compararlo con los demás.
La condición sobre el soporte no es un tecnicismo ocioso. Excluye casos como la uniforme en , donde el rango de valores posibles depende del parámetro; ahí la cota no se aplica, y de hecho existen estimadores que la violarían.
Ejemplo — Poisson. Sea y considérese .
Primero se calcula la derivada del logaritmo:
Luego su segundo momento, usando y :
de donde la cota vale
Y como en la Poisson , la varianza de la media muestral es , que coincide exactamente con la cota. Por lo tanto es el estimador insesgado de varianza mínima de : ningún otro estimador insesgado puede hacerlo mejor.
19. Estimadores de máxima verosimilitud
Las secciones anteriores enseñan a juzgar estimadores, no a producirlos. El método de máxima verosimilitud es el procedimiento general para construirlos, y es el más usado en toda la estadística.
El principio
La idea es elegir el valor del parámetro que hace más probable lo que efectivamente se observó. Si una muestra particular sería muy improbable bajo y bastante probable bajo , el método prefiere 7.
Formalmente, se maximiza la verosimilitud:
La técnica
Maximizar una productoria es incómodo. Como el logaritmo es estrictamente creciente, maximizar da el mismo argumento máximo, con la ventaja de que convierte productos en sumas:
Esta ecuación se llama ecuación de verosimilitud. En rigor habría que verificar con la segunda derivada que el punto crítico es un máximo; en los casos del curso lo es.
Dos propiedades
Invarianza. Si es el estimador de máxima verosimilitud de , entonces lo es de , para cualquier función . Es una comodidad considerable: obtenido , el estimador de es simplemente , sin necesidad de rehacer la maximización. Esta propiedad no la comparten otros métodos —el insesgamiento, por ejemplo, no se conserva bajo transformaciones no lineales.
No necesariamente insesgado. El método optimiza verosimilitud, no centrado. El ejemplo 4 de abajo muestra un caso concreto en que el estimador resultante tiene sesgo.
Ejemplos
1. Poisson.
2. Normal, estimando con conocido.
Maximizar la verosimilitud equivale aquí a minimizar , porque ese término entra restando. Esa conexión entre verosimilitud normal y mínimos cuadrados reaparece en la regresión (§47).
3. Normal, estimando con conocido. Tratando como la variable:
Es la varianza centrada en de §10, que allí resultó insesgada.
4. Normal, estimando con también desconocido. Ahora hay que maximizar en los dos parámetros a la vez. La ecuación para da como en el ejemplo 2, y sustituyéndolo en la ecuación para :
que es la varianza sesgada:
El contraste entre los ejemplos 3 y 4 es exactamente el de §10: con conocido no se paga nada, con estimado se paga un grado de libertad. El método de máxima verosimilitud no lo corrige por su cuenta.
5. Gamma, estimando con conocido.
Es coherente con : se despeja igualando la media teórica a la muestral.
6. Uniforme en — el caso en que no se deriva. La densidad es dentro del intervalo y cero fuera, de modo que
Aquí derivar no sirve: la función es discontinua en y no tiene puntos críticos interiores. Hay que razonar sobre su forma. Para menor que el máximo observado la verosimilitud es cero —ningún puede ser menor que un dato observado—; y a partir de ahí es decreciente. El máximo está entonces en el borde:
Es el ejemplo que muestra por qué la ecuación de verosimilitud es un atajo y no la definición del método. Cuando el soporte depende del parámetro —la misma condición que invalida la cota de Cramér–Rao en §18— hay que volver al principio y buscar el máximo directamente.
20. El método de los momentos
Es el método alternativo de construcción de estimadores, anterior al de máxima verosimilitud y considerablemente más simple.
El principio
Los momentos poblacionales son funciones de los parámetros: , , y así siguiendo. Los momentos muestrales son cantidades calculables:
El método consiste en igualar unos con otros y despejar. Si hay un parámetro se usa una ecuación, si hay dos se usan dos:
Se empieza siempre por el momento de menor orden, y se sube solo si hace falta. El caso típico en que hay que subir es el de las distribuciones simétricas alrededor de cero: ahí cualquiera sea el parámetro, la primera ecuación no contiene información y hay que ir al segundo momento.
Ejemplos
1. Uniforme en . Con :
Comparado con el estimador de máxima verosimilitud del ejemplo 6 anterior, , se ve que los dos métodos pueden dar respuestas bien distintas. El de momentos es insesgado pero puede producir valores absurdos —si algún dato supera a , el estimador es incompatible con los propios datos—; el de máxima verosimilitud nunca es incompatible pero subestima sistemáticamente, porque el máximo muestral siempre queda por debajo del máximo poblacional.
2. Normal, estimando y . Con dos parámetros hacen falta dos ecuaciones.
Coincide con el estimador de máxima verosimilitud del ejemplo 4, y hereda su sesgo.
3. Una densidad polinómica. Sea en .
4. Un caso simétrico, donde hay que subir de momento. Sea en .
La densidad es par, de modo que independientemente de : el primer momento no sirve. Se pasa al segundo:
Comparación entre los dos métodos
El método de los momentos es más simple —solo requiere integrar o sumar— pero suele producir estimadores menos eficientes, y en algunos casos francamente malos, como se vio en el ejemplo 1. El de máxima verosimilitud es computacionalmente más exigente pero tiene mejores propiedades asintóticas y la ventaja de la invarianza. Cuando ambos coinciden, como en el ejemplo 2, no hay nada que decidir.
Parte IV · Intervalos de confianza
21. Qué es un intervalo de confianza
Un estimador puntual entrega un número: . Lo que no entrega es una medida de cuánto puede errar ese número. El intervalo de confianza agrega esa información, sustituyendo la afirmación puntual por un rango: " está entre 33,2 y 38,8, con 98% de confianza".
Qué significa el nivel de confianza
El nivel de confianza no es la probabilidad de que pertenezca a ese intervalo concreto. Esa lectura, aunque tentadora, es incorrecta y vale la pena entender por qué.
es un número fijo y desconocido, no una variable aleatoria: o está dentro del intervalo o no está, y no hay probabilidad involucrada en eso. Lo aleatorio es el intervalo, porque sus extremos se calculan a partir de la muestra, que sí es azarosa. Otra muestra daría otro intervalo.
La interpretación correcta es entonces frecuentista y se refiere al procedimiento, no al resultado: si se repitiera el muestreo indefinidamente y se construyera un intervalo cada vez, el 98% de esos intervalos contendría a . Lo que tiene un 98% de probabilidad es el método, no este intervalo.
La estructura común
Casi todos los intervalos del curso tienen la misma forma:
El estimador aporta la posición; el error estándar, la escala de la incertidumbre; el cuantil, cuánta de esa incertidumbre se decide cubrir.
Hay dos excepciones, y las dos por el mismo motivo. Los intervalos para y para se apoyan en la y la , que no son simétricas. Esos intervalos no se construyen sumando y restando sino dividiendo, y quedan asimétricos alrededor del estimador (§28 y §29).
De qué depende el margen de error
| Si aumenta… | el | porque |
|---|---|---|
| el nivel de confianza | aumenta | cubrir más casos exige más ancho |
| el tamaño de muestra | disminuye | el error estándar va con |
| la variabilidad de la población | aumenta | más ruido, menos precisión |
De la segunda fila se desprende la relación que gobierna toda la planificación muestral: como , para reducir el margen a la mitad hay que cuadruplicar la muestra. La precisión tiene costo creciente.
Cómo se lee la conclusión
Cuando el intervalo es de una diferencia —, , — el valor de referencia es el cero:
- si el cero está dentro, la diferencia podría ser nula: no hay evidencia de diferencia;
- si todo el intervalo es positivo, el primer parámetro es mayor; si todo es negativo, el segundo.
Cuando es de un cociente —— el valor de referencia es el uno, con la misma lógica: si el uno está dentro, los dos parámetros podrían ser iguales; si el intervalo entero queda a la derecha del uno, el numerador es el mayor.
Antes de dar por buena una conclusión conviene contrastarla con los datos muestrales, que apuntan en alguna dirección. Si y , ninguna conclusión que afirme puede ser correcta: la muestra dice exactamente lo contrario. Este control elemental detecta la mayoría de los errores de despeje y de lectura de tablas.
22. Intervalo para la media
El caso básico
Del cuadro de §14, —exactamente si la población es normal, aproximadamente si . Estandarizando y despejando del centro de la desigualdad :
Esta fórmula supone conocido, que es la situación menos frecuente.
Cuando es desconocido
Se lo reemplaza por , y por lo visto en §12 el pivote deja de ser normal y pasa a ser una :
Como , el intervalo resulta más ancho. La pérdida de precisión es el costo de haber tenido que estimar también la dispersión.
El criterio para elegir entre uno y otro:
- si es conocido, o si es grande (donde la ya es prácticamente normal);
- si es desconocido y la población es normal, cualquiera sea .
Un ejemplo con sus variantes
Sea una muestra con y , al 95% de confianza.
(a) Con conocido y población infinita:
(b) Con desconocido, estimado por :
Con 99 grados de libertad el cuantil es 1,9842 contra 1,96 de la normal: la diferencia es mínima, como anticipaba el cuadro de §12.
(c) Con población finita de (ver §27):
(d) Como cota inferior al 95%, repartiendo todo el de un solo lado (ver §31):
(e) Con , población normal y conocido:
Se usa pese a que , porque es conocido y la población normal.
(f) Con y :
Comparando (e) con (f) se aísla el efecto de desconocer : el intervalo pasa de a , casi un 9% más ancho. Comparando (b) con (f) se aísla el efecto del tamaño: con el margen es 23,8 y con es 63,9, en una relación cercana a .
23. Intervalo para una proporción
Por lo visto en §9, con grande
Hay una dificultad menor: el error estándar depende de , que es justamente lo que se quiere estimar. La solución habitual es reemplazarlo por dentro de la raíz:
Siempre se usa , nunca . La razón es la peculiaridad señalada en §9: la aparece cuando hay que estimar una varianza aparte de la media, lo que introduce una segunda fuente de azar. En una proporción no hay dos parámetros —la varianza está determinada por el mismo — y por lo tanto no hay una segunda estimación que compensar.
Ejemplo. Con y , al 95%:
Determinación del tamaño de muestra
En proporciones el cálculo de tiene una particularidad útil. Partiendo de y despejando,
El problema es que depende de , desconocido antes de muestrear. La salida es tomar el peor caso: la función alcanza su máximo en , donde vale . Usando ese valor se obtiene el más grande que podría hacer falta, y por lo tanto el margen queda garantizado sea cual sea el verdadero.
Ejemplo. Para un margen de error de 1% con 90% de confianza:
El resultado se redondea siempre hacia arriba: un fraccionario no existe, y redondear hacia abajo dejaría el margen por encima del pedido.
24. Intervalo para la diferencia de medias
Comparar dos poblaciones es el problema aplicado más frecuente: dos sucursales, dos tratamientos, dos períodos. La construcción parte de que la diferencia de medias muestrales es ella misma una variable aleatoria, con distribución conocida.
Si las dos poblaciones son normales (o las muestras son grandes) y las muestras son independientes:
Las varianzas se suman aunque las medias se resten, por lo visto en §2: la constante entra al cuadrado. Es un punto que conviene tener firme, porque la intuición sugiere lo contrario.
De ahí sale un esqueleto único:
y los tres casos que siguen no son tres fórmulas distintas sino tres maneras de completar ese esqueleto, según qué se sepa de y .
Caso 1 — varianzas conocidas, o muestras grandes
Si las varianzas son desconocidas pero y son grandes, se reemplazan por y y se sigue usando .
Caso 2 — varianzas desconocidas pero iguales
Cuando se puede sostener que , hay una sola varianza poblacional y conviene estimarla con las dos muestras juntas. Esa es la varianza ponderada o pooled:
Es un promedio de y pesado por los grados de libertad, de modo que la muestra más grande influye más. De ahí se sigue una comprobación inmediata: tiene que quedar entre y , más cerca del correspondiente a la muestra mayor.
Los grados de libertad son : se pierde uno por cada media estimada.
Caso 3 — varianzas desconocidas y distintas
Sin el supuesto de igualdad no se pueden juntar las muestras, y aparece un problema técnico: la suma de dos de escalas distintas ya no es una , de modo que no hay una cantidad exacta de grados de libertad. La aproximación de Welch–Satterthwaite busca los grados de libertad de la que mejor imita a esa suma:
que en general no es entero y se redondea. Como control, siempre cae entre y .
Nótese que el error estándar del caso 3 es idéntico al del caso 1. Lo único que cambia es el cuantil: en lugar de . Y como al crecer , el caso 1 es el caso 3 con muestras grandes.
Cómo se decide entre los casos
O bien el enunciado lo declara —"los desvíos poblacionales son iguales"— o bien hay que resolverlo con un test de cociente de varianzas (§38) hecho previamente. Ese es el orden lógico: primero se contrasta la igualdad de varianzas, y su resultado selecciona la fórmula.
Conviene tener presente que esa decisión rara vez invierte la conclusión final, aunque sí cambia los números. Y también que "no rechazar la igualdad de varianzas" no la demuestra: significa que los datos no alcanzan para distinguirlas. Usar a continuación es una decisión pragmática —tratar como iguales lo que no se puede distinguir, ganando grados de libertad— y no la verificación de un supuesto.
| Caso 1 | Caso 2 | Caso 3 | |
|---|---|---|---|
| Cuándo | conocidos o | desconocidos e iguales | desconocidos y distintos |
| Error estándar | |||
| Cuantil | |||
| Grados de libertad | — | (Welch) |
Ejemplo del caso 3. Dos sucursales con políticas distintas, poblaciones normales, varianzas desconocidas y no comparables:
| Sucursal 1 | Sucursal 2 | |
|---|---|---|
| 12 | 14 | |
| 82 | 63 | |
| 26 | 15 |
El intervalo no contiene al cero y queda enteramente positivo: hay evidencia de que la sucursal 1 tiene media mayor. Nótese lo justo del resultado —el extremo inferior es 1,05— lo que indica que con estas muestras la conclusión es sostenible pero no holgada.
Al calcular hay tres detalles mecánicos que conviene cuidar: arriba y abajo van varianzas y no desvíos; el numerador va todo al cuadrado; y cada término del denominador se divide por sus propios grados de libertad.
25. Datos apareados
Toda la construcción anterior descansa en que las dos muestras sean independientes. Hay un diseño muy común en que no lo son: cuando las dos mediciones se toman sobre los mismos individuos. Producción antes y después de una capacitación, el mismo paciente con dos tratamientos, el mismo vendedor en dos semanas.
Si es la misma persona medida dos veces, e están correlacionadas y . Aplicar la fórmula de muestras independientes sobreestima el error y produce un intervalo demasiado ancho, perdiendo justamente la ventaja del diseño: que cada individuo funciona como su propio control, eliminando la variabilidad entre individuos.
La solución
Se colapsan las dos columnas en una:
y a partir de ahí el problema es un intervalo para la media de una sola variable:
donde es la cantidad de pares, no de observaciones, y los grados de libertad son .
Para el cálculo de conviene la fórmula abreviada de §10, que evita restar la media en cada término:
donde el corchete es la varianza sesgada y el factor la convierte en insesgada.
Ejemplo. Cinco operarios medidos antes y después:
| Operario | 1 | 2 | 3 | 4 | 5 |
|---|---|---|---|---|---|
| (antes) | 36 | 48 | 40 | 54 | 28 |
| (después) | 35 | 46 | 37 | 50 | 29 |
| 1 | 2 | 3 | 4 |
El cero está adentro: con estos datos no hay evidencia de que la capacitación haya cambiado la producción.
26. Intervalo para la diferencia de proporciones
Es la traducción directa de §24 al caso dicotómico. Con y grandes, cada proporción muestral es aproximadamente normal, y si las muestras son independientes su diferencia también lo es:
Cada proporción entra con su propia estimación dentro de la raíz, ya que aquí no se supone que sean iguales. (En el test de §36 la situación cambia, y ese contraste es conceptualmente importante.)
Ejemplo. Conformidad con la atención en dos sucursales:
| Sucursal 1 | Sucursal 2 | |
|---|---|---|
| 75 | 94 | |
| 20% | 13% |
El cero está contenido: pese a que la primera sucursal muestra siete puntos más de conformidad, las muestras son demasiado chicas para afirmar que la diferencia sea real.
27. Poblaciones finitas
Todo lo anterior supone muestreo con reposición o población infinita, condiciones bajo las cuales las observaciones son independientes. Si la población tiene tamaño finito y se extrae sin reposición, cada observación que sale reduce la incertidumbre que queda, y el error estándar es menor de lo que indican las fórmulas. La corrección es multiplicar el desvío por el factor de corrección por población finita:
Tres observaciones sobre su comportamiento:
- si es chico frente a , y no cambia nada; la regla práctica es aplicarlo cuando ;
- si (censo), y el desvío se anula, lo cual es correcto: medida toda la población no queda incertidumbre;
- siempre, de modo que achica el intervalo.
Dónde entra:
En el segundo caso aparece porque dentro de la raíz se trabaja con varianzas, no con desvíos: si el factor que multiplica al desvío es , el que multiplica a la varianza es . Cada población lleva además su propio factor, con su y su .
28. Intervalo para la varianza
El pivote es el resultado de Cochran (§11):
Se plantea la probabilidad de que esa cantidad caiga entre los dos cuantiles que dejan en cada cola,
y se despeja del centro. Como está en un denominador, al invertir se dan vuelta las desigualdades:
El resultado es contraintuitivo y conviene fijarlo: el cuantil grande, el de cola derecha, va en el extremo inferior del intervalo, y el chico en el superior. Viene precisamente de que estaba dividiendo.
Dos características a tener presentes:
- El intervalo no es simétrico alrededor de , porque la no lo es. No tiene sentido escribirlo como " algo".
- El supuesto de normalidad de la población es aquí mucho más exigente que en los intervalos para la media. Como se señaló en §14, para el teorema central del límite ofrece una salida cuando la población no es normal; para no la hay. Este intervalo es sensiblemente más frágil frente a apartamientos de la normalidad.
Si lo que se pide es un intervalo para y no para , se extrae raíz cuadrada a los dos extremos una vez calculado el intervalo para la varianza.
Ejemplo. Con , y , al 95%:
El intervalo para va de 3.587 a 7.728, mientras que la estimación puntual era 4.900: está muy lejos del centro. Con 15 observaciones, la información sobre la variabilidad es escasa —el extremo superior más que duplica al inferior— y el intervalo lo hace visible de un modo que la estimación puntual no. Nótese también que la media muestral 24.000 no interviene en ningún paso.
29. Intervalo para el cociente de varianzas
Para comparar dos varianzas no se restan: se dividen. La razón no es de conveniencia sino de disponibilidad. La única distribución pivotal para dos varianzas es la , que por construcción es un cociente; no existe tabla para . En este contexto, el uno cumple el papel que el cero cumple en las diferencias.
El pivote es el de §13:
Despejando el cociente , que otra vez queda en un denominador y otra vez invierte las desigualdades:
Lectura. Si el intervalo entero cae a la derecha del 1, entonces : el numerador corresponde a la población más variable. Si cae entero a la izquierda, lo contrario. Si contiene al 1, no hay evidencia de diferencia.
Dos ajustes según cómo venga el enunciado. Si da desvíos, hay que elevarlos al cuadrado antes de entrar a la fórmula, y si pide un intervalo para , hay que sacar raíz a los dos extremos al final. Si da una relación entre las varianzas —por ejemplo —, ese cociente no se cancela y entra como factor.
Ejemplo. Con , , , y :
Todo el intervalo queda a la derecha del 1, de modo que , en línea con lo que muestran las varianzas muestrales.
El ancho del intervalo es la parte más informativa de este resultado. Dice que la varianza de la primera población podría ser desde 1,07 hasta 104 veces la de la segunda: con y prácticamente no hay información sobre las varianzas. La asimetría es también llamativa —el estimador puntual, 7,09, está muy cerca del extremo inferior— y refleja la asimetría de la .
El cuantil no figura en las tablas habituales y hay que obtenerlo con la identidad de la sección siguiente.
30. Inversión de grados de libertad en la
Las tablas de traen únicamente valores de la cola derecha: números grandes, mayores que 1. Pero los intervalos bilaterales y los tests de cola izquierda necesitan valores chicos, menores que 1, que no están tabulados. La identidad que resuelve el problema es
Cambian dos cosas simultáneamente: la probabilidad pasa de a , y se invierten los grados de libertad al mismo tiempo que se toma el recíproco. Invertir solo los grados de libertad, sin el recíproco, no sirve.
La justificación es la propiedad señalada en §13: si , entonces es el mismo cociente dado vuelta, o sea . Y "quedar por debajo de " para es lo mismo que "quedar por encima de " para ; al pasar de una cola a la otra, la probabilidad pasa de a .
Ejemplo, el que se necesitaba en §29:
Nótese el orden de los grados de libertad en el miembro derecho: , invertidos respecto del izquierdo.
Este es también el punto natural para reafirmar la convención de tablas introducida en §4, que rige para , , y por igual: el subíndice indica el área a la derecha. El percentil 95 se busca con subíndice 0,05; un valor de cola izquierda al 0,5% se rotula y no ; y a subíndice más chico corresponde valor más grande.
31. Cotas unilaterales y tamaño de muestra
Cotas unilaterales
Cuando el interés está en un solo lado —¿cuál es el máximo verosímil de ?, ¿la media está por debajo de lo declarado?— no tiene sentido repartir en dos colas. Va entero a la cola que interesa:
Con el mismo , la cota unilateral es más ajustada del lado que interesa, porque no se gasta la mitad del error en un extremo irrelevante. La contrapartida es que del otro lado no se afirma nada.
En los intervalos basados en o el razonamiento es el mismo pero con el cuantil correspondiente. Por ejemplo, para una cota superior de al :
Con los datos de §28 y : , o sea .
Determinación del tamaño de muestra
Se parte del margen de error deseado y se despeja :
con las convenciones ya vistas en §23: usar si no hay información previa, y redondear siempre hacia arriba.
La relación fundamental es , de donde reducir el margen a la mitad exige multiplicar por 4.
La misma ecuación puede despejarse en las otras dos direcciones, lo que da lugar a tres preguntas distintas sobre el mismo trío de cantidades.
Ejemplo. Con , y :
(a) El intervalo al 98%. Con :
(b) Qué haría falta para reducir el margen a la mitad. Directamente por la relación anterior, .
(c) Con qué nivel de confianza se alcanzaría ese margen manteniendo . Ahora la incógnita es el cuantil:
es decir un nivel de confianza de apenas 75,6%. Las tres preguntas muestran el intercambio de fondo: con una muestra dada, precisión y confianza son bienes que compiten entre sí.
Parte V · Tests de hipótesis
32. El marco
Un test de hipótesis es una prueba por contradicción, organizada con presunción de inocencia. Se supone cierta una afirmación, se calcula qué tan improbable sería observar los datos obtenidos si esa afirmación fuera cierta, y si resulta demasiado improbable se la descarta.
Las dos hipótesis
siempre lleva la igualdad. Aun cuando el planteo del problema sugiera algo como , se trabaja en el borde, : es el caso más desfavorable y el único que produce un número concreto.
Esa es exactamente la razón de la regla. Para calcular el estadístico hace falta un valor puntual del parámetro. La afirmación "" no determina ninguna distribución en particular —hay infinitas—, mientras que "" determina una. Toda la maquinaria se construye sobre ese número, y es quien lo aporta.
es una desigualdad: recoge lo que se sospecha si no se cumple. Su dirección determina de qué lado queda la región de rechazo.
El estadístico de prueba
En todos los casos responde a la misma idea: cuántos desvíos estándar hay entre lo observado y lo que afirma.
Si es cierta, ese cociente sigue una distribución conocida —, , o según el caso—, y esa es toda la información que hace falta para juzgar si el valor obtenido es raro o no.
La regla de decisión
Hay dos formas equivalentes de decidir, que nunca pueden dar resultados distintos:
| Vía | Regla |
|---|---|
| valor crítico | se rechaza si el estadístico cae en la región de rechazo |
| -value | se rechaza si |
La comparación es siempre contra el valor crítico correspondiente, nunca contra el estadístico calculado en otro punto del problema.
Una cola o dos
La forma de decide dónde se ubica la región de rechazo:
| Región de rechazo | Valor crítico | |
|---|---|---|
| cola izquierda | ||
| cola derecha | ||
| las dos colas |
En el test bilateral el nivel se reparte: de cada lado.
"No se rechaza" no es "se acepta"
No rechazar significa que los datos no alcanzan para descartarla, no que sea verdadera. Es la diferencia entre "no culpable" e "inocente": un veredicto absolutorio no prueba la inocencia, prueba que la evidencia no fue suficiente.
Por eso la conclusión se redacta como "no hay evidencia suficiente para afirmar que…" y no como "queda demostrado que…". La asimetría es deliberada: el test está diseñado para controlar la probabilidad de rechazar una verdadera, y no ofrece ninguna garantía comparable en la otra dirección.
33. Errores de tipo I y de tipo II. Potencia
Toda decisión sobre puede fallar de dos maneras:
| verdadera | falsa | |
|---|---|---|
| Se rechaza | error de tipo I — probabilidad | decisión correcta — probabilidad |
| No se rechaza | decisión correcta | error de tipo II — probabilidad |
El error de tipo I
Es el nivel de significación, y lo elige quien hace el test: 1%, 5%, 10%. Geométricamente es el área de la región de rechazo bajo la distribución de . En la analogía judicial, es la probabilidad de condenar a un inocente.
El error de tipo II
Aquí aparece una asimetría fundamental. Mientras que se fija por decisión, no se puede calcular sin información adicional, y la razón es que " es falsa" no describe una única situación. Si dice , su negación abarca y , y el error de tipo II es completamente distinto en cada caso: una desviación grande es fácil de detectar y una chica no.
Con dado, el cálculo es geométrico y se apoya en dos campanas: la de , centrada en , y la de la alternativa, centrada en . Ambas comparten un único punto de corte, el valor crítico que separa aceptación de rechazo.
- es el área bajo la campana de , del lado de rechazo.
- es el área bajo la campana de , del lado de aceptación.
El procedimiento tiene entonces tres pasos:
- Traducir la regla de decisión a la escala de la variable. El test vive en escala o , pero se calcula en escala : , con el signo que corresponda a la dirección de .
- Estandarizar ese mismo contra , no contra : .
- Tomar el área del lado de aceptación, que es el opuesto al de .
Los dos errores que arruinan el cálculo son estandarizar contra en el segundo paso —lo que devuelve — y tomar la cola equivocada en el tercero.
El intercambio, y la potencia
Con fijo, y se mueven en direcciones opuestas: correr para achicar uno agranda el otro. Es un intercambio inevitable, porque hay un solo punto de corte para dos áreas. La única forma de reducir ambos simultáneamente es aumentar , que angosta las dos campanas y las separa mejor.
Es la capacidad del test de detectar un efecto que realmente existe. Crece con , con , y con la distancia entre y .
Un test de baja potencia es engañoso: al no rechazar, invita a concluir que no hay efecto, cuando en realidad lo que ocurre es que el test no habría podido detectarlo aunque lo hubiera. Por eso conviene calcular cuando el resultado es "no se rechaza".
34. El -value
Definición
El -value es la probabilidad de obtener un resultado tan extremo o más que el observado, suponiendo que es cierta:
Cómo interpretarlo
La lectura más útil es esta: el -value es el más chico con el que todavía se rechazaría. Decir equivale a decir que con cualquier nivel de significación mayor que 0,08 se rechaza , y con cualquiera menor no.
Eso lo hace más informativo que la respuesta binaria. En lugar de "se rechaza al 5%", indica exactamente cuán al borde está la decisión, y permite que cada lector aplique su propio umbral.
En tests bilaterales
Como lo "extremo" cuenta de los dos lados, el -value bilateral es el doble del área de una cola:
Cuando no está claro qué cola mirar, un procedimiento seguro es calcular las dos y quedarse con la que tiene sentido: la otra, al duplicarse, daría un valor mayor que 1.
Lo que el -value no es
No es la probabilidad de que sea cierta. Es una probabilidad calculada bajo el supuesto de que es cierta, lo cual es una afirmación de naturaleza distinta. Confundir con es el error de interpretación más extendido en toda la estadística aplicada.
35. Test para la media
El criterio de elección es el mismo que en §22: si es conocido o es grande, si es desconocido y la población es normal.
Conviene representar el problema con dos escalas alineadas: arriba la de , con en el centro y en el corte; abajo la de , con 0 en el centro y en el corte. Comparar en cualquiera de las dos es equivalente; la de es la que se lleva a la tabla, y la de es la que se necesita para calcular .
Ejemplo. Un fabricante declara que sus envases contienen unidades; un cliente sospecha que es menos. Se toma una muestra de con y , al 5%.
El valor crítico de cola izquierda al 5% es . Como , el estadístico cae en la región de rechazo: se rechaza . El -value es , muy inferior a 0,05, lo que confirma la decisión y muestra que no es ajustada.
El error de tipo II en este ejemplo. Supóngase que el contenido real fuera . Siguiendo los tres pasos de §33:
La potencia es . Es decir: si el contenido real fuera 980, este test lo detectaría apenas algo más de la mitad de las veces. Una desviación de 20 unidades sobre 1.000 es difícil de detectar con y esta variabilidad.
Test para la diferencia de medias
Misma estructura, con el estimador y el error estándar de §24:
El término del numerador vale cero por , y ese es precisamente el aporte de la hipótesis nula: convertir una expresión con un parámetro desconocido en un número calculable. Según el caso, el denominador es el del caso 1, 2 o 3 de §24.
36. Tests para proporciones
Una proporción
En el denominador va , el valor postulado por , y no . Esta es una diferencia con el intervalo de confianza de §23, y tiene explicación: allá no había ningún valor de referencia disponible y hubo que recurrir a ; acá proporciona uno, y bajo ese es el valor correcto de la varianza.
Dos proporciones
La cantidad se llama proporción ponderada y es el punto conceptual del test. Bajo las dos proporciones poblacionales son iguales: hay una sola . Y si hay una sola, la mejor estimación de esa usa todos los datos disponibles, juntando los dos numeradores y los dos denominadores.
Es exactamente la misma idea que la varianza ponderada de §24: cuando la hipótesis afirma que un parámetro es común a las dos poblaciones, se lo estima con las dos muestras a la vez.
En el intervalo de confianza (§26) esto no ocurre, porque allí no se supone ninguna igualdad y cada proporción va con su propia estimación. La diferencia entre las dos fórmulas no es un descuido: refleja que el intervalo y el test parten de supuestos distintos.
Ejemplo. De 75 clientes de la sucursal 1, 15 se declaran conformes (20,0%); de 94 de la sucursal 2, 12 lo hacen (12,8%). ¿Hay diferencia, al 5%?
Contra el estadístico no llega a la región de rechazo: no se rechaza . El -value bilateral es .
37. Test para la varianza
Tres observaciones:
- Los grados de libertad son y no , porque ya consumió uno estimando la media (§11).
- Como la no es simétrica, en el test bilateral los dos valores críticos no son opuestos y hay que buscar y por separado.
- Para el -value bilateral se calcula el área de la cola del lado donde cayó el estadístico y se duplica.
Ejemplo. Se sostiene que el desvío de un proceso es . Una muestra de da . ¿Hay evidencia de mayor variabilidad, al 5%?
El crítico de cola derecha es . Como lo supera ampliamente, se rechaza : hay evidencia fuerte de que la variabilidad real excede la declarada.
38. Test para el cociente de varianzas
El pivote general es el de §13, y aquí es donde la hipótesis nula hace su aporte más visible:
Como afirma que las varianzas poblacionales son iguales, se cancelan, y el estadístico se reduce al cociente de las varianzas muestrales. Esa cancelación es literalmente el contenido de la hipótesis nula traducido a álgebra.
Una o dos colas:
- — una cola derecha, crítico .
- — una cola izquierda; el crítico es menor que 1 y se obtiene invirtiendo (§30).
- — dos colas, con de cada lado y dos críticos distintos.
Ejemplo. Dos poblaciones normales con muestras de y , y desvíos muestrales y . ¿Tienen la misma varianza? Al 5%, contra :
El crítico es . Como , no se rechaza : pese a que la primera muestra es visiblemente más dispersa, la evidencia no alcanza al 5%. El -value es , lo que muestra que la decisión es ajustada —al 10% se habría rechazado.
Para qué sirve este test. Además de responder la pregunta directa sobre variabilidad, es el paso previo que decide si en una comparación de medias corresponde el caso 2 de §24 (varianzas iguales, con ) o el caso 3 (Welch).
39. La dualidad entre intervalos y tests
Los intervalos de confianza y los tests de hipótesis se presentan como temas separados, pero son dos despejes de la misma desigualdad, y conviene verlo explícitamente porque permite usar cada uno para verificar al otro.
Tómese el caso del cociente de varianzas. El punto de partida es siempre el mismo enunciado probabilístico:
- Despejando hacia el estadístico se supone , que fija ; el denominador se cancela y queda contra los valores críticos. Es el test de §38.
- Despejando hacia el parámetro queda solo en el centro, entre dos extremos calculables. Es el intervalo de §29.
De ahí la equivalencia formal:
El uno pertenece al intervalo exactamente cuando el estadístico cae fuera de la región de rechazo. Nunca pueden dar conclusiones distintas.
El mismo argumento vale para la media: el intervalo contiene a si y solo si el test bilateral de no rechaza al nivel . Un intervalo de confianza al es, visto así, el conjunto de todos los valores del parámetro que un test bilateral al nivel no rechazaría.
Qué aporta cada uno
Si son equivalentes, cabe preguntarse por qué existen los dos. Responden preguntas distintas:
- El test responde "¿es plausible este valor en particular?" y devuelve un veredicto binario más el -value.
- El intervalo responde "¿qué valores son plausibles?" y devuelve un rango, es decir, infinitos tests de una sola vez y por el mismo trabajo.
En consecuencia, el intervalo muestra algo que el test oculta: el ancho. Un intervalo de para un cociente de varianzas dice que la primera podría ser desde un quinto hasta cuatro veces la segunda —o sea, que prácticamente no hay información—. El test, ante esos mismos datos, se limita a decir "no se rechaza", frase que se puede confundir fácilmente con evidencia de igualdad.
Esa distinción es la misma que se planteó en §32 y merece repetirse: no rechazar no prueba que los parámetros sean iguales; prueba que los datos no alcanzan para distinguirlos. El intervalo lo deja a la vista, el test no.
Como beneficio práctico, la dualidad ofrece una verificación gratuita: si el intervalo contiene al valor de pero el estadístico cae en zona de rechazo, hay un error de cálculo en alguno de los dos caminos.
Parte VI · Bondad de ajuste e independencia
40. El estadístico de Pearson
Todos los tests vistos hasta aquí contrastan hipótesis sobre un parámetro: , , . Ahora la pregunta cambia de naturaleza y pasa a ser sobre la forma de la distribución entera: ¿estos datos se comportan como una uniforme? ¿como una Poisson? ¿como una normal?
La idea
Se parten los datos en categorías. Cada una tiene una frecuencia observada —la que se contó— y una frecuencia esperada —la que debería haber si fuera cierta—. Si es cierta, las dos columnas deberían parecerse. El test consiste en medir cuánto se apartan.
El estadístico
Cada término se lee así: el numerador es la discrepancia de esa categoría, elevada al cuadrado para que las diferencias de signo opuesto no se cancelen; el denominador la relativiza, porque una diferencia de 5 sobre una frecuencia esperada de 6 es enorme y sobre una de 500 es despreciable.
Si el ajuste fuera perfecto el estadístico valdría cero, y crece a medida que las dos columnas se separan. De ahí una propiedad que conviene fijar:
La bondad de ajuste es siempre un test de cola derecha. Valores grandes indican mal ajuste, es decir evidencia contra . Un valor chico nunca constituye evidencia en contra.
Bajo , y con frecuencias esperadas suficientemente grandes, este estadístico se distribuye aproximadamente como una . El resultado es asintótico y proviene de que cada término se comporta como el cuadrado de una variable aproximadamente normal.
Las frecuencias esperadas
donde es la probabilidad que la distribución de asigna a la categoría , y es el total de observaciones, , no la frecuencia observada de esa categoría.
De aquí surge un control que conviene hacer siempre: la columna de esperadas debe sumar exactamente lo mismo que la de observadas. Si no lo hace, hay un error en las o en el , y no tiene sentido seguir.
Grados de libertad
- es el número de categorías.
- Se resta 1 porque las frecuencias no son libres: deben sumar . Fijadas , la última queda determinada.
- Se resta , la cantidad de parámetros de la distribución que hubo que estimar a partir de la muestra.
La segunda resta merece explicación. Estimar un parámetro con los propios datos ajusta la distribución teórica hacia ellos, y hace que el ajuste luzca artificialmente bueno. Restar un grado de libertad por cada parámetro estimado es la penalización que compensa ese efecto: con menos grados de libertad, el valor crítico es menor y el test resulta más exigente.
| Situación | g.l. | |
|---|---|---|
| Distribución totalmente especificada ( dado, dadas) | 0 | |
| Poisson con estimado por | 1 | |
| Exponencial con estimado | 1 | |
| Normal con y estimados por y | 2 |
La condición sobre las frecuencias esperadas
La aproximación a la requiere que ninguna categoría tenga frecuencia esperada menor que 5. Cuando alguna la tiene, el procedimiento estándar es agruparla con una categoría vecina, lo que reduce en uno y por lo tanto también los grados de libertad.
La razón es aritmética y se ve en la fórmula: una frecuencia esperada muy chica queda en el denominador de su término e infla su aporte desproporcionadamente. Una sola categoría casi vacía puede aportar la mayor parte del estadístico y llevar a rechazar aunque el resto del ajuste sea bueno. El ejemplo de la distribución normal en §41 muestra un caso donde esto invierte la conclusión.
41. Los casos concretos
Lo único que cambia entre un caso y otro es cómo se calculan las . El estadístico, la cola derecha y el control de la suma son idénticos en los cuatro.
Caso A — Proporciones dadas o distribución uniforme
Es el más simple: el enunciado da directamente las , o afirma que todas las categorías son igualmente probables.
Conviene reparar en cómo se escribe : no es "todas son distintas" sino "al menos dos difieren". Alcanza con que se rompa una sola igualdad para que sea falsa.
Si la distribución es uniforme, en todas las categorías. Como no se estima ningún parámetro, y los grados de libertad son .
Ejemplo. Un producto se ofrece en tres marcas y se registra el consumo de cada una en 93 compras:
| Marca 1 | Marca 2 | Marca 3 | Total | |
|---|---|---|---|---|
| Observada | 39 | 21 | 33 | 93 |
| 1 | ||||
| Esperada | 31 | 31 | 31 | 93 |
Con grados de libertad, el crítico al 5% es . Como , no se rechaza: no hay evidencia de que alguna marca se consuma más que otra.
Ahora bien, al 10% el crítico baja a y la decisión se invierte: se rechaza. El -value es , y esto explica exactamente por qué la conclusión cambió: el nivel de significación cruzó ese umbral. Es un buen ejemplo de por qué informar el -value es preferible al veredicto binario.
Caso B — Poisson
Si el enunciado da , no se estima nada y . Si no lo da, se lo estima con el promedio ponderado por las frecuencias,
y entonces .
Como la Poisson tiene soporte infinito y las categorías son finitas, la última suele ser abierta —"3 o más", "5 o más"— y su probabilidad se calcula por complemento:
Esto garantiza que las sumen exactamente 1 y que toda la cola quede cubierta.
Ejemplo. Número de fallas diarias registradas durante 60 días:
| Fallas | 0 | 1 | 2 | 3 o más | Total |
|---|---|---|---|---|---|
| Observada | 31 | 15 | 9 | 5 | 60 |
| 0 | 1 | 2 | 3 o más | Total | |
|---|---|---|---|---|---|
| Observada | 31 | 15 | 9 | 5 | 60 |
| 0,4493 | 0,3595 | 0,1438 | 0,0474 | 1,0000 | |
| Esperada | 26,96 | 21,57 | 8,63 | 2,84 | 60,00 |
La columna de esperadas suma 60, igual que la de observadas.
Como se estimó de la muestra, y los grados de libertad son . El crítico al 5% es , de modo que no se rechaza : los datos son compatibles con una Poisson.
Variante instructiva: si el enunciado hubiera dado en lugar de exigir estimarlo, el estadístico sería el mismo, , pero los grados de libertad serían y el crítico . El test con el parámetro dado es menos exigente, porque no hubo que pagar la penalización por estimar. Comparar las dos versiones aísla con precisión el efecto de la estimación sobre el test.
Caso C — Normal
Aquí hay un paso adicional, porque la normal es continua y va de a : hay que partirla en intervalos.
- Estimar los parámetros a partir de los datos agrupados, usando la marca de clase —el punto medio de cada intervalo— y su frecuencia :
- Definir los intervalos, habitualmente de igual ancho.
- Calcular las como el área de la normal en cada intervalo, estandarizando los límites y restando acumuladas:
- Como se estimaron dos parámetros, y los grados de libertad son .
Un detalle del tercer paso: el primer intervalo se integra desde y el último hasta , aunque los datos vayan de 0 a 100. Las colas de la normal tienen que ir a algún lado; si se usan los límites literales, las no suman 1 y las esperadas no suman .
Ejemplo. Calificaciones de 0 a 100 de 188 participantes, agrupadas en 6 intervalos de igual ancho. De los datos agrupados se obtienen y .
| Intervalo | ||||||
|---|---|---|---|---|---|---|
| Observada | 2 | 4 | 41 | 97 | 40 | 4 |
| 0,0016 | 0,0385 | 0,2500 | 0,4497 | 0,2271 | 0,0330 | |
| Esperada | 0,31 | 7,24 | 46,99 | 84,55 | 42,70 | 6,21 |
| Aporte al | 9,44 | 1,45 | 0,76 | 1,84 | 0,17 | 0,79 |
Con grados de libertad, el crítico al 5% es : se rechazaría .
Pero conviene mirar la última fila antes de aceptar esa conclusión. La primera categoría tiene frecuencia esperada 0,31 y aporta 9,44 de los 14,45, es decir dos tercios del estadístico. Es exactamente la situación que la condición de §40 previene: una categoría casi vacía domina el resultado.
Agrupando las dos primeras categorías —observada , esperada — quedan categorías y el estadístico cae a con grados de libertad, contra un crítico de : ya no se rechaza. La conclusión del test se invierte por completo según se aplique o no la condición sobre las frecuencias esperadas, lo que muestra que no es un tecnicismo prescindible.
Caso D — Exponencial
Como la función de distribución acumulada tiene forma cerrada,
las probabilidades salen directamente por diferencia de acumuladas:
y la última categoría, por complemento, .
Por ejemplo, si el tiempo medio entre eventos es 17 y el primer intervalo llega hasta 8:
El exponente lleva signo negativo; con signo positivo el resultado sería negativo, y una probabilidad no puede serlo.
42. Tablas de contingencia
La pregunta
Dadas dos variables categóricas medidas sobre los mismos individuos —tipo de cliente y cumplimiento de plazos, turno y productividad, medio publicitario y nivel de gasto—, ¿están relacionadas o son independientes?
La hipótesis nula es siempre la independencia, con el mismo espíritu que la presunción de inocencia: se supone que no hay relación y se le exige a los datos que demuestren lo contrario.
De dónde salen las frecuencias esperadas
Del propio significado de independencia. Si dos sucesos son independientes,
Estimando cada probabilidad marginal con los totales de la tabla — el total de la fila , el de la columna , el total general—:
es decir, (total de la fila) × (total de la columna) / (total general). La tabla de esperados es literalmente "cómo se vería la tabla si las variables fueran independientes".
De la construcción se sigue el control natural: la tabla de esperados debe tener los mismos totales marginales que la de observados, fila por fila y columna por columna.
El estadístico y los grados de libertad
La fórmula de los grados de libertad sale del mismo razonamiento de siempre: una vez fijados los totales marginales, no todas las celdas son libres. En una tabla se pueden elegir libremente las de un bloque de , y el resto queda determinado por las sumas.
El test es también de cola derecha, por el mismo motivo que la bondad de ajuste: solo los apartamientos grandes son evidencia contra .
Ejemplo. Se registran 180 clientes corporativos según su rubro y si cumplen o no los plazos de pago:
| Cumple | No cumple | Total | |
|---|---|---|---|
| Industrial | 50 | 30 | 80 |
| Comercial | 40 | 10 | 50 |
| Servicios | 25 | 25 | 50 |
| Total | 115 | 65 | 180 |
Las frecuencias esperadas bajo independencia, por ejemplo para la primera celda:
| Esperados | Cumple | No cumple | Total |
|---|---|---|---|
| Industrial | 51,11 | 28,89 | 80 |
| Comercial | 31,94 | 18,06 | 50 |
| Servicios | 31,94 | 18,06 | 50 |
| Total | 115 | 65 | 180 |
Los totales marginales coinciden con los observados, como debe ser.
Con grados de libertad y crítico : como , se rechaza la independencia. El -value es , de modo que la conclusión se sostiene incluso al 1%.
Residuos estandarizados
El estadístico dice si hay dependencia, pero no dónde está. Para localizarla se miran los residuos celda por celda:
Las celdas con residuo grande en valor absoluto son las que más se apartan de la independencia, y el signo indica la dirección: positivo significa que hay más casos de los que corresponderían al azar.
En el ejemplo:
| Residuos | Cumple | No cumple |
|---|---|---|
| Industrial | ||
| Comercial | ||
| Servicios |
La dependencia no está repartida de manera uniforme. Los clientes industriales se comportan prácticamente como predice la independencia; la relación proviene de los otros dos rubros, que se apartan en direcciones opuestas: los comerciales cumplen más de lo esperado y los de servicios menos. Esa lectura es la que convierte un rechazo en una conclusión sustantiva.
Diferencia con la bondad de ajuste
| Bondad de ajuste | Independencia | |
|---|---|---|
| Compara contra | una distribución teórica | la tabla que habría bajo independencia |
| Los esperados salen de | , con del modelo | los propios totales marginales |
| Grados de libertad |
El estadístico es el mismo y la cola es la misma; lo que cambia es el origen de las frecuencias esperadas. En la bondad de ajuste vienen de un modelo externo; en la independencia, de los propios datos.
Parte VII · Análisis de la varianza
43. ANOVA de un factor
La pregunta
Comparar medias simultáneamente: ¿los cuatro vendedores venden lo mismo? ¿los tres fertilizantes rinden igual? Los grupos que se comparan se llaman tratamientos, y son los niveles del factor bajo estudio.
Igual que en §41, nunca es "todas son distintas": alcanza con que se rompa una igualdad.
Por qué no se hacen tests de a pares
La alternativa ingenua sería comparar todos los pares con tests . El problema es la acumulación del error de tipo I. Con tratamientos hay 6 pares, y si cada test se hace al 5%, la probabilidad de que al menos uno dé un falso positivo es
Uno de cada cuatro estudios "encontraría" una diferencia inexistente. El análisis de la varianza responde la misma pregunta con un solo test al nivel deseado.
El modelo
Cada observación se explica por una media global , más el efecto del tratamiento al que pertenece, más un error aleatorio. Bajo todos los valen cero, y entonces todas las observaciones provienen de la misma distribución.
Los supuestos son tres: normalidad de los errores, igual varianza en todos los grupos (homocedasticidad) e independencia. El segundo es el que suele fallar en la práctica.
Notación
El punto reemplaza al índice sobre el que se sumó:
con el total de observaciones y la cantidad de tratamientos. Los grupos no necesitan tener el mismo tamaño.
La descomposición
Es el corazón del método, y arranca de una identidad que consiste en sumar y restar la misma cantidad:
El apartamiento de una observación respecto de la media general se parte en dos: cuánto se aparta su grupo del total, y cuánto se aparta ella de su propio grupo. Elevando al cuadrado y sumando sobre todo , el doble producto se anula —por la misma razón que en §11: la suma de desviaciones respecto de una media es cero— y queda la expresión fundamental del análisis de la varianza:
| Término | Nombre | Qué mide |
|---|---|---|
| Suma Total de Cuadrados | la variabilidad total de los datos | |
| Suma de Cuadrados de TRatamientos | cuánto se separan entre sí las medias de los grupos | |
| Suma de Cuadrados del Error | cuánto varían los datos dentro de cada grupo |
En una frase: la variabilidad total se parte en la que el tratamiento explica y la que no. Si la primera es grande respecto de la segunda, el tratamiento importa.
Es la misma estructura de la relación de Cochran (§11), ahora con grupos en lugar de uno.
Las distribuciones y el estadístico
Dividiendo cada término por , los tres son :
y los grados de libertad se descomponen igual que las sumas: .
Los cuadrados medios son las sumas divididas por sus grados de libertad —es decir, varianzas—, y su cociente es el estadístico:
Por qué el test es de cola derecha. El estima haya o no efecto de tratamiento: mide la variabilidad interna de los grupos, que no depende de dónde estén centrados. El , en cambio, estima más el efecto de los tratamientos. Si es cierta los dos estiman lo mismo y el cociente ronda 1; si hay efecto, el numerador crece. Solo los valores grandes constituyen evidencia en contra.
Como corolario, un indica que las medias de los grupos están más juntas de lo que la variabilidad interna haría esperar, lo cual es una señal clara de ausencia de efecto.
La tabla ANOVA
| Fuente | S.C. | G.L. | C.M. | |
|---|---|---|---|---|
| Tratamientos | ||||
| Error | ||||
| Total |
Las columnas de sumas de cuadrados y de grados de libertad tienen que sumar el total. Esa propiedad permite completar cualquier casillero faltante y sirve como verificación del resto.
Fórmulas de cálculo
En la práctica no se calculan las desviaciones una por una. Con el total del tratamiento y el total general:
El término es el mismo en las dos fórmulas y se calcula una sola vez. Dos controles inmediatos: siempre, por ser una suma de cuadrados, y , por ser una parte del total.
Ejemplo. Cuatro vendedores, con distinta cantidad de observaciones cada uno:
| 1 | 2 | 3 | 2 | |
| 5 | 1 | 1 | 2 | |
| 2 | 2 | 3 | ||
| 3 | 4 | |||
| 11 | 5 | 11 | 4 | |
| 4 | 3 | 4 | 2 |
Con , , y :
| Fuente | S.C. | G.L. | C.M. | |
|---|---|---|---|---|
| Tratamientos | 2,91 | 3 | 0,97 | 0,62 |
| Error | 14,17 | 9 | 1,57 | |
| Total | 17,08 | 12 |
El crítico es . Como , no se rechaza : no hay evidencia de que los vendedores difieran.
El valor del estadístico dice algo más que "no se rechaza". Al ser menor que 1, indica que las medias de los cuatro vendedores están más próximas entre sí de lo que la variabilidad de cada uno haría esperar: la dispersión interna de cada vendedor supera holgadamente a la que hay entre ellos.
44. ANOVA de dos factores
La pregunta
Ahora intervienen dos factores simultáneamente —por ejemplo método de venta y zona geográfica— y se quiere conocer el efecto de cada uno y si se potencian entre sí.
Con niveles del factor A, niveles del factor B y repeticiones por celda, el total es .
Las tres hipótesis
Qué es la interacción. Es el efecto que no se explica sumando los efectos por separado: que un método funcione bien en una zona y mal en otra. Sin interacción, el mejor método es el mejor en todas las zonas y basta con nombrarlo; con interacción, la respuesta correcta es "depende".
La tabla
| Fuente | G.L. | |
|---|---|---|
| Factor A | ||
| Factor B | ||
| Interacción A×B | ||
| Error | ||
| Total |
Los tres estadísticos se dividen por el mismo . Y de nuevo, las columnas de sumas de cuadrados y de grados de libertad deben sumar el total, lo que permite despejar casilleros faltantes.
El orden de los tests
Este orden no es una convención sino una necesidad lógica:
- Si la interacción es significativa (se rechaza ), los efectos principales no se pueden interpretar por separado. Afirmar "el método A es el mejor" carece de sentido si depende de la zona. La conclusión es que ambos factores actúan conjuntamente, y los dos tests restantes pierden interés.
- Si la interacción no es significativa, recién entonces tiene sentido examinar cada factor por su cuenta con su propio .
Ejemplo. Tres métodos de venta, dos zonas, dos repeticiones por celda: , , , .
| Fuente | S.C. | G.L. | C.M. | |
|---|---|---|---|---|
| Método | 24,67 | 2 | 12,33 | 31,75 |
| Zona | 3,00 | 1 | 3,00 | 7,73 |
| Interacción | 6,00 | 2 | 3,00 | 7,73 |
| Error | 2,33 | 6 | 0,389 | |
| Total | 36,00 | 11 |
Las columnas cierran: y .
Siguiendo el orden correcto, se contrasta primero la interacción: contra . Como lo supera, hay interacción, y por lo tanto los efectos de método y zona no pueden interpretarse aisladamente, aunque los dos den significativos. La conclusión sustantiva es que el método más conveniente depende de la zona.
45. La relación entre , y ANOVA
Cuando hay solo dos tratamientos (), el análisis de la varianza y el test de diferencia de medias son el mismo test. La relación exacta ya apareció en §12:
y sale directamente de la definición de la :
usando de §3. Con los grados de libertad calzan: y .
Un ejemplo que lo verifica
Dos tratamientos con las siguientes observaciones:
| Tratamiento 1 | Tratamiento 2 |
|---|---|
| 4, 5, 3, 6, 5 | 3, 4, 4, 5 |
| , | , |
Por la vía del ANOVA. Con , y :
Contra , no se rechaza .
Por la vía del test . Las medias son y . Calculando las varianzas con la fórmula abreviada de §10:
Contra , tampoco se rechaza.
La verificación. Las dos vías coinciden en tres puntos, no solo en el veredicto:
La coincidencia no es casual y explica por qué los dos tests son el mismo: la varianza ponderada de §24 y el cuadrado medio del error de §43 son la misma cantidad —la variabilidad interna de los grupos, estimada juntando toda la información disponible—, escrita con dos notaciones distintas.
Que ambos caminos deban dar exactamente lo mismo proporciona una verificación gratuita cuando un problema con dos grupos se resuelve por las dos vías: si no coinciden, hay un error de cálculo en alguna de ellas.
Para el intervalo de confianza correspondiente, con los mismos datos:
que contiene al cero, en línea con los dos tests, como garantizaba la dualidad de §39.
Parte VIII · Regresión lineal
46. El modelo
Con la regresión cambia la pregunta. Hasta aquí se comparaban grupos —¿son distintas estas medias?—; ahora se estudia cómo una variable se mueve con otra: ¿cómo cambia cuando cambia ?
- es lo que el modelo predice: la recta.
- es lo que el modelo no explica: el residuo.
- es la pendiente, cuánto cambia por cada unidad que aumenta . Es el parámetro de interés.
- es la ordenada al origen, el valor de cuando . Con frecuencia carece de interpretación sustantiva, porque queda fuera del rango de los datos.
La variable se llama explicativa o independiente, e respuesta o dependiente. Los papeles no son intercambiables: la recta de sobre no es la misma que la de sobre .
Los supuestos
Esta línea condensa cuatro condiciones:
- — el modelo no está sistemáticamente corrido. De aquí se sigue, tomando esperanzas en la ecuación del modelo, que : la recta pasa por el punto de medias .
- Varianza constante — la dispersión alrededor de la recta es la misma para todo . Se llama homocedasticidad, y se visualiza como campanas de Gauss del mismo ancho apoyadas sobre cada punto de la recta. Si la nube se abre en abanico a medida que crece , hay heterocedasticidad y el modelo pierde confiabilidad.
- Normalidad de los errores.
- Independencia entre los errores.
El plan de trabajo
Las dos secciones siguientes se ocupan de cada paso.
47. Estimación por mínimos cuadrados
El criterio
Cada residuo es la distancia vertical entre el dato y la recta:
Se buscan los coeficientes que cumplan dos condiciones:
La primera condición por sí sola no determina la recta: hay infinitas rectas cuyos errores se compensan. Es la segunda la que fija una. Y hay tres razones para elevar al cuadrado en lugar de tomar valor absoluto: evita que los errores positivos y negativos se cancelen, penaliza más los errores grandes, y produce una función derivable, lo que permite resolver el problema analíticamente. Este último punto es el decisivo.
La derivación
Se define
y se anulan las derivadas parciales:
Simplificando el 2 y distribuyendo las sumatorias se obtienen las ecuaciones normales:
Es un sistema lineal de que se resuelve por sustitución. Todo lo que hace falta calcular son cuatro sumas: , , y . Obsérvese que el coeficiente de en la segunda ecuación es , la suma de los cuadrados, y no .
Nótese también que la primera ecuación, dividida por , es exactamente : la condición de que la recta pase por el punto de medias no es un supuesto adicional sino una consecuencia del criterio.
La vía de la covarianza
Resolviendo el sistema en general se llega a fórmulas cerradas:
con
Sobre el factor . Las expresiones de , y calculadas como "media de productos menos producto de medias" dan las versiones sesgadas; multiplicarlas por las convierte en insesgadas. Como en el factor aparece arriba y abajo, se cancela, y da lo mismo con cualquiera de las dos convenciones. Lo mismo ocurre con . Donde sí importa es en el error típico de §48, y en cualquier caso conviene ser consistente.
Las dos vías —resolver el sistema de ecuaciones normales, o usar — conducen exactamente a la misma recta, de modo que calcular por ambas es una verificación disponible sin costo.
Interpretación de
- El signo indica la dirección de la relación. y tienen siempre el mismo signo, porque los desvíos son positivos.
- La magnitud indica el grado de alineación: cerca de 1 significa puntos casi sobre una recta; cerca de 0, una nube sin dirección.
- mide relación lineal únicamente. Puede dar cercano a cero ante una relación fortísima pero curva —una parábola simétrica, por ejemplo, tiene .
- Correlación no implica causalidad. Una asociación estadística puede deberse a que influya sobre , a que influya sobre , a una tercera variable que afecte a ambas, o al azar.
Un ejemplo completo
Sean cuatro observaciones:
| 1 | 2 | 3 | 5 | |
|---|---|---|---|---|
| 4 | 1 | 2 | 3 |
Las sumas necesarias son , , , , .
Por las ecuaciones normales:
De la primera, . Sustituyendo en la segunda y despejando:
Por la vía de la covarianza. Con , y , y aplicando el factor para obtener las versiones insesgadas:
Los dos caminos coinciden hasta la última cifra, como debía ocurrir. La recta ajustada es
y la correlación, , es prácticamente nula: la pendiente negativa existe pero es despreciable frente a la dispersión de los datos. La sección siguiente cuantifica exactamente cuán poco explica este modelo.
48. Bondad del ajuste: y error típico
La descomposición de la varianza
Partiendo de y tomando varianzas —con constante, de modo que , y independiente de por los supuestos de §46:
La variabilidad de se parte en dos: la que proviene de la variabilidad de transmitida por la pendiente, y la que proviene del error. Dividiendo todo por para expresarlo en proporciones:
Es la misma lógica de la descomposición del ANOVA (§43): variabilidad total igual a variabilidad explicada más variabilidad residual.
El coeficiente de determinación
Es la proporción de la variabilidad de que el modelo explica. Un significa que el 87% de la variación observada en queda explicada por , y el 13% restante es ruido.
- siempre, por ser a la vez un cuadrado y una proporción.
- : ajuste perfecto, todos los puntos sobre la recta.
- : la recta no aporta nada; predecir con sería igual de bueno.
La identidad tiene una consecuencia que conviene tener presente al interpretar correlaciones: elevar al cuadrado castiga fuertemente los valores intermedios. Una correlación de 0,5, que suena apreciable, corresponde a un de apenas 0,25. En el ejemplo de §47, da
El modelo explica poco más de medio punto porcentual de la variabilidad de : prácticamente nada.
El error típico
Del complemento de la descomposición se despeja la dispersión de los residuos:
El factor es la corrección por grados de libertad. La varianza de los residuos debe dividirse por y no por , porque se estimaron dos parámetros, y . Es la misma lógica del en (§10), aplicada dos veces: partiendo de una expresión que ya venía dividida por , el factor la reajusta a .
El error típico es una medida del ancho de la banda alrededor de la recta, y viene expresado en las unidades de . Eso lo hace más interpretable que el a la hora de predecir: dice cuánto se equivoca típicamente el modelo, en la misma escala en que se mide la respuesta.
Con los datos del ejemplo de §47:
Los valores de van de 1 a 4, con media 2,5, y el modelo se equivoca típicamente en 1,58 unidades. Las dos medidas concuerdan: el modelo no sirve para predecir.
49. El enfoque matricial y geométrico
Es la misma estimación, reescrita de manera que se generalice a regresión múltiple —varias variables explicativas— y que exhiba el significado geométrico del método de mínimos cuadrados.
Planteo
Cada observación es una ecuación:
Apilando las ecuaciones:
La primera columna de es de unos: es la que multiplica a . Agregar variables explicativas consiste simplemente en agregar columnas.
La condición de ortogonalidad y el despeje
La condición que caracteriza a la solución de mínimos cuadrados es que el vector de errores sea ortogonal al espacio de los modelos:
Con eso, el despeje es directo:
Una sola fórmula devuelve todos los coeficientes de golpe, sirva para una variable explicativa o para veinte. Multiplicando explícitamente en el caso de dos parámetros se recuperan las ecuaciones normales de §47: contiene , y , y contiene y .
La interpretación geométrica
Escribiendo el producto por columnas:
- y generan un plano dentro de —en general, un subespacio—: el conjunto de todos los vectores alcanzables por el modelo.
- es un vector que en general no pertenece a ese plano; si perteneciera, el ajuste sería perfecto.
- es el punto del plano más cercano a , y es el vector que los une, perpendicular al plano.
Ese es el significado profundo del método: la recta de regresión es la proyección ortogonal de los datos sobre el espacio de los modelos posibles. Y la condición deja de ser un artificio algebraico: dice que el error es perpendicular a todo lo que el modelo puede explicar. Si no lo fuera, quedaría en el error una componente aprovechable, y el ajuste no sería óptimo.
50. Modelos no lineales linealizables
La idea de fondo del tema no es "trazar una recta" sino transformar los datos hasta que la relación se vuelva lineal, ajustar allí, y volver. Los mínimos cuadrados resuelven bien el problema lineal; cuando la relación no lo es, no se cambia de herramienta sino de escala.
El caso potencial
Con el cambio de variables , :
Se corre una regresión lineal común de contra y se deshace la transformación:
Obsérvese que el exponente se lee directamente como la pendiente, mientras que la constante requiere exponenciar.
Las transformaciones habituales
| Modelo | Transformación | Regresión lineal de… |
|---|---|---|
| Potencial | logaritmo en ambas | contra |
| Exponencial | logaritmo en | contra |
| Logarítmico | logaritmo en | contra |
| Hiperbólico | inversa en | contra |
Cómo se elige
Se ajustan varios modelos y se compara el : gana el que explique más. En la práctica conviene mirar primero el diagrama de dispersión, cuya forma sugiere la familia adecuada, probar las transformaciones plausibles y quedarse con el mejor ajuste.
Ejemplo. Cinco observaciones, comparando el modelo lineal contra el potencial:
| 3 | 2 | 5 | 4 | 2 | |
|---|---|---|---|---|---|
| 20 | 10 | 39 | 28 | 13 |
El modelo lineal ajustado es , con residuos
| 3 | 2 | 5 | 4 | 2 | |
|---|---|---|---|---|---|
| 20,21 | 11,24 | 38,15 | 29,18 | 11,24 | |
cuya suma es cero, como corresponde. Con :
El modelo potencial, ajustado sobre contra , da con en la escala transformada.
Comparando directamente, y gana el modelo lineal, que explica el 98,8% de la variabilidad.
Una sutileza sobre esa comparación. El de un modelo transformado mide el ajuste en la escala transformada: cuán bien se explica por , no cuán bien se explica por . Para comparar en igualdad de condiciones habría que volver a la escala original y recalcular. En este mismo ejemplo, el del modelo potencial medido sobre resulta , con lo que la comparación se invierte y el potencial pasaría a ganar. La diferencia es menor y no cambia la conclusión práctica —ambos modelos ajustan muy bien—, pero conviene saber que la comparación directa de entre escalas distintas tiene esa limitación.
Además del , vale examinar los residuos: si conservan un patrón sistemático —crecen con , o dibujan una curva—, el modelo elegido no es el adecuado por más alto que sea el coeficiente de determinación. Y en ningún caso conviene extrapolar fuera del rango de observado: la forma funcional se eligió por cómo describe los datos disponibles, y nada garantiza que siga valiendo afuera.
Apéndices
A. Distribuciones utilizadas en el curso
Discretas
| Distribución | ||||
|---|---|---|---|---|
| Bernoulli | , | |||
| Binomial | ||||
| Poisson | ||||
| Geométrica | , |
Continuas
| Distribución | ||||
|---|---|---|---|---|
| Uniforme | ||||
| Exponencial | ||||
| Normal | ||||
| Gamma | ||||
| () | () | no existe | ||
| () | ver §13 | no existe |
Relaciones entre ellas
B. Lectura de tablas
La convención. En todas las tablas del curso —, , , — el subíndice indica el área a la derecha:
De donde: el percentil 95 se busca con subíndice ; un valor de cola izquierda al se rotula con subíndice ; y a subíndice más chico corresponde un valor más grande de la variable.
Simetría. La y la son simétricas alrededor de cero, de modo que las tablas traen solo valores positivos y los negativos se obtienen espejando:
Asimetría. La y la no son simétricas, y por lo tanto en un test bilateral los dos valores críticos deben buscarse por separado; no son opuestos ni recíprocos entre sí.
Inversión en la . Como las tablas de traen solo la cola derecha, los valores menores que 1 se obtienen con
invirtiendo simultáneamente la probabilidad, los grados de libertad y la fracción (§30).
Algunos valores frecuentes.
| 90% | 95% | 98% | 99% | |
|---|---|---|---|---|
| (bilateral) | 1,645 | 1,960 | 2,326 | 2,576 |
| (unilateral) | 1,282 | 1,645 | 2,054 | 2,326 |
C. Símbolos
| Símbolo | Significado |
|---|---|
| parámetros poblacionales (fijos, desconocidos) | |
| estadísticos muestrales (aleatorios, calculables) | |
| estimador genérico de | |
| sesgo, | |
| / | tamaño de la muestra / de la población |
| nivel de significación; probabilidad de error de tipo I | |
| probabilidad de error de tipo II | |
| nivel de confianza | |
| potencia del test | |
| margen de error | |
| factor de corrección por población finita | |
| varianza ponderada (pooled) | |
| grados de libertad de Welch–Satterthwaite | |
| coeficiente de correlación | |
| coeficiente de determinación | |
| función de distribución acumulada de la | |
| función Gamma | |
| función de verosimilitud | |
| media del tratamiento (el punto reemplaza al índice sumado) | |
| sumas de cuadrados: total, de tratamientos, del error | |
| cuadrados medios de tratamientos y del error |