Fiabilidad y validez de una encuesta

Fiabilidad significa que los resultados que está recibiendo son consistentes, es decir que obtendrá los mismos resultados si la investigación se repite en diferentes ocasiones, con diferentes entrevistadores, con diferentes métodos de investigación, etc. Por ejemplo, cuando analizo datos sobre la satisfacción del cliente a bordo del tren, separo los datos de “situaciones excepcionales”, por ejemplo, cuando hay retrasos, o huelgas, ya que las emociones están sesgando las respuestas relativas a la satisfacción y los resultados no serán consistentes en diferentes circunstancias. La fiabilidad se puede comprobar de diferentes maneras, por ejemplo, repitiendo la prueba utilizando el mismo método o un método diferente, o buscando consistencia interna (comprobar si las preguntas que apoyan el mismo argumento son consistentes a lo largo de la investigación; por ejemplo, si e individuo dijo que el precio es importante en la selección del medio de transporte, pero luego dice que no elegirá un competidor si sube el precio, esto es potencialmente inconsistente).

La validez se refiere a la capacidad de medir lo correcto, dicho de otra forma, cómo la pregunta de una encuesta es capaz de medir lo que tiene que medir. Por ejemplo, si le preguntas a la gente cuánto pagarían por tu producto, esto puede no reflejar con precisión el precio real que pagarían cuando están en una tienda (pueden mentir para influir en el precio real, es posible que no conozcan el precio de los productos de la competencia, etc.). Para mejorar la validez, puedes comenzar utilizando un juicio subjetivo como el ejemplo anterior. También puedes usar una pregunta para medir algo que sabes con certeza y, si lo mide con precisión, puedes usar la misma pregunta para algo que no sabes. En pocas palabras, puedes preguntar a la gente si comprarían tu producto frente a los productos de la competencia a su precio actual y comprobar si refleja la cuota de mercado conocida (si lo sabes). Si funciona, se puede preguntar acerca de otros precios hipotéticos.

Además, para analizar bien los resultados tienes que estar consciente de los errores y sesgos que pueda haber.

En primer lugar, como hemos visto antes tenemos un error muestral, que siempre estará allí y que es importante tener en cuenta a la hora de mostrar los resultados. Además, tenemos posibles errores debido a la validez y fiabilidad de los datos.

En segundo lugar, hay sesgos relacionados directamente con las respuestas de las personas:

• Sesgos deliberados: las personas no están siendo precisas deliberadamente debido a las circunstancias (presión de tiempo, preguntas poco sensatas, etc.), para mejorar su estatus social (información exagerada, por ejemplo, sobre el empleo, la educación, los éxitos, etc. y la subestimación de información que son perjudiciales para su condición social), o para tratar de influir en los resultados (sin promoción no comprarían el producto).
• Sesgos involuntarios:
  • Algunas personas tienden a tener un enfoque específico a las preguntas, por ejemplo, a estar de acuerdo con todo.
  • A veces la gente ignora los acontecimientos u otras informaciones relevantes.
  • A veces las personas no tienen una respuesta o una opinión sobre lo que estás pidiendo (es una buena práctica incluir una opción de respuesta “no sé”).
  • A veces el problema proviene de la pregunta en sí, por ejemplo si el encuestado no la entiende correctamente por diferentes razones, o el orden de las respuestas genera un sesgo de selección (los primeros elementos de la lista suelen tener más respuestas).

Recuerda que la intención declarada de hacer algo puede ser muy diferente de la decisión tomada en la vida real. Por ejemplo, supongamos que estás presentando diferentes bebidas (la tuya y las de sus competidores) y pides a la gente que elija la mejor opción. Sin embargo, en realidad, cuando están en el supermercado los ven en realidad, donde el paquete, la posición en los estantes, la disponibilidad, el comportamiento de otros clientes, etc. pueden influir en la decisión.

Recuerda, en fin, que las personas que vas a entrevistar no siempre saben lo que quieren, como dijo Henry Ford “Si hubiera preguntado a la gente que quería, me habrían dicho que un caballo más rápido”.