Tính hợp lệ bên ngoài (External validity) đề cập đến mức độ mà kết quả của một nghiên cứu có thể được khái quát hóa vượt ra ngoài bối cảnh cụ thể của nghiên cứu sang các quần thể, bối cảnh, thời gian và biến số khác.
Thí nghiệm nhà tù Stanford bị chỉ trích vì thiếu tính hợp lệ bên ngoài trong nỗ lực mô phỏng môi trường nhà tù thực sự.
Cụ thể hơn, “nhà tù” này chỉ là một cơ sở được thiết lập ở tầng hầm khoa tâm lý của Đại học Stanford.
Những “người canh gác” là sinh viên thiếu đào tạo chuyên nghiệp và thời gian thử nghiệm cũng ngắn hơn nhiều so với bản án tù thực sự.
Hơn nữa, những người tham gia là sinh viên đại học, không phản ánh sự đa dạng về hoàn cảnh thường thấy ở các nhà tù thực tế về mặt dân tộc, trình độ học vấn và địa vị kinh tế xã hội.
Không ai từng ngồi tù và họ được chọn vì có tinh thần ổn định và ít có xu hướng chống đối xã hội.
Ngoài ra, nhà tù giả còn thiếu không gian để tập thể dục hoặc hoạt động phục hồi chức năng.
Các loại hợp lệ bên ngoài (External validity)
Tính hợp lệ của quần thể nghiên cứu (Population validity)
Tính hợp lệ của quần thể là một khía cạnh quan trọng của tính hợp lệ bên ngoài, đề cập đến mức độ mà các phát hiện nghiên cứu có thể được khái quát hóa vượt ra ngoài bối cảnh nghiên cứu cụ thể.
Tính hợp lệ của quần thể đề cập cụ thể đến khả năng mở rộng các phát hiện của một nghiên cứu sang các quần thể hoặc nhóm người khác ngoài mẫu được nghiên cứu.
Một số yếu tố có thể tác động đến tính hợp lệ của quần thể và cần được cân nhắc cẩn thận trong quá trình thiết kế và diễn giải nghiên cứu:
- Phương pháp lấy mẫu: Cách chọn mẫu đóng vai trò quan trọng trong tính hợp lệ của quần thể. Nếu mẫu không đại diện cho quần thể mục tiêu, kết quả có thể không mang tính khái quát.
- Ví dụ, một nghiên cứu sử dụng mẫu thuận tiện là sinh viên đại học có thể không phản ánh chính xác ý kiến hoặc hành vi của dân số người lớn nói chung.
- Kích thước mẫu: Kích thước mẫu cũng ảnh hưởng đến khả năng khái quát hóa của các phát hiện. Các mẫu lớn hơn, đa dạng hơn có xu hướng cung cấp kết quả đáng tin cậy và khái quát hóa hơn so với các mẫu nhỏ hơn, đồng nhất hơn.
- Đặc điểm của mẫu: Các đặc điểm cụ thể của mẫu, chẳng hạn như tuổi tác, giới tính, dân tộc, tình trạng kinh tế xã hội và nền tảng văn hóa, có thể ảnh hưởng đến khả năng khái quát hóa của các phát hiện.
Tính hợp lệ sinh thái (Ecological validity)
Tính hợp lệ sinh thái liên quan đến khả năng khái quát hóa các phát hiện vào bối cảnh hoặc môi trường thực tế.
Nó giải quyết câu hỏi liệu các kết quả thu được trong bối cảnh nghiên cứu có kiểm soát có thể được áp dụng có ý nghĩa vào môi trường tự nhiên nơi hiện tượng quan tâm xảy ra hay không.
Tính hợp lệ sinh thái đặc biệt quan trọng trong các lĩnh vực nghiên cứu ứng dụng như tâm lý học lâm sàng, giáo dục và hành vi tổ chức.
Mục đích là đảm bảo rằng các biện pháp can thiệp và công cụ đánh giá được phát triển trong bối cảnh nghiên cứu có hiệu quả và có ý nghĩa trong bối cảnh thực tế
Sự giống nhau hời hợt giữa một nghiên cứu với tình huống thực tế không đảm bảo rằng những phát hiện sẽ đúng trong bối cảnh đó.
Ví dụ, sử dụng sự kiện ghi hình so với sự kiện trực tiếp trong nghiên cứu trí nhớ của nhân chứng.
Kết quả từ một nghiên cứu sử dụng các sự kiện trực tiếp có thể có giá trị sinh thái hơn đối với các tình huống thực tế liên quan đến các sự kiện trực tiếp, trong khi các nghiên cứu với các sự kiện được ghi hình có thể có liên quan hơn đối với các tình huống như trí nhớ của nhân viên bảo vệ về các sự kiện được quan sát trên màn hình an ninh.
Các nhà nghiên cứu nên nêu rõ các giả định về điểm tương đồng và khác biệt giữa hai bối cảnh để biện minh cho việc áp dụng các phát hiện nghiên cứu.
Cơ sở để đánh giá tính ứng dụng của kết quả nghiên cứu vào bối cảnh thực tế bao gồm sự chồng lấn giữa các khía cạnh nhận thức, cảm xúc và thể chất của nghiên cứu và trường hợp thực tế.
Các mối đe dọa đối với tính hợp lệ sinh thái có thể phát sinh từ tính nhân tạo của bối cảnh nghiên cứu hoặc sự tương tác giữa can thiệp và bối cảnh.
Nguy cơ của hợp lệ sinh thái
Tính nhân tạo của bối cảnh nghiên cứu
- Môi trường phòng thí nghiệm: Nghiên cứu được tiến hành trong môi trường phòng thí nghiệm được kiểm soát thường ưu tiên tính hợp lệ nội bộ (kiểm soát các biến bên ngoài) hơn tính hợp lệ sinh thái. Điều này có thể tạo ra các điều kiện nhân tạo không phản ánh được sự phức tạp và sắc thái của môi trường thực tế.
- Ví dụ, nghiên cứu hành vi con người trong phòng thí nghiệm vô trùng có thể không nắm bắt chính xác cách mọi người cư xử trong bối cảnh xã hội tự nhiên của họ.
- Phản ứng của người tham gia: Khi mọi người nhận thức được rằng họ đang bị quan sát, họ có thể thay đổi hành vi của mình, dẫn đến những phản ứng không đại diện cho hành động điển hình của họ trong các tình huống thực tế. Hiện tượng này, được gọi là phản ứng của người tham gia hoặc hiệu ứng Hawthorne, gây ra mối đe dọa đáng kể đến tính hợp lệ sinh thái.
- Nhiệm vụ và kích thích đơn giản hóa: Các nhà nghiên cứu thường sử dụng các nhiệm vụ và kích thích đơn giản hóa trong bối cảnh phòng thí nghiệm để cô lập các biến số cụ thể và kiểm soát các yếu tố gây nhiễu. Tuy nhiên, sự đơn giản hóa này có thể làm giảm tính hợp lệ sinh thái của các phát hiện.
- Ví dụ, việc sử dụng danh sách từ để nghiên cứu trí nhớ có thể không phản ánh chính xác cách mọi người ghi nhớ thông tin trong cuộc sống hàng ngày, khi ký ức thường được lồng ghép trong bối cảnh phong phú và gắn liền với cảm xúc và trải nghiệm.
Thiếu sự chú ý đến các yếu tố bối cảnh
- Bỏ qua các ảnh hưởng của môi trường: Tính hợp lệ sinh thái bị ảnh hưởng khi thiết kế nghiên cứu không tính đến tác động của các yếu tố môi trường đến hiện tượng đang được nghiên cứu.
- Ví dụ, một nghiên cứu về hiệu suất công việc được tiến hành trong một văn phòng yên tĩnh, có điều hòa nhiệt độ có thể không phản ánh chính xác những thách thức khi làm việc trong môi trường mở, ồn ào.
- Bỏ qua sự khác biệt về văn hóa: Các chuẩn mực, giá trị và niềm tin văn hóa có thể ảnh hưởng đáng kể đến hành vi. Các nghiên cứu không xem xét các biến thể văn hóa có thể đưa ra những phát hiện không thể khái quát hóa trên các nền văn hóa khác nhau.
- Bỏ qua bản chất động của hành vi: Hành vi của con người là động và thay đổi theo thời gian và để phản ứng với nhiều yếu tố bên trong và bên ngoài. Các thiết kế nghiên cứu tĩnh không nắm bắt được tính động này có thể thiếu giá trị sinh thái.
- Ví dụ, đánh giá một lần về mức độ hài lòng của nhân viên có thể không cung cấp bức tranh toàn cảnh về mức độ hài lòng thay đổi theo thời gian để ứng phó với những thay đổi tại nơi làm việc, nhu cầu công việc và hoàn cảnh cá nhân.
Sự không phù hợp giữa mục tiêu nghiên cứu và bối cảnh ứng dụng
- Kiểm tra các cấu trúc trừu tượng so với các vấn đề thực tế: Nghiên cứu thường tập trung vào việc kiểm tra các cấu trúc lý thuyết trừu tượng, có thể không tương ứng trực tiếp với các vấn đề hoặc thách thức cụ thể gặp phải trong bối cảnh thực tế.
- Ví dụ, một nghiên cứu điều tra các quá trình nhận thức liên quan đến việc ra quyết định có thể không đưa ra hướng dẫn rõ ràng về cách cải thiện việc ra quyết định trong các tình huống phức tạp trong đời thực, trong đó các yếu tố cảm xúc và áp lực xã hội cũng đóng vai trò nhất định.
- Nhấn mạnh vào tính hợp lệ nội tại mà bỏ qua tính hợp lệ bên ngoài: Việc kiểm soát chặt chẽ các biến số cần thiết cho tính hợp lệ nội tại đôi khi có thể tạo ra các điều kiện quá nhân tạo khiến cho các phát hiện có tính hợp lệ sinh thái hạn chế.
- Mặc dù việc thiết lập mối quan hệ nhân quả giữa các biến là rất quan trọng, các nhà nghiên cứu nên cố gắng đạt được sự cân bằng giữa tính hợp lệ bên trong và bên ngoài để tăng cường khả năng áp dụng công trình của họ.
- Thiếu liên quan đến các bên liên quan: Nghiên cứu không được các bên liên quan, chẳng hạn như các học viên, nhà hoạch định chính sách hoặc thành viên cộng đồng coi là không liên quan hoặc không hữu ích, thì ít có khả năng được triển khai trong bối cảnh thực tế, bất kể tính hợp lệ sinh thái của nó.
- Các nhà nghiên cứu nên hợp tác với các bên liên quan trong suốt quá trình nghiên cứu để đảm bảo rằng các câu hỏi được giải quyết, các phương pháp được sử dụng và các phát hiện được đưa ra phù hợp với nhu cầu và ưu tiên của những người cuối cùng sẽ sử dụng kết quả nghiên cứu.
Nguy cơ của hợp lệ quần thể
Các vấn đề về lấy mẫu
- Sai lệch mẫu: Sử dụng các mẫu không đại diện cho quần thể mục tiêu có thể hạn chế nghiêm trọng khả năng khái quát hóa của các phát hiện.
- Nếu một nghiên cứu về hiệu quả của liệu pháp mới chỉ tuyển dụng những người tham gia có động lực cao và có phương tiện đi lại thuận tiện thì kết quả có thể không khái quát được cho nhóm dân số rộng hơn bao gồm những cá nhân có động lực thấp hơn hoặc khả năng tiếp cận dịch vụ chăm sóc hạn chế.
- Một nghiên cứu về hiệu quả của chương trình giảm cân có thể có sự thiên vị trong lựa chọn nếu những người tham gia chủ yếu là những cá nhân có động lực cao với hệ thống hỗ trợ xã hội mạnh mẽ
- Mẫu đồng nhất: Các nghiên cứu với mẫu đồng nhất, thiếu sự đa dạng về độ tuổi, giới tính, dân tộc, tình trạng kinh tế xã hội và các đặc điểm liên quan khác, gặp phải thách thức trong việc khái quát hóa các phát hiện cho các quần thể không đồng nhất hơn.
Sự hao mòn
Sự hao hụt cũng được gọi là tình trạng bỏ cuộc của người tham gia, sự hao hụt, đặc biệt là khi khác biệt giữa các nhóm, có thể đe dọa cả tính hợp lệ bên trong và bên ngoài.
Khi một số loại cá nhân có khả năng bỏ cuộc khỏi nghiên cứu cao hơn, mẫu còn lại có thể không còn đại diện cho quần thể ban đầu, khiến cho việc khái quát hóa các phát hiện trở nên khó khăn.
Ví dụ, trong một nghiên cứu về hiệu quả của một chương trình trị liệu đòi hỏi nhiều nỗ lực, những cá nhân ít động lực hơn có thể bỏ cuộc với tỷ lệ cao hơn, dẫn đến việc đánh giá quá cao hiệu quả của chương trình đối với dân số nói chung.
Hiệu ứng tương tác của sự lựa chọn
Ngay cả khi quá trình lựa chọn và tỷ lệ tử vong được kiểm soát để đảm bảo tính hợp lệ nội bộ, các yếu tố này vẫn có thể ảnh hưởng đến tính đại diện.
Những tác động thu được có thể chỉ phù hợp với một nhóm dân số thử nghiệm cụ thể và không đúng với các nhóm khác.
Ví dụ, một biện pháp can thiệp giáo dục có hiệu quả đối với học sinh ở một trường ngoại ô có thể không hiệu quả đối với học sinh ở một trường thành thị thiếu nguồn lực do sự khác biệt về dân số học sinh và môi trường học tập.
Làm thế nào để cải thiện tính hợp lệ bên ngoài?
Các nhà nghiên cứu có thể sử dụng một số chiến lược để cải thiện tính hợp lệ bên ngoài:
- Sử dụng mẫu đại diện: Tuyển dụng những người tham gia có đặc điểm liên quan giống với dân số quan tâm. Các kỹ thuật lấy mẫu xác suất, chẳng hạn như lấy mẫu ngẫu nhiên hoặc lấy mẫu ngẫu nhiên phân tầng, có thể giúp đảm bảo rằng mẫu có tính đại diện.
- Sử dụng mẫu lớn và đa dạng: Mẫu lớn với nhiều đặc điểm khác nhau có nhiều khả năng đại diện cho quần thể mục tiêu và giảm lỗi lấy mẫu.
- Cân nhắc cẩn thận các tiêu chí bao gồm/loại trừ: Đảm bảo rằng các tiêu chí này không vô tình đưa ra sự thiên vị hoặc loại trừ các phân khúc đáng kể của nhóm dân số mục tiêu
- Tiến hành nghiên cứu trong bối cảnh tự nhiên: Bất cứ khi nào có thể, hãy tiến hành nghiên cứu trong bối cảnh tương tự như môi trường thực tế nơi mà các phát hiện dự kiến sẽ được áp dụng.
- Giảm thiểu tình trạng mất học viên: Áp dụng các chiến lược để giữ chân người tham gia, chẳng hạn như cung cấp các ưu đãi, duy trì liên lạc thường xuyên và tạo điều kiện thuận lợi nhất có thể để tham gia nghiên cứu
- Lặp lại nghiên cứu với các mẫu và bối cảnh khác nhau: Lặp lại nghiên cứu với những người tham gia khác nhau và trong các bối cảnh khác nhau có thể cung cấp bằng chứng về tính tổng quát của các phát hiện.
- Sử dụng nhiều biện pháp: Đo các biến quan tâm theo nhiều cách khác nhau để giảm ảnh hưởng của lỗi đo lường và phương sai phương pháp.
Tính hợp lệ bên ngoài liên quan thế nào đến tính hợp lệ bên trong?
Mối quan hệ giữa tính hợp lệ bên trong và bên ngoài có thể được hiểu thông qua sự tương tác giữa lấy mẫu và suy luận nhân quả.
Tính hợp lệ nội tại tập trung vào độ chính xác của các suy luận nhân quả trong mẫu, trong khi tính hợp lệ bên ngoài liên quan đến khả năng khái quát hóa các suy luận đó đối với quần thể quan tâm.
Mặc dù cả hai đều quan trọng, tính hợp lệ nội tại thường được coi là điều kiện tiên quyết cho tính hợp lệ bên ngoài.
Nếu một nghiên cứu thiếu tính hợp lệ nội tại, nghĩa là có những lời giải thích thay thế cho kết quả ngoài sự thao túng có chủ đích, thì không thể khái quát hóa một cách chắc chắn những phát hiện đó sang các tình huống khác.
Điều quan trọng là phải thừa nhận rằng việc tối đa hóa giá trị bên ngoài không phải lúc nào cũng khả thi hoặc cần thiết.
Một số nghiên cứu được thiết kế có chủ đích để kiểm tra các giả thuyết cụ thể trong môi trường phòng thí nghiệm được kiểm soát chặt chẽ.
Những nghiên cứu này có thể không nhằm mục đích khái quát hóa trực tiếp vào các tình huống thực tế. Tuy nhiên, ngay cả những nghiên cứu có giá trị bên ngoài hạn chế cũng có thể có giá trị trong việc thúc đẩy sự hiểu biết về mặt lý thuyết và cung cấp thông tin cho các nghiên cứu trong tương lai có thể khám phá khả năng khái quát hóa.
Tính hợp lệ bên ngoài áp dụng như thế nào cho nghiên cứu định tính?
Trong khi khái niệm về giá trị bên ngoài bắt nguồn từ nghiên cứu định lượng, nó cũng có liên quan đến các nghiên cứu định tính.
Trong nghiên cứu định tính, trọng tâm thường chuyển từ khả năng khái quát hóa thống kê sang khả năng chuyển giao các phát hiện.
Khả năng chuyển giao đề cập đến mức độ mà những hiểu biết và chủ đề thu được từ một nghiên cứu định tính có thể được áp dụng cho các bối cảnh hoặc nhóm dân số khác.
Các nhà nghiên cứu định tính có thể tăng cường khả năng chuyển giao bằng cách:
- Cung cấp mô tả chi tiết, phong phú về bối cảnh nghiên cứu, người tham gia và phương pháp thu thập dữ liệu. Điều này cho phép người đọc đánh giá mức độ liên quan tiềm ẩn của các phát hiện với tình huống của riêng họ.
- Thu hút người tham gia vào việc xem xét và xác nhận các phát hiện. Điều này có thể giúp đảm bảo rằng các diễn giải phù hợp với trải nghiệm sống của người tham gia.
- Thảo luận rõ ràng về những hạn chế của nghiên cứu và ranh giới tiềm năng của khả năng chuyển giao.
- Tập trung vào khả năng khái quát hóa lý thuyết hơn là khả năng khái quát hóa thống kê. Điều này liên quan đến việc phát triển các giải thích lý thuyết có thể áp dụng cho các bối cảnh khác, ngay cả khi các phát hiện cụ thể không thể sao chép trực tiếp.
Độ tin cậy khách quan và External Validity
Độ tin cậy khách quan và External Validity là hai khái niệm quan trọng trong nghiên cứu khoa học, mặc dù chúng tập trung vào các khía cạnh khác nhau nhưng lại bổ sung cho nhau để đảm bảo chất lượng và độ tin cậy của kết quả nghiên cứu.
Độ tin cậy khách quan: sự đồng thuận và tái lập
- Định nghĩa: Độ tin cậy khách quan chỉ mức độ mà một kết quả nghiên cứu có thể được các nhà nghiên cứu khác tái tạo lại trong các điều kiện tương tự. Nói cách khác, nếu nhiều nhà nghiên cứu thực hiện cùng một nghiên cứu, họ sẽ thu được kết quả tương tự.
- Ý nghĩa: Độ tin cậy khách quan đảm bảo rằng kết quả nghiên cứu không phải là do tình cờ hoặc sai số ngẫu nhiên mà phản ánh một hiện tượng thực tế.
External Validity: Khả năng tổng quát hóa
- Định nghĩa: External Validity đề cập đến mức độ mà kết quả nghiên cứu có thể được áp dụng vào các tình huống, đối tượng và bối cảnh khác ngoài điều kiện cụ thể của nghiên cứu.
- Ý nghĩa: External Validity cho biết kết quả nghiên cứu có ý nghĩa thực tiễn hay không, có thể được áp dụng vào đời sống thực tế hay không.
Mối quan hệ giữa hai khái niệm
- Bổ sung cho nhau:
- Độ tin cậy khách quan đảm bảo rằng kết quả nghiên cứu là chính xác và đáng tin cậy.
- External Validity đảm bảo rằng kết quả nghiên cứu có thể được áp dụng vào thực tế.
- Cả hai yếu tố này đều cần thiết để một nghiên cứu được coi là có chất lượng cao.
- Tương tác:
- Một nghiên cứu có độ tin cậy khách quan cao nhưng lại thiếu External Validity thì chỉ có giá trị trong phạm vi nghiên cứu đó.
- Ngược lại, một nghiên cứu có External Validity cao nhưng lại thiếu độ tin cậy khách quan thì kết quả có thể không đáng tin cậy.
Ví dụ
- Nghiên cứu về hiệu quả của một loại thuốc mới:
- Độ tin cậy khách quan: Các nhà nghiên cứu khác có thể thực hiện lại thử nghiệm lâm sàng và thu được kết quả tương tự về hiệu quả của thuốc.
- External Validity: Kết quả nghiên cứu có thể áp dụng được cho các bệnh nhân khác nhau, các chủng loại bệnh khác nhau và các điều kiện lâm sàng khác nhau.
Kết luận
Tính hợp lệ bên ngoài là một khái niệm cốt lõi trong nghiên cứu khoa học, giúp chúng ta đánh giá mức độ tin cậy và ứng dụng của các phát hiện nghiên cứu. Mặc dù không thể đạt được tính hợp lệ bên ngoài hoàn hảo, nhưng bằng cách hiểu rõ các yếu tố ảnh hưởng đến nó và áp dụng các chiến lược thích hợp, các nhà nghiên cứu có thể tăng cường đáng kể khả năng khái quát hóa kết quả nghiên cứu.
Việc cân nhắc cả tính hợp lệ bên trong và bên ngoài là rất quan trọng để đảm bảo rằng các nghiên cứu không chỉ cung cấp những hiểu biết sâu sắc về các hiện tượng mà còn có thể đóng góp vào việc giải quyết các vấn đề thực tế trong xã hội.
