Mỗi năm một phương pháp luận: Xếp hạng có cho chúng ta biết được điều gì mới?

Ellen Hazelkorn và Andrew Gibson

Ellen Hazelkorn là cố vấn chính sách cho Vụ Giáo dục Đại học Ireland, là Giáo sư danh dự và Giám đốc Phòng Nghiên cứu Giáo dục Đại học (Higher Education Policy Research Unit – HEPRU), E-mail: ellen.hazelkorn@dit.ie. Andrew Gibson là trợ lý nghiên cứu cao cấp cao của HEPRU và đang làm luận văn tiến sĩ tại Trinity College Dublin, E-mail: Andrew.gibson@dit.ie.

Trước đây, khi thảo luận về xếp hạng đại học, người ta thường bắt đầu với câu hỏi: “bảng xếp hạng nào?”. Mặc dù thực tế có đến mười bảng xếp hạng đại học toàn cầu chính yếu, hầu hết sự chú ý tập trung vào ba bảng xếp hạng đại học là ARWU (Academic Rankings of World Universities), THE (Times Higher Education) và QS (Quacquarelli Symonds). Dù đã hỏi thế, ngay sau khi có câu trả lời người ta có thể vẫn hỏi: “Ừ, nhưng là xếp hạng nào?”. Đó là bởi trong ba bảng xếp hạng trên có tới 66 xếp hạng riêng biệt và xếp hạng con theo khu vực, theo khoa, theo lĩnh vực, theo chuyên ngành… Tất cả những điều này cho thấy rằng xếp hạng đại học không chỉ là thông tin có ý nghĩa, mà còn là lĩnh vực hoạt động quy mô lớn.

Theo truyền thống, trọng tâm của chính sách và sự chú ý của các phương tiện truyền thông được tạo lập trên niềm đam mê và xúc cảm với các biến động lên xuống tương đối của thứ hạng, thậm chí với các giá trị thay đổi không lớn theo tính toán thống kê. Ngay cả sinh viên cũng được tư vấn chọn trường dựa trên sự khác biệt không đáng kể này. Các thông tin mang tính nhạy cảm, giật gân này đã thúc đẩy gia tăng về số lượng và chủng loại của các bảng xếp hạng và đặc biệt thời gian công bố xếp hạng dường như trùng với thời điểm của các hội nghị, các sự kiện lớn.

Các tổ chức xếp hạng thường sẽ biện minh cho bất cứ ý định thay đổi có chủ ý nào. Chẳng hạn US News and World Report cho rằng thay đổi là một dấu hiệu của sự cải thiện, hoặc như THE nói, “thay đổi là để tốt hơn”. THE còn gắn thay đổi trong phương pháp luận xếp hạng với sự thay đổi về quan hệ đối tác, chẳng hạn khi chia tay với QS để hợp tác với Thomson Reuters và gần đây nhất là hợp tác với Scopus.

Các thay đổi gần đây trong phương pháp luận

Có hai dạng thay đổi trong phương pháp xếp hạng đại học. Có thể thay đổi về mặt cấu trúc như dịch chuyển trọng số, thay đổi các chỉ số cụ thể, chuẩn hóa các tiêu chí… với thay đổi vài điểm phần trăm ở đâu đó. Hoặc có thể là những thay đổi về nguồn dữ liệu. Tuy nhiên, tất cả điều này đang thể hiện sự tùy tiện của phương pháp luận và các số đo.

Về nguồn dữ liệu tham chiếu, năm 2015 THE đã thay đổi từ việc sử dụng dữ liệu trong Web of Science (WOS) sang sử dụng dữ liệu của Scopus. WOS chỉ bao gồm 12 ngàn tạp chí – so với 23 ngàn tạp chí của Scopus. Scopus được coi như phủ rộng hơn đến các lĩnh vực khoa học xã hội và nhân văn và do đó, một phạm vi rộng lớn hơn của hoạt động các trường đại học trong nhiều lĩnh vực và đối tượng sẽ được nắm bắt, hạn chế bớt tính thiên vị khoa học dựa theo trắc lượng thư mục.

Một thay đổi mang tính ảnh hưởng khác là quyết định của THE loại trừ các công trình của hơn 1000 tác giả với lý do là các bài báo này có thể tạo cho các trường một ưu thế vượt trội. Điều này chủ yếu liên quan đến các lĩnh vực như vật lý siêu hạt, ví dụ như các dự án của Tổ chức Nghiên cứu hạt nhân châu Âu (CERN). Không có được đầy đủ cơ sở dữ liệu trong tay, chúng tôi ước đoán rằng việc loại trừ những nghiên cứu này là nguyên nhân suy giảm thứ hạng của Đại học Bogazici (Thổ Nhĩ Kỳ) từ 139 trong năm 2014-2015 xuống 501-600 trong năm 2015-2016. Điều này đặt ra câu hỏi về việc tại sao các công trình nghiên cứu này giờ đây hoàn toàn không được công nhận và hệ thống thay thế nào có thể là giải pháp thích hợp mang tính hơn công bằng hơn.

Theo truyền thống, trọng tâm của chính sách và sự chú ý của các phương tiện truyền thông được tạo lập trên niềm đam mê và xúc cảm với các biến  động lên xuống tương đối của thứ hạng, thậm chí với các giá trị thay đổi không lớn theo tính toán thống kê.

Trong năm 2015, QS đã thay đổi phương pháp xếp hạng theo cách “tinh lọc”. Điều chỉnh này liên quan đến cách thức tính toán số lượng các công trình công bố. Thay vì chia số lượng công trình cho số cán bộ nghiên cứu, QS nghĩ ra một mô hình chuẩn hóa theo chuyên ngành. Điều này tạo điều kiện cho các ngành nghệ thuật, khoa học xã hội nhân văn,kỹ thuật công nghệ tăng chỉ số nghiên cứu lên gần ngang bằng với các ngành y và khoa học tự nhiên. Điều này cũng có nghĩa là một số trường đại học – ví dụ như có đào tạo ngành y (trong đó có xu hướng trở nên già dặn hơn với một danh tiếng nghiên cứu lâu năm hơn) – sẽ không còn ưu thế và các trường mới có thế mạnh trong các lĩnh vực khác có thể tăng điểm nghiên cứu lên. Cùng một động thái giống như THE, QS cũng được loại trừ công bố của hơn 10 tổ chức liên kết.

Ngược lại với THE và QS, phương pháp luận của ARWU khá ổn định. Theo đó, những biến động lớn bị xem như là không bình thường và danh sách các trường đại học hàng đầu hầu như giữ nguyên qua các năm. Một thay đổi ARWU đã thực hiện trong năm 2014 và 2015 có liên quan đến hệ số trích dẫn cao (theo số liệu thu thập của Thomson Reuters) do các cán bộ nghiên cứu làm việc nhiều nơi theo cơ chế liên kết. Từ năm 2003, ARWU sử dụng danh sách 6000 nhà nghiên cứu được trích dẫn cao, nhưng thay đổi vào năm 2014 và 2015 đã giới hạn trong một danh sách ngắn hơn với 3000 nhà nghiên cứu. Điều này dẫn đến một số thay đổi nhỏ về điểm số nhưng không có ảnh hưởng lớn.

Bảng xếp hạng Round University Ranking (RUR) của Nga sử dụng dữ liệu do Thomson Reuters cung cấp. Hoạt động nghiên cứu và hoạt động giảng dạy được tính theo trọng số 40%, còn các thuộc tính “đa dạng hóa hoạt động quốc tế” và “bền vững tài chính” có trọng số 10%. Một điểmthú vị về phương pháp luận của bảng xếp hạng này – nếu không có thay đổi mang tính đột phá – là đều tính được điểm của từng trường đại học theo tất cả các chỉ số. Điều này có thể làm cho RUS là lựa chọn thú vị trong một thị trường xếp hạng khá đông đúc.

Những thay đổi này cho ta biết điều gì mới?

Có nhiều bằng chứng cho thấy đã có trường đại học tìm cách chế biến – hoặc nói lịch sự hơn là tìm cách ảnh hưởng đến dữ liệu của họ. Do số lượng giảng viên là mẫu số chính cho các chỉ số về thu nhập từ hoạt động nghiên cứu, số nghiên cứu sinh, các công trình công bố, tỷ lệ giảng viên-sinh viên, v.v…, các tổ chức xếp hạng đã có những nỗ lực nhất quán để phân loại giảng viên theo hợp đồng và tình trạng việc làm. Có những nỗ lực nhằm làm sạch bất kỳ hoạt động gán danh nào liên quan đến tổ chức liên kết. Cũng có những bằng chứng xác đáng xung quanh nỗ lực của các trường đại học nhằm đề cao tiêu chí lựa chọn sinh viên đầu vào – tiêu chí quan trọng ảnh hưởng đến việc sinh viên hoàn tất chương trình học, đến việc làm và mức lương sinh viên khi ra trường. Mặc dù các thông tin này khá giật gân, nhưng chỉ ở thiểu số các trường trong hệ thống 18 ngàn tổ chức giáo dục đại học trên toàn thế giới.

Mặc dù có những thay đổi trong phương pháp xếp hạng, nhưng nói chung chúng ta không biết được gì hơn so với những gì đã biết trước đây. Các trường đại học thay đổi quá chậm, nên rất khó để hiểu được làm thế nào mức độ thay đổi trong bức tranh xếp hạng hàng năm có thể được gắn kết một cách thực sự cho trường mình. Trớ trêu thay, vấn đề thay đổi định tính này có nguy cơ làm lu mờ vấn đề ngược lại: đó là sự thống nhất tương đối của bảng xếp hạng. Mặc dù sự xuất hiện việc xếp hạng đại học mang tính phong trào, nhưng các bảng xếp hạng cần  có sự nhất quán tương đối. Các trường có thể xuất hiện trong các bảng xếp hạng ở các thứ tự hơi khác nhau, nhưng về cơ bản cùng một nhóm trường đều xuất hiện tại các vị trí đầu trong tất cả các bảng xếp hạng. Điều này không có gì đáng ngạc nhiên vì các bảng xếp hạng thực chất đo cùng-một-thứ- sai.

Bản chất “hộp đen” kiên cố của các bảng xếp hạng đại học phụ thuộc vào việc chính phủ, sinh viên và công chúng đang không hiểu hoặc không đặt câu hỏi về cái gì ở bên trong các bảng xếp hạng này. ■