国际学生能力评估计划

(重定向自国际学生评估项目

Programme for International Student Assessment(英语)[1]Programme international pour le suivi des acquis des élèves(法语)[2]缩写PISA,译作跨国评估学生能力计划国际学生能力评量计划国际学生评估计划等,是由经济合作暨发展组织创建的计划,旨在测试各国15岁学生在数学、阅读和科学等方面的技能和知识。[1] 该评估计划于2000年首次举行,之后每三年举办一次;其目的是提供可比较数据,以期能帮助各国改善其教育政策和成果。该评估计划衡量问题解决能力和认知能力。[3]

国际学生能力评估计划
Programme for International Student Assessment
简称PISA
成立时间1997年
总部OECD总部
地址
服务地区世界
会员
59个政府教育部门
幼儿教育和学校行政科主管
麦可·戴维森
机关刊物
PISA理事会(主席-洛娜·贝特朗,英格兰)
上级组织
OECD
目标世界各地的教育程度比较
网站PISA

2022年,有81个​​国家和经济体参加评估计划,重点在于数学方面。[1]

2024年,该计划的有关当局宣称将发布有关学生财务知识素养(英语:financial literacy)、创造性思维(英语:creative thinking)和终身学习准备(英语:readiness for life-long learning)的有关评估结果。[1]

影响

编辑

PISA和类似的国际教育程度标准越来越多地用于国家和国际层面上的教育决策中。[4]

PISA旨在通过一个普遍而国际认可的框架进行定期评估,在更加广泛的背景下确定国家所提供的教育制度的绩效。他们可以通过调查学生学习和其他因素的关系“提供国家内部和国家之间表现差异的深入见解”。[5]

直到20世纪90年代,很少有欧洲国家使用国家测试。20世纪90年代,十个国家/地区实行了标准化评估,自2000年代初以来,十个国家紧随其后。到2009,只有五个欧洲教育系统没有国家学生评估。[4]

这些国际标准化评估在教育政策领域的影响重大。它们在新知识的创造评估政策的变化以及对国家教育政策的外部影响的拓宽也起到了重要作用。

新认知的创造

编辑

评估的数据可以用于研究教育系统内部或跨教育系统的因果因素。[4]Mons指出,大规模国际评估产生的数据库使人们能够以前所未有的规模对教育系统进行盘点和比较,涉及的主题从学习数学和阅读的条件,到机构自主权和招生政策。[6]他们允许开发可用于教育绩效指标比较统计分析的类型学,从而确定不同政策选择的后果。PISA产生了关于教育的新认知:PISA的发现挑战了根深蒂固的教育实践,比如在学生早期时分班培养以确定他们以后的职业或学术途径。[7]

Barroso和de Carvalho发现PISA提供了一个共同的参考,将教育领域的学术研究与公共政策的政治领域联系起来,充当了教育和公共政策领域不同领域知识之间的中介。[8]然而,尽管从比较评估的主要结果是在研究界的,他们创造的知识不一定符合政府的改革议程[4];这会导致一些不恰当的使用评价数据。

国家评估政策的变化

编辑

新的研究表明,国际标准化评估正在影响国家评估政策和做法。PISA是被整合在国家政策和实践的评估,评价,课程标准和业绩目标;评估框架和工具作为最佳实践模式,提高国民的评估;许多国家已明确纳入和强调PISA在修订的国家标准和课程的能力;别人用PISA补充国家数据和验证数据国家对国际基准。[7]

国家教育政策的外部影响

编辑

更重要的是,它对各国学生评价政策的影响,是PISA影响各国教育政策选择的方式范围。

在大多数的参与国家的政策制定者看到PISA作为系统性能的重要指标;PISA报告可以定义政策问题和国家政策辩论的议程;政策制定者似乎接受了PISA作为一个有效的和可靠的国际基准系统的性能和随时间变化的仪器;大多数国家,不论他们是否在进行以上,或低于平均分数已开始在PISA响应PISA报道政策改革。[7]

对此,应当指出,对国家教育制度的影响各不相同。例如,在德国的第一个PISA,评估的结果导致了所谓的“PISA冲击”:对以前接受的教育政策;在一个国家的守护区域政策差异明显,这最终导致了所有中国协议在介绍常见的国家标准甚至是一个制度化的结构来保证他们观察。[9]相比之下,在匈牙利,与德国有着相似的条件,PISA的结果并没有导致教育政策的重大变化。[10]

因为许多国家已经建立的基础上的相对或绝对的PISA成绩排名全国绩效目标,PISA评估的增加他们的影响(非民选)调试身体,经合组织,作为一个国际教育监测与政策的演员,这意味着一个重要程度的政策转移”从国际到全国水平;PISA特别是“一个有影响力的规范性影响的方向国家教育政策”。因此,有人认为,国际标准化的评估的使用导致了走向国际的转变,国家系统性能外部问责;Rey认为,PISA调查,描绘为目的,教育系统的第三方诊断,实际上有助于促进对教育问题的具体方向。

国家政策行动者指出色的PISA国家“帮助合法化和证明拟改革议程内有争议的国家政策辩论”[11]。PISA的数据可以被用来“为长期存在的冲突或不同政策选择之间的竞争提供燃料,例如在法国的比利时社区”[12]。在这种情况下,PISA的评估数据有选择地使用:在公共场合,政府通常只使用PISA调查的表面特征,如国家排名,而不是更详细的分析。Rey(2010:145,援引格雷格,2008)指出,PISA评估实际结果往往忽略作为决策者选择参考数据以合法化等原因,政策介绍。[13]

此外,PISA的国际比较可以被用来证明,数据本身没有任何联系的改革;在葡萄牙,例如,PISA数据被用来证明教师评价新的安排(根据推论没有被评估和数据本身证明);他们也给政府论学生重复一年的问题,(其中,根据研究,不能提高学生的成绩)[14]。在芬兰,部长们利用国家的PISA成果(在其他国家被认为是优秀的)促进对天才学生的新政策。这样的使用和解释常常假设的因果关系,不能合法地将基于PISA的数据通常需要更深入的研究和调查,通过定性的纵向调查基于定量和定性的方法,政客们往往不愿意基金。

近几十年来,PISA的使用范围扩大了[15],也有类似的评估,从评估学生的学习,到把教育领域(传统的职权范围)与政治领域联系起来。这引发了一个问题,是否有足够强大的PISA数据承载的重大决策都是基于他们,根据雷克斯皮尔,PISA数据”来不断的形状,定义和评估的关键目标的国家/联邦教育体系”[7]。这意味着,那些设定了PISA考试的人——例如,在选择被评估和未被评估的内容的时候——在很大程度上有能力设定教育辩论的条款,并在全球许多国家进行教育改革。

框架

编辑

PISA站在一个传统的国际学校的研究,自1950年代末由国际教育成就评价协会(IEA)进行。多PISA的方法如下例的趋势,在国际数学和科学研究(TIMSS,开始在1995),而这又是教育进展评估美国国家影响很大(NAEP)。PISA的阅读部分的灵感来自IEA的国际阅读素养进展研究(PIRLS)。

PISA旨在测试三个能力领域的阅读能力:阅读、数学、科学1000分。[16]

PISA数学素养测试要求学生运用数学知识解决现实世界中的问题。为了解决这些问题,学生必须激活一些数学能力以及广泛的数学内容知识。TIMSS,另一方面,措施更传统的课堂内容如理解分数和小数和它们之间的关系(课程素养)。PISA公司声称衡量教育对现实生活中的问题和终身学习的应用(劳动力知识)。

在阅读测试中,“经合组织/PISA没有衡量的程度,15岁的学生流利的读者或有关他们在单词识别任务或拼写”。相反,他们应该能够构建、扩展和反思的意义所在很宽的范围内的连续和非连续的文本读。”[17]

主办方

编辑

PISA是由经合组织主办、管理和协调的,但由参与国支付。

测试方式

编辑

取样

编辑

参与这一计划的学生,于测试期开始时,年龄需15岁。学童就读的年级并不在考虑之列。受测试的须为在学校上课的学生,而非家中上课的学生。

按照经济合作与发展组织的要求,每个国家须随机选出至少五千名学生为样本。有一些小国家,如冰岛卢森堡,每年的全体学生不足五千名,那么整个年龄段的学生都会受测试。有些国家用一个比要求要大得多的样本,以比较各地区的学生。

测试

编辑

旧版测试为每个学生做两小时的笔试。一部分是选择题,一部分要较完整地作答。测试内容共计六个半小时,但各学生不需测试所有部分。学生作能力测试后,用约一小时填写个人背景的问卷,包括学习习惯、动机、家庭。校方填写一份问卷,描述学生的构成统计、经费来源等。

2015年开始全面电脑化施测,加测线上“合作式问题解决能力(英语:Collaborative Problem Solving Skills)”评量、互动式科学素养题目。

2018年PISA测验计划纳入“国际力”指标,评估学生是否具备在全球化的世界生活与工作的能力[18]

国家附加

编辑

国家允许将比萨与国家补充测试相结合。

德国是在一个非常广泛的方式:第二天国际考试,学生参加国家试验称为pisa-e(E = ERGä语=补充)。对pisa-e测试项目比比萨更靠近TIMSS。虽然只有5000名德国学生参加国际和国家考试,另外45000名学生只参加后者。这个大样本需要联邦各州进行分析。在对2006项结果的解释发生冲突之后,经合组织警告德国,它可能撤回使用“比萨”标签进行国家测试的权利。[19]

数据换算

编辑

从一开始,比萨就被设计成一种特定的数据分析方法。由于学生在不同的测试小册子工作,原始分数必须'缩放',以便有意义的比较。分数是这样测量的,在各个领域的经合组织的平均水平(数学、阅读和科学)为500,标准偏差为100[20]。这是真的只为当初比萨循环时规模首次引入,但随后的周期是通过IRT尺度连接方法与前循环。[21]

这一代的水平估计是使用Rasch模型的一个潜在的回归的扩展,一个项目反应理论(IRT)模型,也被称为空调模型、人口模型。熟练度估计是以所谓的合理值的形式提供的,这样可以对群体间的差异进行无偏估计。潜在的回归,再加上一个高斯先验概率分布的使用允许学生能力的学生群体的水平分布估计。[22]和调节缩放程序进行了几乎相同的术语在PISA 2000, 2003, 2006的技术报告。NAEP和TIMSS使用类似的缩放方法。

结果

编辑

所有比萨成绩按国家列出;最近的比萨周期对一些国家有单独的省级或区域结果。大多数公众的注意力只集中在一个结果上:各国的平均得分和各国对彼此的排名。然而在官方报道,由国家排名国家给出的不是简单的排名但是交叉表显示每对国家是否平均得分差异有统计学意义(可能是由于学生抽样或项目功能的随机波动)。在有利的情况下,差9分就足以被认为是重要的。

比萨从来没有把数学、科学和阅读领域的分数综合成一个整体。然而,评论员有时将所有三个领域的测试结果合并成一个整体的国家排名。这种荟萃分析并没有得到经合组织的认可,尽管官方总结有时使用测试周期的主要领域作为整体学生能力的代表。

2018年测试结果

编辑

PISA 2018于2019年12月3日举行,共有来自79个国家和地区的600,000名学生参与,其中中国北京、上海、江苏、浙江四地在所有类别中均表现最佳;但报告亦指此四地远远不能代表中国整体。[23]

阅读 数学 科学
1  北京上海江苏浙江 555
2   新加坡 549
3   澳门 525
4   香港 524
5   爱沙尼亚 523
6   加拿大 520
6   芬兰 520
8   爱尔兰 518
9   韩国 514
10   波兰 512
11   瑞典 506
12   新西兰 506
13   越南 505
14   美国 505
15   英国 504
16   日本 504
17   澳大利亚 503
18   台湾 503
19   丹麦 501
20   挪威 499
21   德国 498
22   斯洛文尼亚 495
23   比利时 493
24   法国 493
25   葡萄牙 492
26   捷克 490
27   荷兰 485
28   奥地利 484
29   瑞士 484
30   克罗地亚 479
31   拉脱维亚 479
32   俄罗斯 479
33   意大利 476
34   匈牙利 476
35   立陶宛 476
36   冰岛 474
37   白俄罗斯 474
38   以色列 470
39   卢森堡 470
40   乌克兰 466
41   土耳其 466
42   斯洛伐克 458
43   希腊 457
44   智利 452
45   马耳他 448
46   塞尔维亚 439
47   阿联酋 432
48   罗马尼亚 428
49   乌拉圭 427
50   哥斯达黎加 426
51   塞浦路斯 424
52   摩尔多瓦 424
53   黑山 421
54   墨西哥 420
55   保加利亚 420
56   约旦 419
57   马来西亚 415
58   巴西 413
59   哥伦比亚 412
60   文莱 408
61   卡塔尔 407
62   阿尔巴尼亚 405
63   波黑 403
64   阿根廷 402
65   秘鲁 401
66   沙特阿拉伯 399
67   泰国 393
68   北马其顿 393
69   阿塞拜疆 389
70   哈萨克斯坦 387
71   格鲁吉亚 380
72   巴拿马 377
73   印度尼西亚 371
74   摩洛哥 359
75   黎巴嫩 353
76   科索沃 353
77   多米尼加 342
78   菲律宾 340
1  北京上海江苏浙江 591
2   新加坡 569
3   澳门 558
4   香港 551
5   台湾 531
6   日本 527
7   韩国 526
8   爱沙尼亚 523
9   荷兰 519
10   波兰 516
11   瑞士 515
12   加拿大 512
13   丹麦 509
14   斯洛文尼亚 509
15   比利时 508
16   芬兰 507
17   瑞典 502
18   英国 502
19   挪威 501
20   德国 500
21   爱尔兰 500
22   捷克 499
23   奥地利 499
24   越南 496
25   拉脱维亚 496
26   法国 495
27   冰岛 495
28   新西兰 494
29   葡萄牙 492
30   澳大利亚 491
31   俄罗斯 488
32   意大利 487
33   斯洛伐克 486
34   卢森堡 483
35   西班牙 481
36   立陶宛 481
37   匈牙利 481
38   美国 478
39   白俄罗斯 472
40   马耳他 472
41   克罗地亚 464
42   以色列 463
43   土耳其 454
44   乌克兰 453
45   希腊 451
46   塞浦路斯 451
47   塞尔维亚 448
48   马来西亚 440
49   阿尔巴尼亚 437
50   保加利亚 436
51   阿联酋 435
52   文莱 430
53   罗马尼亚 430
54   黑山 430
55   哈萨克斯坦 423
56   摩尔多瓦 421
57   阿塞拜疆 420
58   泰国 419
59   乌拉圭 418
60   智利 417
61   卡塔尔 414
62   墨西哥 409
63   波黑 406
64   哥斯达黎加 402
65   秘鲁 400
66   约旦 400
67   格鲁吉亚 398
68   北马其顿 394
69   黎巴嫩 393
70   哥伦比亚 391
71   巴西 384
72   阿根廷 379
73   印度尼西亚 379
74   沙特阿拉伯 373
75   摩洛哥 368
76   科索沃 366
77   巴拿马 353
78   菲律宾 353
79   多米尼加 325
1  北京上海江苏浙江 590
2   新加坡 551
3   澳门 544
4   越南 543
5   爱沙尼亚 530
6   日本 529
7   芬兰 522
8   韩国 519
9   加拿大 518
10   香港 517
11   台湾 516
12   波兰 511
13   新西兰 508
14   斯洛文尼亚 507
15   英国 505
16   荷兰 503
17   德国 503
18   澳大利亚 503
19   美国 502
20   瑞典 499
21   比利时 499
22   捷克 497
23   爱尔兰 496
24   瑞士 495
25   法国 493
26   丹麦 493
27   葡萄牙 492
28   挪威 490
29   奥地利 490
30   拉脱维亚 487
31   西班牙 483
32   立陶宛 482
33   匈牙利 481
34   俄罗斯 478
35   卢森堡 477
36   冰岛 475
37   克罗地亚 472
38   白俄罗斯 471
39   乌克兰 469
40   土耳其 468
41   意大利 468
42   斯洛伐克 464
43   以色列 462
44   马耳他 457
45   希腊 452
46   智利 444
47   塞尔维亚 440
48   塞浦路斯 439
49   马来西亚 438
50   阿联酋 434
51   文莱 431
52   约旦 429
53   摩尔多瓦 428
54   泰国 426
55   乌拉圭 426
56   罗马尼亚 426
57   保加利亚 424
58   墨西哥 419
59   卡塔尔 419
60   阿尔巴尼亚 417
61   哥斯达黎加 416
62   黑山 415
63   哥伦比亚 413
64   北马其顿 413
65   秘鲁 404
66   阿根廷 404
67   巴西 404
68   波黑 398
69   阿塞拜疆 398
70   哈萨克斯坦 397
71   印度尼西亚 396
72   沙特阿拉伯 386
73   黎巴嫩 384
74   格鲁吉亚 383
75   摩洛哥 377
76   科索沃 365
77   巴拿马 365
78   菲律宾 357
79   多米尼加 336

2015年测试结果

编辑

 PISA 2015于2016年12月6日公布,在72个国家总计约有540000名学生参加,新加坡在所有类别中排名第一。[24]

数学 科学 阅读
1   新加坡 564
2   香港 548
3   澳门 544
4   台湾 544
5   日本 542
6   韩国 532
7  北京上海江苏广东 531
8   瑞士 521
9   爱沙尼亚 520
10   加拿大 516
11   荷兰 512
12   丹麦 511
13   芬兰 511
14   斯洛文尼亚 510
15   比利时 507
16   德国 506
17   波兰 504
18   爱尔兰 504
19   挪威 502
20   奥地利 497
21   新西兰 495
22   越南 495
23   俄罗斯 494
24   瑞典 494
25   澳大利亚 494
26   法国 493
27   英国 492
28   捷克 492
29   葡萄牙 492
30   意大利 490
31   冰岛 488
32   西班牙 486
33   卢森堡 486
34   拉脱维亚 482
35   马耳他 479
36   立陶宛 478
37   匈牙利 477
38   斯洛伐克 475
39   以色列 470
40   美国 470
41   克罗地亚 464
42   哈萨克斯坦 460
43   希腊 454
44   马来西亚 446
45   罗马尼亚 444
46   保加利亚 441
47   塞浦路斯 437
48   阿联酋 427
49   智利 423
50   土耳其 420
51   摩尔多瓦 420
52   乌拉圭 418
53   黑山 418
54   特立尼达和多巴哥 417
55   泰国 415
56   阿尔巴尼亚 413
57   墨西哥 408
59   格鲁吉亚 404
60   卡塔尔 402
61   哥斯达黎加 400
62   黎巴嫩 396
63   哥伦比亚 390
64   秘鲁 387
65   印度尼西亚 386
66   约旦 380
67   巴西 377
68   北马其顿 371
69   突尼斯 367
70   科索沃 362
71   阿尔及利亚 360
72   多米尼加 328
1   新加坡 556
2   日本 538
3   爱沙尼亚 534
4   台湾 532
5   芬兰 531
6   澳门 529
7   加拿大 528
8   越南 525
9   香港 523
10  北京上海江苏广东 518
11   韩国 516
12   新西兰 513
13   斯洛文尼亚 513
14   澳大利亚 510
15   英国 509
16   德国 509
17   荷兰 509
18   瑞士 506
19   爱尔兰 503
20   比利时 502
21   丹麦 502
22   波兰 501
23   葡萄牙 501
24   挪威 498
25   美国 496
26   奥地利 495
27   法国 495
28   瑞典 493
29   捷克 493
30   西班牙 493
31   拉脱维亚 490
32   俄罗斯 487
33   卢森堡 483
34   意大利 481
35   匈牙利 477
36   立陶宛 475
37   克罗地亚 475
38   冰岛 473
39   以色列 467
40   马耳他 465
41   斯洛伐克 461
42   哈萨克斯坦 456
43   希腊 455
44   智利 447
45   保加利亚 446
46   马来西亚 443
47   阿联酋 437
48   乌拉圭 435
49   罗马尼亚 435
50   塞浦路斯 433
52   摩尔多瓦 428
53   阿尔巴尼亚 427
54   土耳其 425
55   特立尼达和多巴哥 425
56   泰国 421
57   哥斯达黎加 420
58   卡塔尔 418
59   哥伦比亚 416
60   墨西哥 404
61   黑山 411
62   格鲁吉亚 411
63   约旦 409
64   印度尼西亚 403
65   巴西 401
66   秘鲁 397
67   黎巴嫩 386
68   突尼斯 386
69   北马其顿 384
70   科索沃 378
71   阿尔及利亚 376
72   多米尼加 332
1   新加坡 535
2   香港 527
3   加拿大 527
4   芬兰 526
5   爱尔兰 521
6   爱沙尼亚 519
7   韩国 517
8   日本 516
9   挪威 513
10   澳门 509
11   德国 509
12   新西兰 509
13   波兰 506
14   斯洛文尼亚 505
15   荷兰 503
16   澳大利亚 503
17   瑞典 500
18   丹麦 500
19   法国 499
20   比利时 499
21   葡萄牙 498
22   英国 498
23   台湾 497
24   美国 497
25   西班牙 496
26   俄罗斯 495
27  北京上海江苏广东 494
28   瑞士 492
29   拉脱维亚 488
30   捷克 487
31   克罗地亚 487
32   越南 487
33   奥地利 485
34   意大利 485
35   冰岛 482
36   卢森堡 481
37   以色列 479
38   立陶宛 472
39   匈牙利 470
40   希腊 467
41   智利 459
42   斯洛伐克 453
43   马耳他 447
44   塞浦路斯 443
45   乌拉圭 437
46   罗马尼亚 434
47   阿联酋 434
48   保加利亚 432
49   马来西亚 431
50   土耳其 428
51   哥斯达黎加 427
52   特立尼达和多巴哥 427
53   哈萨克斯坦 427
54   黑山 427
56   哥伦比亚 425
57   墨西哥 423
58   摩尔多瓦 416
59   泰国 409
60   约旦 408
61   巴西 407
62   阿尔巴尼亚 405
63   卡塔尔 402
64   格鲁吉亚 401
65   秘鲁 398
66   印度尼西亚 397
67   突尼斯 361
68   多米尼加 358
69   北马其顿 352
70   阿尔及利亚 350
71   科索沃 347
72   黎巴嫩 347

2012年测试结果

编辑
国际学生能力评估计划(2012)
数学 科学 阅读
1  上海 613
2   新加坡 573
3   香港 561
4   台湾 560
5   韩国 554
6   澳门 538
7   日本 536
8   列支敦士登 535
9   瑞士 531
10   荷兰 523
11   爱沙尼亚 521
12   芬兰 519
13=   加拿大 518
13=   波兰 518
15   比利时 515
16   德国 514
17   越南 511
18   奥地利 506
19   澳大利亚 504
20=   爱尔兰 501
20=   斯洛文尼亚 501
22=   丹麦 500
22=   新西兰 500
24   捷克 499
25   法国 495
26   英国 494
27   冰岛 493
28   拉脱维亚 491
29   卢森堡 490
30   挪威 489
31   葡萄牙 487
32   意大利 485
33   西班牙 484
34=   俄罗斯 482
34=   斯洛伐克 482
36   美国 481
37   立陶宛 479
38   瑞典 478
39   匈牙利 477
40   克罗地亚 471
41   以色列 466
42   希腊 453
43   塞尔维亚 449
44   土耳其 448
45   罗马尼亚 445
46   塞浦路斯 440
47   保加利亚 439
48   阿联酋 434
49   哈萨克斯坦 432
50   泰国 427
51   智利 423
52   马来西亚 421
53   墨西哥 413
54   黑山 410
55   乌拉圭 409
56   哥斯达黎加 407
57   阿尔巴尼亚 394
58   巴西 391
59=   阿根廷 388
59=   突尼斯 388
61   约旦 386
62=   哥伦比亚 376
62=   卡塔尔 376
64   印度尼西亚 375
65   秘鲁 368
1  上海 580
2   香港 555
3   新加坡 551
4   日本 547
5   芬兰 545
6   爱沙尼亚 541
7   韩国 538
8   越南 528
9   波兰 526
10=   列支敦士登 525
10=   加拿大 525
12   德国 524
13   台湾 523
14=   荷兰 522
14=   爱尔兰 522
16=   澳门 521
16=   澳大利亚 521
18   新西兰 516
19   瑞士 515
20=   斯洛文尼亚 514
20=   英国 514
22   捷克 508
23   奥地利 506
24   比利时 505
25   拉脱维亚 502
26   法国 499
27   丹麦 498
28   美国 497
29=   西班牙 496
29=   立陶宛 496
31   挪威 495
32=   意大利 494
32=   匈牙利 494
34=   卢森堡 491
34=   克罗地亚 491
36   葡萄牙 489
37   俄罗斯 486
38   瑞典 485
39   冰岛 478
40   斯洛伐克 471
41   以色列 470
42   希腊 467
43   土耳其 463
44   阿联酋 448
45   保加利亚 446
46=   塞尔维亚 445
46=   智利 445
48   泰国 444
49   罗马尼亚 439
50   塞浦路斯 438
51   哥斯达黎加 429
52   哈萨克斯坦 425
53   马来西亚 420
54   乌拉圭 416
55   墨西哥 415
56   黑山 410
57   约旦 409
58   阿根廷 406
59   巴西 405
60   哥伦比亚 399
61   突尼斯 398
62   阿尔巴尼亚 397
63   卡塔尔 384
64   印度尼西亚 382
65   秘鲁 373
1   上海 570
2   香港 545
3   新加坡 542
4   日本 538
5   韩国 536
6   芬兰 524
7=   台湾 523
7=   加拿大 523
7=   爱尔兰 523
10   波兰 518
11=   列支敦士登 516
11=   爱沙尼亚 516
13=   澳大利亚 512
13=   新西兰 512
15   荷兰 511
16=   澳门 509
16=   瑞士 509
16=   比利时 509
19=   德国 508
19=   越南 508
21   法国 505
22   挪威 504
23   英国 499
24   美国 498
25   丹麦 496
26   捷克 493
27=   奥地利 490
27=   意大利 490
29   拉脱维亚 489
30=   卢森堡 488
30=   葡萄牙 488
30=   西班牙 488
30=   匈牙利 488
34   以色列 486
35   克罗地亚 485
36=   冰岛 483
36=   瑞典 483
38   斯洛文尼亚 481
39=   立陶宛 477
39=   希腊 477
41=   俄罗斯 475
41=   土耳其 475
43   斯洛伐克 463
44   塞浦路斯 449
45   塞尔维亚 446
46   阿联酋 442
47=   泰国 441
47=   智利 441
47=   哥斯达黎加 441
50   罗马尼亚 438
51   保加利亚 436
52   墨西哥 424
53   黑山 422
54   乌拉圭 411
55   巴西 410
56   突尼斯 404
57   哥伦比亚 403
58   约旦 399
59   马来西亚 398
60=   阿根廷 396
60=   印度尼西亚 396
62   阿尔巴尼亚 394
63   哈萨克斯坦 393
64   卡塔尔 388
65   秘鲁 384

2009年测试结果

编辑
国际学生能力评估计划(2009)[25]
(在测试时为经济合作与发展组织的成员以粗体标示)
完整列表见[1]页面存档备份,存于互联网档案馆
数学 科学 阅读
1.   上海 600
2.   新加坡 562
3.   香港 555
4.   韩国 546
5.   台湾 543
6.   芬兰 541
7.   列支敦士登 536
8.   瑞士 534
9.   日本 529
10.   加拿大 527
11.   荷兰 526
12.   澳门 525
13.   新西兰 519
14.   比利时 515
15.   澳大利亚 514
16.   德国 513
17.   爱沙尼亚 512
18.   冰岛 507
19.   丹麦 503
20.   斯洛文尼亚 501
21.   挪威 498
22.   法国 497
23.   斯洛文尼亚 497
24.   奥地利 496
25.   波兰 495
26.   瑞典 494
27.   捷克 493
28.   英国 492
29.   匈牙利 490
30.   美国 487
:
65.   吉尔吉斯斯坦 331
1.   上海 575
2.   芬兰 554
3.   香港 549
4.   新加坡 542
5.   日本 539
6.   韩国 538
7.   新西兰 532
8.   加拿大 529
9.   爱沙尼亚 528
10.   澳大利亚 527
11.   荷兰 522
12.   列支敦士登 520
13.   德国 520
14.   台湾 520
15.   瑞士 517
16.   英国 514
17.   斯洛文尼亚 512
18.   [澳门]] 511
19.   波兰 508
20.   爱尔兰 508
21.   比利时 507
22.   匈牙利 503
23.   美国 502
24.   挪威 500
25.   捷克 500
26.   丹麦 499
27.   法国 498
28.   冰岛 496
29.   瑞典 495
30.   拉脱维亚 494
:
65.   吉尔吉斯斯坦 330
1.   上海 556
2.   韩国 539
3.   芬兰 536
4.   香港 533
5.   新加坡 526
6.   加拿大 524
7.   新西兰 521
8.   日本 520
9.   澳大利亚 515
10.   荷兰 508
11.   比利时 506
12.   挪威 503
13.   爱沙尼亚 501
14.   瑞士 501
15.   波兰 500
16.   冰岛 500
17.   美国 500
18.   列支敦士登 499
19.   瑞典 497
20.   德国 497
21.   爱尔兰 496
22.   法国 496
23.   台湾 495
24.   丹麦 495
25.   英国 494
26.   匈牙利 494
27.   葡萄牙 489
28.   澳门 487
29.   意大利 486
30.   拉脱维亚 484
:
65   吉尔吉斯斯坦 314

总结

编辑

中国

编辑

中国在2009年测试的参与是有限的,上海、香港和澳门作为独立的实体。在2012年,上海再次参加,并在所有三个科目中排名第一,同时也提高了2009年时科目的分数。上海在数学方面的得分为613分,高于平均分113分,使上海学生的平均成绩比一般国家的学生高出3个学年。教育专家讨论到什么程度,这一结果反映在中国的教育系统的质量,指出上海比中国其他地区有更大的财富和高收入的教师。[26]香港排名第二在数学、阅读和科学第三。

中国有望作为一个完整的单元参加2018年的测试。2015,江苏、广东、北京和上海共四个省,总人口超过2亿3000万,作为一个实体参加。[27][28][29]2015北京上海江苏广东队列在2015的科学中得分中值为518,而2012上海组得分中值为580。

比萨的反批评,上海和其他中国城市,大部分农民工子女只能参加城市学校达第九级,必须回到他们父母的故乡,由于户口限制高中,从而使得城市的高中生在富裕的地方有利于家庭的组成。《纽约时报》转载的上海人口图表显示,居住在那里的15岁的人数量急剧下降。他谈到,上海的15岁的人27%被排除在其学校系统(因此从测试)。结果,上海测试的15岁儿童的比例为73%,低于美国测试的89%。[30]以下的2015个试验,发表在一个选定的几个国家,包括中国的教育系统深入研究组织。[31]

芬兰

编辑

芬兰得到了测试前几名,尽管相比2012年三门科目有所下降,但仍然是欧洲表现最好的国家。芬兰表现最好的是科学545分(第五),最差的是数学519分(第十二)。数学相较于2003年下降了25分,这是最后一次将数学作为测试重点。芬兰女孩测试上第一次表现得比男生好,但差距很小。这也是瑞典语学校的学生第一次在瑞典语学校表现不如其他学生。

印度

编辑

印度参加了2009年测试,在73个国家中名列72位[32]。印度在2012年8月宣布退出了当年举行的测试,印度政府将其行为归咎于比萨测试对印度学生的不公平。印度快报于9/3/2012报道说:“教育部已经得出结论,比萨测试与印度学生之间存在社会文化脱节,该部将写信给经合组织,并将影响印度测试成绩的主要问题归咎于“社会文化环境”差异。印度参与下一个比萨测试将取决于是否改善了这一点”。[33]《印度快报》还指出,“考虑到共有70多个国家参加比萨测试,印度是否会例外还不确定”。

印度没有参与2015、2018和2022年的比萨测试。[34]

瑞典

编辑

在2012次测试中,瑞典的成绩下降了三个,这是2006和2009的趋势的延续。在数学方面,参加过所有测试的国家的数学成绩在10年中下降最快,在2003的分数从509下降到了478的2012。阅读分数从516的2000下降到2012的483。该国在所有三个科目中均低于经合组织平均水平。[35]反对党的领袖,社会民主党的斯特凡öfven,描述的情况作为一个国家的危机。[36]随着党的发言人对教育,Ibrahim Baylan,他指出了阅读的最严重的下降趋势。

英国

编辑

在2012年的测验中,与2009一样,英国的成绩略高于平均水平,理科排名最高(20)。[37]英格兰、威尔士、苏格兰和北爱尔兰也作为独立实体参加,显示威尔士取得最坏结果,数学在65个国家和经济体中排名第43。威尔士教育部长Huw Lewis表示对结果失望,说没有“权宜之计”,但希望在过去的几年里已经实施的一些教育改革给下一轮的测试带来更好的结果。[38]英国的高分组和低分组学生之间的差距大于平均水平。根据学生的社会经济背景进行调整后,公立和私立学校之间几乎没有差异;有利于女孩的性别差异比其他大多数国家少,当地人和移民之间的差别也是如此。[37]

Ambrose Evans Pritchard曾在每日电讯报撰文警告,不应过多地强调英国的国际排名。他认为,东亚地区的低出生率可能和该地区过分重视学术有关,这会给未来的经济带来负面影响,而经济重要性胜过PISA成绩。[39]

2013,《泰晤士报教育增刊》发表了一篇文章,“PISA有根本缺陷吗?”,William Stewart在文中详细介绍了主要大学统计学家对PISA的概念基础和方法的严厉批评。[40]

在这篇文章中,布里斯托大学的Harvey Goldstein教授说,当经合组织试图排除涉嫌偏见的问题时,它可以起到“消除”国家间关键差异的作用。“这就遗漏了许多重要的东西。”他警告说:“他们只是没有得到评论。你所看到的是普遍发生的。但值得一看吗?从表面上看,PISA的结果给不同的国家带来了一套共同标准。但一旦你开始了解它,我觉得一切都会崩溃。”

贝尔法斯特女王大学的数学家Hugh Morrison博士说,他发现PISA的统计模型含有根本的,无法解决性的数学错误,使得比萨的排名“毫无价值”。[41]Goldstein说,墨里森博士的反对意见强调“一个重要的技术问题”,如果不是“深刻的概念错误”的话。然而,Morrison警告说,PISA“使用不当”,这部分的责任“在于比萨本身。我认为它说了太多它所能做的,却不愿宣传它的弱点。”Morrison教授和Goldstein对OECD对批判的回应表示失望。Morrison说,当他在2004年第一次发表对PISA的批评时并亲自向经合组织的一些“高级人士”提出质疑时,他的观点得到了“绝对的寂静”,迄今尚未得到解决。“我很惊讶他们是多么不愿意承认”,他告诉TES。他说:“这让我怀疑。”“PISA坚决地忽略了许多问题。”。“我还是很担心。”[42]

哥本哈根大学的Svend Kreiner教授同意:“每个人包括PISA都有的一个问题,就是他们不想和批评或问问题的人讨论事情。他们根本不想和我说话。我相信这是因为他们不能自卫。[42]

美国

编辑

2012的美国结果在科学和阅读方面是平均的,但在数学方面与其他发达国家相比落后了。2009以前的测试几乎没有什么变化。[43]这一结果被教育部长阿恩·邓肯描述为“教育停滞的图景”[44],他说这一结果与美国拥有世界上受过最好教育的工人的目标不一致。美国的老师说,在标准化考试中过分强调了教育绩效缺乏改善联盟的Randi Weingarten。[45]全国教育协会的Dennis Van Roekel说,未能解决贫困学生阻碍了进步。[44]

在所有的国家和经济中,大约有9%的美国学生在数学水平上名列前13%。[44]

美国有三个州作为独立的实体参加了测试,马萨诸塞州的得分远远高于美国和国际平均水平,尤其是在阅读方面。经合组织的排名与美国平均值大致相当。[46]

数学 科学 阅读
16=   马萨诸塞州 514
18=   康涅狄格州 506
36   U.S. Average 481
41~   佛罗里达州 467
9~   马萨诸塞州 527
16=   康涅狄格州 521
28   U.S. Average 497
38=   佛罗里达州 485
6~   马萨诸塞州 527
10~   康涅狄格州 521
24   U.S. Average 498
26~   佛罗里达州 492

马来西亚

编辑

2015,经合组织发现马来西亚的结果没有达到最低反应率。[47]王建民说,教育部试图在丰富学校过成绩好的学生。[48]

不同国家比萨差距的可能成因研究

编辑

虽然PISA和TIMSS的官员和研究人员通常不假设国家之间、学生成绩的庞大而稳定的差异,自2000以来,在比萨和TIMSS结果的差异及其原因的文献已经出现。[49]来自比萨的数据提供了一些经济学家,尤其是Eric Hanushek,Ludger Woessmann,Heiner Rindermann,Stephen J. Ceci,与学生和经济发展之间的关系的书籍和文章材料[50]的民主化,和健康[51];以及高风险考试这种单一的教育因素的作用[52],有或没有私立学校,和效果和跟踪时间的能力。[53]

参考文献

编辑
  1. ^ 1.0 1.1 1.2 1.3 PISA: Programme for International Student Assessment. OECD. [2024-08-06] (英语). 
  2. ^ PISA: Programme for International Student Assessment. OCDE. [2024-08-06] (法语). 
  3. ^ Berger, Kathleen. Invitation to The Life Span second. worth. 3 March 2014. ISBN 978-1-4641-7205-2. 
  4. ^ 4.0 4.1 4.2 4.3 Rey O, ‘The use of external assessments and the impact on education systems’ in CIDREE Yearbook 2010, accessed January 2017 at http://www.cidree.org/publications/yearbook_2010?PHPSESSID=baip221utd9v77b89hov0s3al6页面存档备份,存于互联网档案馆
  5. ^ McGaw, B (2008) ‘The role of the OECD in international comparative studies of achievement’ Assessment in Education: Principles, Policy & Practice, 15:3, 223-243
  6. ^ ons N, (2008) ‘Évaluation des politiques éducatives et comparaisons internationales’, Revue française de pédagogie, 164, juillet-août-septembre 2008 5-13
  7. ^ 7.0 7.1 7.2 7.3 Breakspear S ‘The Policy Impact of PISA: An Exploration of the Normative Effects of International Benchmarking in School System Performance’, OECD Education Working Paper number 71, 2012
  8. ^ Barroso, J. and de Carvalho, L.M. (2008) ‘Pisa: Un instrument de régulation pour relier des mondes’, Revue française de pédagogie, 164, 77–80
  9. ^ Ertl, H (2006). 'Educational standards and the changing discourse on education: the reception and consequences of the PISA study in Germany', Oxford Review of Education, 32, 5, 619-634.
  10. ^ Bajomi, I., Berényi, E., Neumann, E. and Vida, J. (2009). ‘The Reception of PISA in Hungary’ accessed January 2017 at http://www.knowandpol.eu/IMG/pdf/pisa.wp12.hungary.pdf页面存档备份,存于互联网档案馆
  11. ^ Breakspear S citing Steiner- Khamsi, 2003 in ‘The Policy Impact of PISA: An Exploration of the Normative Effects of International Benchmarking in School System Performance’, OECD Education Working Paper number 71, 2012
  12. ^ Mangez, E. and Cattonar, B. (2009). ‘The status of PISA in the relationship between civil society and the educational sector in French-speaking Belgium’, Sísifo Educational Sciences Journal, 10, 15–26 [online]. Available: http://sisifo.fpce.ul.pt/?r=25t[永久失效链接]
  13. ^ Greger, D. (2008). ‘Lorsque PISA importe peu. Le cas de la République Tchèque et de l’Allemagne’, Revue française de pédagogie, 164, 91–98. cited in Rey O, ‘The use of external assessments and the impact on education systems’ in CIDREE Yearbook 2010, accessed January 2017 at http://www.cidree.org/publications/yearbook_2010?PHPSESSID=baip221utd9v77b89hov0s3al6页面存档备份,存于互联网档案馆
  14. ^ Alfonso, N. and Costa, E. (2009). ‘The influence of the Programme for International Student Assessment (PISA) on policy decision in Portugal: the education policies of the 17th Portuguese Constitutional Government’, Sísifo Educational Sciences Journal, 10, 53–64. Accessed at: 存档副本. [2017-07-13]. (原始内容存档于2013-11-06). 
  15. ^ Behrens, 2006 cited in Rey O, ‘The use of external assessments and the impact on education systems’ in CIDREE Yearbook 2010, accessed January 2017 at http://www.cidree.org/publications/yearbook_2010?PHPSESSID=baip221utd9v77b89hov0s3al6页面存档备份,存于互联网档案馆
  16. ^ Hefling, Kimberly. "Asian nations dominate international test"页面存档备份,存于互联网档案馆). Yahoo!.
  17. ^ Chapter 2 of the publication 'PISA 2003 Assessment Framework' (PDF). [2017-07-13]. (原始内容存档 (PDF)于2012-02-05). 
  18. ^ 文化包容、國際力 將納2018年PISA測驗/教育現場-教育趨勢/親子天下. 亲子天下. [2016-12-20]. (原始内容存档于2020-11-06) (中文(台湾)). 
  19. ^  C. Füller: Pisa hat einen kleinen, fröhlichen Bruder. taz, 5.12.2007 ([//web.archive.org/web/20110516083734/http://www.taz.de/nc/1/archiv/print-archiv/printressorts/digi-artikel/?ressort=bi&dig=2007%2F12%2F05%2Fa0140&src=GI&cHash=f350b212d5 页面存档备份,存于互联网档案馆) [1]]
  20. ^ Stanat, P; Artelt, C; Baumert, J; Klieme, E; Neubrand, M; Prenzel, M; Schiefele, U; Schneider, W (2002), PISA 2000: Overview of the study—Design, method and results, Berlin: Max Planck Institute for Human Development
  21. ^ Mazzeo, John; von Davier, Matthias (2013), Linking Scales in International Large-Scale Assessments, chapter 10 in Rutkowski, L. von Davier, M. & Rutkowski, D. (eds.) Handbook of International Large-Scale Assessment: Background, Technical Issues, and Methods of Data Analysis., New York: Chapman and Hall/CRC.
  22. ^ von Davier, Matthias; Sinharay, Sandip (2013), Analytics in International Large-Scale Assessments: Item Response Theory and Population Models, chapter 7 in Rutkowski, L. von Davier, M. & Rutkowski, D. (eds.) Handbook of International Large-Scale Assessment: Background, Technical Issues, and Methods of Data Analysis., New York: Chapman and Hall/CRC.
  23. ^ PISA 2018: Insights and Interpretations (PDF). OECD. [2019-12-05]. (原始内容存档 (PDF)于2020-03-05). these four provinces in eastern China are far from representing China as a whole 
  24. ^ Singapore tops latest OECD PISA global education survey页面存档备份,存于互联网档案馆), OECD, 6 December 2016, retrieved 13 December2016
  25. ^ Official PISA site data.页面存档备份,存于互联网档案馆) For list See "Executive Summary"页面存档备份,存于互联网档案馆
  26. ^ Tom Phillips (3 December 2013) OECD education report: Shanghai's formula is world-beating页面存档备份,存于互联网档案馆) The Telegraph. Retrieved 8 December 2013
  27. ^ Coughlan, Sean (26 August 2014). "Pisa tests to include many more Chinese pupils"页面存档备份,存于互联网档案馆) – via www.bbc.com.
  28. ^ Amy He (2016-12-07). "China's students fall in rank on assessment test"页面存档备份,存于互联网档案馆). China Daily.
  29. ^ Harvey Morris (2016-12-06). "Asia dominates world education rankings"页面存档备份,存于互联网档案馆). China Daily.
  30. ^ William Stewart, "More than a quarter of Shanghai pupils missed by international Pisa rankings", Times Educational Supplement, March 6, 2014.. [2014-03-07]. (原始内容存档于2014-03-15). 
  31. ^ 存档副本 (PDF). [2017-07-13]. (原始内容存档 (PDF)于2017-05-10). 
  32. ^ PISA (Program for International Student Assessment): OECD, Drishti, 1 Sept 2021.
  33. ^ "Poor PISA score: Govt blames ‘disconnect’ with India"页面存档备份,存于互联网档案馆). The Indian Express. 3 September 2012.
  34. ^ "India chickens out of international students assessment programme again"页面存档备份,存于互联网档案馆). The Times of India. 1 June 2013.
  35. ^ Lars Näslund (3 December 2013) Svenska skolan rasar i stor jämförelse页面存档备份,存于互联网档案馆) Expressen. Retrieved 4 December 2013 (in Swedish)
  36. ^ Jens Kärrman (3 December 2013) Löfven om Pisa: Nationell kris页面存档备份,存于互联网档案馆) Dagens Nyheter. Retrieved 8 December 2013 (in Swedish)
  37. ^ 37.0 37.1 Adams, Richard (2013-12-03), UK students stuck in educational doldrums, OECD study finds页面存档备份,存于互联网档案馆), The Guardian, retrieved 2013-12-04
  38. ^ Pisa ranks Wales' education the worst in the UK页面存档备份,存于互联网档案馆) BBC. 3 December 2013. Retrieved 4 December 2013.
  39. ^ Ambrose Evans-Pritchard (3 December 2013) Ambrose Evans-Pritchard页面存档备份,存于互联网档案馆) Telegraph.co.uk. Retrieved 4 December 2013.
  40. ^ William Stewart, "Is Pisa fundamentally flawed?" Times Educational Supplement, July 26, 2013.. [2017-07-13]. (原始内容存档于2015-07-24). 
  41. ^ 存档副本 (PDF). [2017-07-13]. (原始内容 (PDF)存档于2013-06-05). 
  42. ^ 42.0 42.1 Stewart, "Is PISA fundamentally flawed?" TES (2013).
  43. ^ Motoko Rich (3 December 2013) American 15-Year-Olds Lag, Mainly in Math, on International Standardized Tests页面存档备份,存于互联网档案馆) New York Times. Retrieved 4 December 2013
  44. ^ 44.0 44.1 44.2 Simon, Stephanie (2013-12-03), PISA results show "educational stagnation" in US页面存档备份,存于互联网档案馆), Politico, retrieved 2013-12-03
  45. ^ Vaznis, James (2013-12-03), Mass. students excel on global examinations页面存档备份,存于互联网档案馆), Boston Globe, retrieved 2013-12-14
  46. ^ 2012 Program for International Student Assessment (PISA) Results页面存档备份,存于互联网档案馆) (PDF), Massachusetts Department of Education, retrieved 2014-12-11
  47. ^ Ong: Did ministry try to rig results for Pisa 2015 report?"页面存档备份,存于互联网档案馆). 8 December 2016.
  48. ^ "Who's telling the truth about M'sia's Pisa 2015 scores?"页面存档备份,存于互联网档案馆). 9 December 2016.
  49. ^ Hanushek, Eric A., and Ludger Woessmann. 2011. "The economics of international differences in educational achievement." In Handbook of the Economics of Education, Vol. 3, edited by Eric A. Hanushek, Stephen Machin, and Ludger Woessmann. Amsterdam: North Holland: 89–200.
  50. ^ Hanushek, Eric; Woessmann, Ludger (2008), "The role of cognitive skills in economic development"页面存档备份,存于互联网档案馆) (PDF), Journal of Economic Literature46 (3): 607–668, doi:10.1257/jel.46.3.607
  51. ^ Rindermann, Heiner; Ceci, Stephen J (2009), "Educational policy and country outcomes in international cognitive competence studies", Perspectives on Psychological Science4 (6): 551–577, doi:10.1111/j.1745-6924.2009.01165.x
  52. ^ Bishop, John H (1997), "The effect of national standards and curriculum-based exams on achievement"页面存档备份,存于互联网档案馆), American Economic Review87 (2): 260–264
  53. ^ Hanushek, Eric; Woessmann, Ludger (2006), "Does educational tracking affect performance and inequality? Differences-in-differences evidence across countries"页面存档备份,存于互联网档案馆)(PDF), Economic Journal116 (510): C63–C76, doi:10.1111/j.1468-0297.2006.01076.x

延伸阅读

编辑

官网及报告

编辑

前因和政治结果

编辑
  • A. P. Jakobi, K. Martens: Diffusion durch internationale Organisationen: Die Bildungspolitik der OECD. In: K. Holzinger, H. Jörgens, C. Knill: Transfer, Diffusion und Konvergenz von Politiken. VS Verlag für Sozialwissenschaften, 2007.

法国

编辑
  • N. Mons, X. Pons: The reception and use of Pisa in France.

德国

编辑
  • Edelgard Bulmahn [then federal secretary of education]: PISA: the consequences for Germany. OECD observer, no. 231/232, May 2002. pp. 33–34.
  • H. Ertl: Educational Standards and the Changing Discourse on Education: The Reception and Consequences of the PISA Study in Germany. Oxford Review of Education, v 32 n 5 pp 619–634 Nov 2006.

英国

编辑

批评

编辑

书籍

编辑
  • S. Hopmann, G. Brinek, M. Retzl (eds.): PISA zufolge PISA. PISA According to PISA. LIT-Verlag, Wien 2007, ISBN 3-8258-0946-3 (partly in German, partly in English)
  • T. Jahnke, W. Meyerhöfer (eds.): PISA & Co – Kritik eines Programms. Franzbecker, Hildesheim 2007 (2nd edn.), ISBN 978-3-88120-464-4 (in German)
  • R. Münch: Globale Eliten, lokale Autoritäten: Bildung und Wissenschaft unter dem Regime von PISA, McKinsey & Co. Frankfurt am Main : Suhrkamp, 2009. ISBN 978-3-518-12560-1 (in German)

网站

编辑

外部链接

编辑

视频

编辑