Suchergebnisse

Main description: Christian R. Bayer behandelt aktuelle Problemstellungen einer Evaluation und eines Ranking von Hochschulleistungen sowie einer leistungsbasierten öffentlichen Mittelvergabe. Durch eine Kombination wissenschaftlicher Grundlagen aus der Wirtschaftstheorie, der (präskriptiven) Entscheidungstheorie und der Evaluationsforschung wird ein ganzheitlicher Ranking-Verfahrensstandard abgeleitet, der Möglichkeiten und Grenzen eines Ranking aufzeigt. Dadurch kann die Güte (Validität und Reliabilität) bzw. der entscheidungsunterstützende Informationsgehalt eines Ranking beurteilt werden - dies wird exemplarisch anhand deutscher und US-amerikanischer Hochschul-Rankings gezeigt. Weiter dient der ganzheitliche Ranking-Verfahrensstandard einer Verbesserung bestehender Systeme des Hochschul-Ranking und der leistungsbasierten Mittelvergabe, insbesondere durch eine adäquate Berücksichtigung des Dienstleistungscharakters von Hochschulleistungen sowie ihrer unterschiedlichen Rahmenbedingungen.Neben einer kritischen Würdigung durch Hochschul-Rankings induzierter Verhaltensänderungen und von aktuellen Forschungsarbeiten, wird die historische Entwicklung von Hochschul-Evaluation und -Ranking dargestellt. Der Autor wendet sich mit dieser Arbeit an Wissenschaftler und Mitarbeiter in Ministerien, Rektoraten und Dekanaten.

Hauptbeschreibung Christian R. Bayer behandelt aktuelle Problemstellungen einer Evaluation und eines Ranking von Hochschulleistungen sowie einer leistungsbasierten öffentlichen Mittelvergabe. Durch eine Kombination wissenschaftlicher Grundlagen aus der Wirtschaftstheorie, der (präskriptiven) Entscheidungstheorie und der Evaluationsforschung wird ein ganzheitlicher Ranking-Verfahrensstandard abgeleitet, der Möglichkeiten und Grenzen eines Ranking aufzeigt. Dadurch kann die Güte (Validität und Reliabilität) bzw. der entscheidungsunterstützende Informationsgehalt eines Ranking beurteilt werden - dies wird exemplarisch anhand deutscher und US-amerikanischer Hochschul-Rankings gezeigt. Weiter dient der ganzheitliche Ranking-Verfahrensstandard einer Verbesserung bestehender Systeme des Hochschul-Ranking und der leistungsbasierten Mittelvergabe, insbesondere durch eine adäquate Berücksichtigung des Dienstleistungscharakters von Hochschulleistungen sowie ihrer unterschiedlichen Rahmenbedingungen. Neben einer kritischen Würdigung durch Hochschul-Rankings induzierter Verhaltensänderungen und von aktuellen Forschungsarbeiten, wird die historische Entwicklung von Hochschul-Evaluation und -Ranking dargestellt. Der Autor wendet sich mit dieser Arbeit an Wissenschaftler und Mitarbeiter in Ministerien, Rektoraten und Dekanaten. Inhaltsverzeichnis Inhaltsübersicht: A. Einführung in die Problemstellung: Historische Entwicklung des Ranking - Problematik - Zielsetzungen der Arbeit - Aufbau der Arbeit - B. Entscheidungsprozessorientierte Definition eines Ranking-Verfahrens und seine Einordnung in die Literatur: Ausgewählte Definitionen von Rating und Ranking - Entscheidungsprozessorientierte Definition eines Ranking und eines Ranking-Verfahrens - C. Ganzheitliches Ranking-Verfahren: Verfahrensstandard für Evaluationen - Verfahrensstandard für

AbstractThis paper presents a meta-ranking of philosophy journals based on existing rankings, and a new ranking of philosophy journals developed through a survey involving a thousand authors (351 respondents, data collection May 2022) of articles from the most recent issues of 40 general philosophy journals. In addition to assessing journal quality, data were gathered on various variables such as gender, age, years in academia, number of refereed publications, area of specialization, and journal affiliation (as an author or editor). Findings indicate that only area of specialization and affiliation have some influence on respondents' assessments. Authors affiliated with particular journals rate them higher than non-affiliated authors. The paper discusses criticisms of both citation-based and survey-based journal rankings, and offers words of caution regarding the practical use of rankings.

Künstliche Intelligenz und selbst-lernende Systeme, die ihr Verhalten aufgrund vergangener Entscheidungen und historischer Daten adaptieren, spielen eine im- mer größer werdende Rollen in unserem Alltag. Wir sind umgeben von einer großen Zahl algorithmischer Entscheidungshilfen, sowie einer stetig wachsenden Zahl algorithmischer Entscheidungssysteme. Rankings und sortierte Listen von Suchergebnissen stellen dabei das wesentliche Instrument unserer Onlinesuche nach Inhalten, Produkten, Freizeitaktivitäten und relevanten Personen dar. Aus diesem Grund bestimmt die Reihenfolge der Suchergebnisse nicht nur die Zufriedenheit der Suchenden, sondern auch die Chancen der Sortierten auf Bildung, ökonomischen und sogar sozialen Erfolg. Wissenschaft und Politik sorgen sich aus diesem Grund mehr und mehr um systematische Diskriminierung und Bias durch selbst-lernende Systeme. Um der Diskriminierung im Kontext von Rankings und sortierten Suchergeb- nissen Herr zu werden, sind folgende drei Probleme zu addressieren: Zunächst müssen wir die ethischen Eigenschaften und moralischen Ziele verschiedener Sit- uationen erarbeiten, in denen Rankings eingesetzt werden. Diese sollen mit den ethischen Werten der Algorithmen übereinstimmen, die zur Vermeidung von diskri- minierenden Rankings Anwendung finden. Zweitens ist es notwendig, ethische Wertesysteme in Mathematik und Algorithmen zu übersetzen, um sämtliche moralis- chen Ziele bedienen zu können. Drittens sollten diese Methoden einem breiten Publikum zugänglich sein, das sowohl Programmierer:innen, als auch Jurist:innen und Politiker:innen umfasst. ; Artificial intelligence and adaptive systems, that learn patterns from past behavior and historic data, play an increasing role in our day-to-day lives. We are surrounded by a vast amount of algorithmic decision aids, and more and more by algorithmic decision making systems, too. As a subcategory, ranked search results have become the main mechanism, by which we find content, products, places, and people online. Thus their ordering contributes not only to the satisfaction of the searcher, but also to career and business opportunities, educational placement, and even social success of those being ranked. Therefore researchers have become increasingly concerned with systematic biases and discrimination in data-driven ranking models. To address the problem of discrimination and fairness in the context of rank- ings, three main problems have to be solved: First, we have to understand the philosophical properties of different ranking situations and all important fairness definitions to be able to decide which method would be the most appropriate for a given context. Second, we have to make sure that, for any fairness requirement in a ranking context, a formal definition that meets such requirements exists. More concretely, if a ranking context, for example, requires group fairness to be met, we need an actual definition for group fairness in rankings in the first place. Third, the methods together with their underlying fairness concepts and properties need to be available to a wide range of audiences, from programmers, to policy makers and politicians.

We sketch the history of spectral ranking - a general umbrella name for techniques that apply the theory of linear maps (in particular, eigenvalues and eigenvectors) to matrices that do not represent geometric transformations, but rather some kind of relationship between entities. Albeit recently made famous by the ample press coverage of Google's PageRank algorithm, spectral ranking was devised more than 60 years ago, almost exactly in the same terms, and has been studied in psychology, social sciences, bibliometrics, economy, and choice theory. We describe the contribution given by previous scholars in precise and modern mathematical terms: Along the way, we show how to express in a general way damped rankings, such as Katz's index, as dominant eigenvectors of perturbed matrices, and then use results on the Drazin inverse to go back to the dominant eigenvectors by a limit process. The result suggests a regularized definition of spectral ranking that yields for a general matrix a unique vector depending on a boundary condition.

AbstractWe sketch the history of spectral ranking—a general umbrella name for techniques that apply the theory of linear maps (in particular, eigenvalues and eigenvectors) to matrices that do not represent geometric transformations, but rather some kind of relationship between entities. Albeit recently made famous by the ample press coverage of Google's PageRank algorithm, spectral ranking was devised more than 60 years ago, almost exactly in the same terms, and has been studied in psychology, social sciences, bibliometrics, economy, and choice theory. We describe the contribution given by previous scholars in precise and modern mathematical terms: Along the way, we show how to express in a general way damped rankings, such as Katz's index, as dominant eigenvectors of perturbed matrices, and then use results on the Drazin inverse to go back to the dominant eigenvectors by a limit process. The result suggests a regularized definition of spectral ranking that yields for a general matrix a unique vector depending on a boundary condition.

Abstract
The ranking systems for universities aim at the quantification of all aspects of university life. For many decades, universities prided themselves on the differences among them. Rankings reduced discussions about the qualitative differences among universities to discussions of numerical differences. Perhaps the closest one can get to drawing a road map of the present and future of universities is understanding the form and content of the rankings within the overall framework of the digital condition. The digital condition already forces the adoption of new ethical modes, restructures working time, imposes styles of reading, affects teaching, and dictates new research practices. But above all, the rearticulations of democracy due to the digital condition will mark the new state of the universities. And such a prospect can perhaps be defined within Bill Sharpe's three horizons framework.

Background:Research rankings based on bibliometrics today dominate governance in academia and determine careers in universities.Method:Analytical approach to capture the incentives by users of rankings and by suppliers of rankings, both on an individual and an aggregate level.Result:Rankings may produce unintended negative side effects. In particular, rankings substitute the "taste for science" by a "taste for publication." We show that the usefulness of rankings rests on several important assumptions challenged by recent research.Conclusion:We suggest as alternatives careful socialization and selection of scholars, supplemented by periodic self-evaluations and awards. The aim is to encourage controversial discourses in order to contribute meaningful to the advancement of science.