An Approach to Modelling Decision Making in a Multi-Agent Environment Based on a Markov Chain of Changing Probabilities of Choices ; Моделювання процесу ухвалення рішень у багатоагентному середовищі на основі марковського процесу зміни ймовірностей вибору
The paper regards an approach to modelling a decision making process in the multi-agent environment under the condition of voting by simple majority. This approach considers a Markov chain addressing to describe changes of probabilities of how the agents vote. A system of states related to probabilities of choices is introduced. This means that an agent being in a certain state votes with the given probability which is a given function of the state. A Markov chain for modelling changing of these probabilities is specified and its main features are investigated. We consider the described multi-agent environment to be homogenous, which means that all the agents are totally inter-changeable with respect to their sets of states and to the transitions between states. It can be shown that the result of voting by majority is very sensitive to these individual probabilities. For the case when there are two options of choice, conditions providing that the choice in the stationary mode is made with equal probabilities are established. The obtained conditions are the following: homogeneity of agents, symmetry of states, and symmetry of transitional probabilities. For more than two alternative choices, some similar approaches can be easily developed. The problem of choice is illustrated by an example of voting for political parties; to a certain extent this model can explain how the bi-partial political system could be established and be sustainable. The reverse task of restoring transitional probabilities by the given stationary ones is also considered. Such a task might appear if some supervisory board needs to control the behaviour of the multi-agent system and to affect this behaviour, an approach on the base of solving a certain system of linear algebraic equations is proposed. This system must have a solution, and the constructive procedure of getting it is shown. But this solution is not likely to be unique. Some possibilities of involving fuzzy sets of states, clustering of agents, and enriching the model by reinforcement learning based on Markov processes of making decisions have been discussed; these possibilities should be the issues for further investigations ; Розглянуто підхід до моделювання процесу ухвалення рішень колективом, що складається з багатьох агентів, якщо застосовується голосування агентів на основі правила простої більшості. Введено деякий набір станів, які пов'язуються з ймовірностями того, що агент проголосує за певний варіант, та розглянуто марковський ланцюг зміни цих імовірностей. Для випадку двох варіантів вибору наведено умови, за яких у стаціонарному режимі вибір варіантів здійснюється з однаковими ймовірностями (однорідність агентів, симетричність станів, симетричність матриці перехідних імовірностей). Задачу вибору варіантів проілюстровано на прикладі поведінки виборців, які можуть голосувати за ті чи ті політичні партії. Обговорено також обернену задачу: за заданим стаціонарним розподілом визначити перехідні ймовірності, які можуть призвести до такого розподілу.
