Exploring the Potential Discriminatory Effects Arising from the Use of AI in Healthcare

Contributed by Annelise Harnanan


The Canadian health care sector is increasingly making use of new technologies that encompass Artificial Intelligence (AI). AI is a broad term that refers to computer algorithms that can perform human-like activities such as reasoning and problem solving. In health care, technologies encompassing AI have the potential to improve many areas of patient care. However, authors in the field have observed that sometimes, these algorithms can have discriminatory effects. Therefore, care must be taken when using technology that incorporates AI. Many people have noted the presence of systemic racism in health care in Canada, and we must ensure that these biases are not perpetuated  as a result of the algorithms we use.   This blog post will discuss the use of AI in health care, explore the potential discriminatory effects that can occur when using AI, and briefly examine the role that the law might play in protecting individuals from these discriminatory effects.

What is AI?

AI-based computer programs analyse large amounts of data to perform certain tasks, such as making predictions. Many of these new technologies utilize machine learning, a subset of AI. Machine learning “refers to the ability of computers to improve their performance on a task without being explicitly programmed to do so”. Machine learning techniques are advantageous because they can process enormous amounts of input data and perform complex analyses. Furthermore, some of these technological advances encompass deep learning, which use multiple levels of variables to process data and predict outcomes.

AI-based computer programs analyse large amounts of data to perform certain tasks, such as making predictions. || (Source: creativecommons // deepakiqlect)

How can AI be used in healthcare?

Many have heralded AI for its potential to help improve efficiency in the health care sector. Experts in the field believe that it can “improve the ability of health professionals to establish a prognosis” and “improve diagnostic accuracy”. AI can also be used in managing health complications, assisting with patient care during treatment, and in research “aimed at discovery or treatment of disease”. For example, at Toronto’s Hospital for Sick Children,  researchers have come up with a computer model to predict  “whether a patient will go into cardiac arrest  in the next five minutes”.

In addition, some researchers have proposed that AI can address racial disparities in health care. This suggestion may seem to contradict the premise of this article that AI can be discriminatory. However, it is important to note that AI is not inherently good or bad. Rather, it can have desirable or undesirable results depending on the data used to train the algorithm. In a recently published study, Pierson et al used a machine learning algorithm on a dataset of knee radiographs. They claim that because they used a racially and socioeconomically diverse dataset, their algorithm was able to “reduce unexplained [pain] disparities in underserved populations”.   Their conclusion was that the algorithm’s predictions “could potentially redress disparities in access to treatments like arthroplasty”. Notably, the study had limitations. Because of the “black box” nature of the algorithm (a common critique of AI is that it can be unclear how exactly the algorithm arrives at its results), the authors admitted that they could not identify which features of the knee the algorithm used to predict pain. As a result, it was not evident what features were being missed by radiographers and it is therefore unclear whether altering treatment plans for these individuals would confer any benefits on them. Nevertheless, this study is an example of the possible positive impact that algorithms can have on providing health care.

While it is exciting that AI has the ability to improve efficiency in the health care setting, and might even help to reduce disparities, many authors in the field warn of the need to proceed with caution. They cite concerns over the lack of algorithmic transparency (especially when governmental bodies use AI to make important, life-changing decisions), the impact on an individual’s privacy, and the potential for these algorithms to have an indirectly discriminatory effect. Given that discrimination within health care is systemic and often indirect, it is important to be attentive to the use of these new technologies and to ensure they do not promulgate discrimination.

In a recently published study, Pierson et al used a machine learning algorithm on a dataset of knee radiographs. || (Source: creativecommons // Minnaert)

How can AI in healthcare have a discriminatory effect?

AI can be biased. Barton et al explain that an algorithm might make predictions that disparately impact a particular group of people, causing them to experience certain harms, “where there is no relevant difference between groups that justifies such harms”. This bias can can show up in many different phases of a project entailing AI, but Barton et al contend that there are two especially problematic causes of bias: historical human biases and unrepresentative data.

They explain that historic human biases and “deeply embedded prejudices” can become amplified in computer algorithms. For example, an algorithm used by judges to determine whether offenders were likely to reoffend (impacting whether or not they should be released on bail) used multiple variables to determine an offender’s risk score. These variables included defendant demographics and arrest records. Barton et al explain that “African-Americans were more likely to be assigned a higher risk score” when “compared to whites who were equally likely to re-offend”. Given that they were comparing individuals that were equally likely to re-offend, why were members of one group more likely to be assigned a higher risk score by the algorithm? It had to do with the use of arrest records in the training data. The authors highlight the importance of the social context and the role of historical human biases: “if African-Americans are more likely to be arrested and incarcerated […] due to historical racism, disparities in policing practices or other inequalities within the criminal justice system, these realities will be reflected in the training data and used to make suggestions about whether a defendant should be detained”. 

Unrepresentative data poses another problem. Barton et al point out that if data used to train the algorithm is under-representative of a certain group, the predictions the model makes might be less accurate for that group. On the other hand, algorithms might include and rely on too much data pertaining to a particular group and therefore “skew the decision toward a particular result”.

What can be done about this risk of discrimination?

Many have wondered how individuals can be protected against this risk. First, it is important to consider the complexity of the problem. It might be difficult to avoid disparate impacts in practice because (apparently neutral) variables used in algorithms can easily, and without any intention on the part of the developer, function as a proxy for individuals belonging to a group protected from discrimination under the law. However, the solution is not to simply remove all proxies that can result in bias. Cofone explains that “proxies for a protected category could also be a proxy for useful and legitimate information”, so removing proxies might have the effect of removing accuracy as well. Additionally, it might be difficult for developers to foresee the effects of using the variables they choose. Nevertheless, the problems discussed above can be mitigated by a more careful and deliberate selection of the training data being used as input in these algorithms; Cofone therefore recommends regulating the data used as an approach to combat discrimination. He points out that regulation can entail requiring companies to modify their training data, for example by training their models in such a way that they treat groups equally in the decision-making process of the algorithm, as opposed to entrenching real-world biases.

Because of the importance of the data selected to train an algorithm, researchers propose an ex-ante approach to regulating AI. For example, in the United States, lawmakers have proposed an “Algorithmic Accountability Act” to regulate AI, which would  require companies “to conduct impact assessments for existing and new ‘high-risk automated systems’”. Impact assessments have been suggested as a useful tool in regulating AI. They entail an evaluation of “how an automated system is designed and used, including the training data it relies on, the risks a system poses to privacy or security, and various other factors”. In a similar vein, Canadian legislators may consider legislation that would require companies, service providers (such as hospitals), and decision makers to check for bias that might occur from their use of AI.

Another proposal for addressing algorithmic discrimination is to update Canada’s privacy laws by requiring “public bodies to log and trace their data collection and processing systems” and giving Canadians the right to know exactly which personal information, reasons and factors formed the basis for decisions made about them. Although this suggestion was made to address algorithmic decisions made by federal public bodies, it might also be a useful tool to regulate decisions made by hospitals given the importance of these decisions on an individual’s life. This might entail an update of existing provincial health privacy legislation, such as Ontario’s Personal Health Information Act.


Exciting technological advances that encompass the use of AI in health care have the potential to dramatically improve the lives of patients across Canada. However, these advances are not without their risks. Given the high stakes in health care, Canadian lawmakers should work to ensure that when AI is used, it does not have the unintended effect of perpetuating biases and disadvantaging individuals, especially ones who have historically faced barriers to equal access to health care. Many commentators are calling for the government to regulate AI. It is imperative that these calls, and their legal responses, seek to address the risks of discriminatory effects resulting from the use of AI in health care.

Annelise Harnanan is a Senior Online Editor with the McGill Journal of Law and Health. She is in her third year of the B.C.L./ LL.B. program at McGill University’s Faculty of Law. She holds a BA with distinction in Political Science from Dalhousie University and has a keen interest in health policy.

Les tentatives du CEPMB de réduire le fardeau du coût élevé des médicaments au Canada

Contribué par Anita Sengupta


Les prix des médicaments brevetés au Canada sont parmi les plus élevés au monde. Le Canada est le seul pays, avec un plan de santé publique national et universel, qui n’inclut pas une couverture de médicaments par prescription. Sous le Loi canadienne sur la santé, seulement les médicaments utilisés dans les hôpitaux sont couverts, alors que ceux pris à la maison ne le sont pas. Environ 20% de Canadiens déclarent qu’ils paient leurs médicaments sur ordonnance de leur poche, tandis qu’un Canadien sur cinq a du mal à payer ses médicaments d’ordonnance.

En 1987, le gouvernement fédéral du Canada a créé l’organisation indépendante du Conseil d’examen du prix des médicaments brevetés (CEPMB), ayant pour but de contrôler la tarification extrême des médicaments. Malgré cela, le coût des médicaments est plus élevé au Canada que dans les autres pays de l’Organisation de coopération et de développement économiques (OCDE), à l’exception des États-Unis et de la Suisse. Pour remédier à cela et rendre les médicaments brevetés plus abordables et accessibles, le CEPMB a annoncé que tous les nouveaux médicaments brevetés seront assujettis aux nouvelles lignes directrices réglementaires du CEPMB.

Bien qu’on estime que les nouveaux règlements génèreront des épargnes de CA$12.6 milliards au cours des dix prochaines années, ces règlements sont très impopulaires auprès des parties prenantes. Cet article examinera les directives du CEPMB les plus contestées, les raisons derrière les défis des parties prenantes qui ont paru devant les tribunaux, et l’impact social potentiel des changements proposés.

Environ 20% de Canadiens déclarent qu’ils paient leurs médicaments sur ordonnance de leur poche, tandis qu’un Canadien sur cinq a du mal à payer ses médicaments d’ordonnance. || (Source: pixabay // nosheep)

Le rôle du CEPMB vis-à-vis les prix des médicaments brevetés   

Dans le cadre des réformes à la Loi sur les brevets, le CEPMB a été créé pour réguler le prix des médicaments. Le CEPMB est une organisation indépendante et de pleine concurrence de la ministre de la Santé. Il a un rôle régulatoire d’assurer que les prix des médicaments brevetés n’est pas excessif, ainsi qu’un rôle de rédaction de rapports, ce qui inclut des rapports annuels sur les tendances des prix dans l’industrie pharmaceutique. En plus, le CEPMB publie des lignes directrices, sous paragraphe 96 (4) de la Loi sur les brevets, afin de fournir une transparence et une prévisibilité aux détenteurs de brevets sur le processus de la revue des prix.

En 2015, le CEPMB a décidé d’amender les lignes directrices anciennes et a commencé un processus consultatif avec les parties prenantes. Lors de ce processus consultatif, les parties prenantes ont contesté plusieurs changements proposés par le CEPMB. Les nouvelles lignes directrices du CEPMB devaient entrer en vigueur le 1er janvier 2021, mais cette date a depuis été reportée au 1er juillet 2021.

Les changements des lignes directrices les plus contestées

Au cours de la période de consultation du CEPMB, de nombreux intervenants, dont des innovateurs, des gouvernements provinciaux, des organismes, des professionnels de la santé et des chercheurs en santé, ont critiqué les changements apportés aux lignes directrices du CEPMB. Certains ont contesté les trois changements proposés, énumérés ci-dessous, devant des tribunaux fédéraux et provinciaux.

Objections fortes des parties prenantes

Jansen, l’aile pharmaceutique de Johnson & Johnson, craignait que si les sociétés pharmaceutiques étaient obligées de vendre des médicaments à un prix inférieur, elles seraient dissuadées de vendre au Canada, ce qui par inadvertance limiterait l’accès aux médicaments plus efficaces. L’association Médicaments Novateurs Canada a déclaré qu’elle est profondément concernée par l’impact néfaste que pourraient avoir les règlements modifiés sur l’accès aux médicaments rentables et innovateurs au Canada et sur la capacité du pays d’attirer des investissements dans le secteur des sciences de la vie. Les gouvernements provinciaux, comme ceux de l’Ontario et du Québec, sont inquiets que les nouvelles modifications auront un effet négatif sur les industries en sciences de la vie. En Ontario, les industries des sciences de la vie embauchent environ 83 000 employés et constituent 38,5 milliards de dollars du produit intérieur brut de la province. Le Québec essaie d’attirer 4 milliards de dollars en investissements privés en sciences de la vie d’ici 2022, mais cet effort serait probablement affecté par la réglementation rigoureuse des prix du CEPMB. Le gouvernement fédéral a répondu à ces inquiétudes en déclarant que les pays avec des prix plus faibles ont plus d’investissements dans l’industrie pharmaceutique,  ainsi qu’un accès aux médicaments aussi bon ou meilleur qu’au Canada. Pourtant, quand le CEPMB a partagé les lignes directrices modifiées, les parties prenantes étaient loin d’être convaincues et ont contesté la modification devant la Cour fédérale et la Cour supérieure du Québec.

Les cas à la Cour fédérale et la Cour supérieure du Québec

Le 29 juin 2020, Médicaments Novateurs Canada, une association nationale de compagnies pharmaceutiques avec des activités de recherche, et quelques compagnies pharmaceutiques particulières, ont contesté le l’utilisation du CEPMB par le gouvernement fédéral en tant que mécanisme pour réduire de façon généralisée les prix de médicaments brevetés au Canada. Ils ont contesté spécifiquement les trois modifications énumérées ci-dessus. Le 29 juin 2020, la Cour fédéral a émis sa décision dans la revue juridique de le Modification au Règlement sur les médicaments brevetés qui gouverne le CEPMB. La Cour a décidé que la décision de modifier la liste de pays de référence était raisonnable parce que la comparaison simple de prix ne mène pas au contrôle de prix. La Cour a aussi trouvé que les nouveaux facteurs économiques étaient dans le cadre de l’autorité régulatoire du CEPMB et de son rôle de baisser les prix pharmaceutiques excessifs. Toutefois, la Cour a trouvé que les nouvelles exigences de prix pour le calcul des prix de médicaments « dépasse la compétence du Conseil en matière d’établissement des prix du fabricant en vertu de la Loi sur les brevets. » Il a trouvé que cette modification est ultra vires àla Loi sur les brevets parce que la loi inclut seulement la vente par un détenteur de brevet à un(e) client(e), et non le rabais que les parties prenantes ont offert après le fait, ce qui ne faisait pas partie de la première pointe de la vente.

Le 18 décembre 2020, les compagnies pharmaceutiques québécoises ont amené leur cause à la Cour supérieure du Québec. Elles ont soutenu que le régime actuel du CEPMB, de même que les trois modifications, sont inconstitutionnels parce que la réglementation des prix est une compétence provinciale et le gouvernement fédéral ne peut pas réguler les prix excessifs à moins qu’il y ait abus de brevets. La Cour a trouvé que le régime actuel est constitutionnel puisque la prévention des prix excessifs des médicaments a un lien réel, direct et logique avec les brevets et ne porte pas atteinte de manière déraisonnable aux pouvoirs provinciaux. Quant aux trois modifications, la décision de la Cour supérieure du Québec est similaire à celle de la Cour fédérale en ce qu’elle a jugé la liste de référence et les facteurs économiques obligatoires raisonnables. Pourtant, la Cour supérieure du Québec a trouvé que la divulgation des rabais des parties prenantes et la réduction de prix en conséquence serait une incursion directe à la compétence provinciale.

Le CEPMB a répondu aux commentaires des intervenants et aux décisions de la Cour fédérale et de la Cour supérieure du Québec et ont apporté quelques changements aux modifications proposées.

Le coût humain des prix élevés des médicaments

Au Canada, certains régimes de santé publique ne couvrent pas complètement les médicaments par prescription en dehors du cadre des hôpitaux. Si un patient reçoit un traitement intraveineux dans un hôpital, ce patient n’encourt aucun frais. Pourtant, si on prescrit des médicaments pour prendre à domicile, comme des pilules prises par voie orale ou des médicaments auto-injectables, qui composent 60% de tous traitements pour le cancer, le patient doit assumer lui-même le coût de ces médicaments. Le coût du traitement pour le cancer est approximativement 6 000 $ par mois, et ce traitement peut durer pour plus d’un an. Les patients sont alors obligés de faire des choix difficiles, comme réhypothéquer leur maison, encaisser leur épargne-retraite et, dans certains cas, refuser le traitement de peur de mettre leur famille en faillite.

Si un patient reçoit un traitement intraveineux dans un hôpital, ce patient n’encourt aucun frais. || (Source: creativecommons // that one asian)


Le débat ne devrait pas être axé sur la question de savoir si le prix de médicaments devait baisser, mais plutôt sur la meilleure façon de les baisser. Il y a un équilibre qui est difficile à établir entre les besoins des patients et l’industrie. Depuis cinq ans, le CEPMB, via son processus consultatif, a essayé de trouver cet équilibre. Pourtant, en considérant le nombre de contestations par l’industrie et les gouvernements provinciaux aux lignes directrices de CEPMB, c’est difficile de dire si cet équilibre a été véritablement atteint. Les alternatives, comme inclure les médicaments par prescriptions dans le cadre de couverture des régimes de santé publiques, devraient aussi être considérées, afin de complètement enlever le fardeau des prix élevés des médicaments par prescriptions des consommateurs canadiens.

Anita Sengupta est la rédactrice en chef en ligne de la Revue de droit et santé de McGill. Anita est une étudiante BCL/JD en deuxième année et la détentrice de la bourse Wainwright à la Faculté de droit à McGill. Anita a un baccalauréat spécialisé en lettres et en biologie à l’Université Carleton, ou elle a reçu la Médaille du Sénat pour son rendement académique exceptionnel. Anita travaille dans le domaine du droit de la propriété intellectuelle à Innovation, Sciences et Développement économique Canada. Lors de ses études de baccalauréat, Anita a reçu une bourse du Conseil de recherches en sciences naturelles et en génie du Canada (CRSNG), qu’elle a utilisé pour mener des recherches en biologie moléculaire et en génétique. Anita aussi a présenté une affiche sur sa recherche en soins palliatifs à la Conférence de la santé mondiale 2018 à l’école de médecine à l’Université d’Ottawa.