oversight

Report 2015-001-LIT - An Exploratory Evaluation of EEOC's Litigation Activities

Published by the Equal Employment Opportunity Commission, Office of Inspector General on 2016-06-01.

Below is a raw (and likely hideous) rendition of the original report. (PDF)

     




An Exploratory Evaluation of EEOC’s 
Litigation Activities  
Harry Hatry                       Jane Wishner                  Brent Howell


June, 2016



 
 
 
 
PREPARED FOR 
The Office of Inspector General, US Equal Employment Opportunity Commission  

Contract No. GS‐23F‐8198H 

OIG Project Number 2015‐01‐LIT 




                                                           
                                                           
ABOUT THE URBAN INSTITUTE  
The nonprofit Urban Institute is dedicated to elevating the debate on social and economic policy. For nearly five decades, Urban 
scholars have conducted research and offered evidence‐based solutions that improve lives and strengthen communities across 
a  rapidly  urbanizing  world.  Their  objective  research  helps  expand  opportunities  for  all,  reduce  hardship  among  the  most 
vulnerable, and strengthen the effectiveness of the public sector. 




ABOUT THE US EQUAL EMPLOYMENT OPPORTUNITY COMMISSION 
The US Equal Employment Opportunity Commission (EEOC) is responsible for enforcing federal laws that make it illegal to 
discriminate against a job applicant or an employee because of the person's race, color, religion, sex (including pregnancy), 
national origin, age (40 or older), disability or genetic information. It is also illegal to discriminate against a person because the 
person complained about discrimination, filed a charge of discrimination, or participated in an employment discrimination 
investigation or lawsuit. 
Contents 
Executive Summary                                                                                           E‐1 
   Priority Setting                                                                                         E‐2 
   Relationships and Collaboration                                                                          E‐2 
   Performance Management: Measurement, Analysis, and Data Use                                              E‐4 
   Administrative Issues                                                                                    E‐5 

Section I: Introduction                                                                                       1 
   Scope of the Examination                                                                                   1 
   Research Methods                                                                                           2 
   Background                                                                                                 3 
   Remainder of Report                                                                                        4 

Section II: Priority Setting                                                                                   5 
   Classifying Charges and Priority Charge Handling Procedures                                                 5 
   Attorneys’ Role in the Investigation and Conciliation Process                                              10 
   Deciding Which Cases to Litigate (and Internal Process for Reviewing and Approving Those        Decisions) 11 
   Litigating Cases                                                                                           11 

Section III: Relationships and Collaboration                                                                12 
   Collaboration between OGC and OFP Headquarters Staff                                                      12 
   Collaboration between OGC Headquarters Staff and Legal Staff in the Field                                 12 
   Collaboration among Legal Staff in Different District Offices                                             12 
   Collaboration between Legal and Enforcement Staff within a District Office                                13 
   Roles of the Office of Research Information and Planning and Research and Analytic Services in Litigation 16 

Section IV: Performance Management, Measurement, Analysis, and Data Use                                      19 
   Timeliness of Resolution                                                                                  20 
   Consent Decree Compliance Reviews                                                                         21 
   Provision for Data Analysis                                                                               22 
   Use of Performance Information                                                                            24 
   Measurement of Success in Reducing Employment Discrimination                                              26 

Section V: Administrative Issues                                                                             27 
   Budget                                                                                                    27 
   Training                                                                                                  28 
   Lessons Learned—Best Practices                                                                            28 
   Information Technology                                                                                    29 

Section VI: Future Litigation‐Related Evaluation                                                             30 

Appendix A: List of Reviewed EEOC Documents                                                                  31 

                                                           
                                                           
Appendix B: Interview Respondents                                                            33 

Appendix C: The EEOC’s Strategic Enforcement Plan Priorities                                 34 

Appendix D: Suggested Measures from the Urban Institute’s “Evaluation of EEOC’s Performance 
Measures”                                                                                    35 
  Strategic Objective I: Combat employment discrimination through strategic law enforcement  35 

Appendix E: List of Technology Needs Assembled by the Phoenix Regional Attorney              38 

Appendix F: List of Recommendations                                                          40 
   Priority Setting                                                                          40 
   Relationships and Collaboration                                                           40 
   Performance Management, Measurement, Analysis, and Data Use                               42 
   Administrative Issues                                                                     45 

Appendix G: Agency Comments on Urban Institute Draft Report                                  47 

Appendix H: Author’s Response to Comments                                                    76 

References                                                                                   81 
Acknowledgments 
The Office of Inspector General at the Equal Employment Opportunity Commission funded this report. We are 
grateful to them and to all our funders, who make it possible for Urban to advance its mission.  

      The views expressed are those of the authors and should not be attributed to the Urban Institute, its trustees, 
or its funders. Funders do not determine research findings or the insights and recommendations of Urban experts. 
Further information on the Urban Institute’s funding principles is available at www.urban.org/support. 

      We also thank the staff at the Equal Employment Opportunity Commission who took the time to speak with us 
and to the leadership who took the time to provide detailed comments regarding our report. 




                                                            
         V                                                                              ACKNOWLEDGMENTS
                                                            
                                Executive Summary 
This report provides the Urban Institute’s findings and recommendations from its brief examination of the Equal 
Employment Opportunity Commission’s (EEOC) litigation activities. The Office of Inspector General (OIG) asked us 
to undertake a broad, rather than in‐depth, examination of the EEOC’s litigation function. This was an exploratory 
effort. It was not a program evaluation. Our work focused on issues relating to planning, management and 
performance. Early in our work, we found that a proper assessment of the EEOC’s litigation work must also 
examine several aspects of the EEOC’s enforcement activities as they relate to the prioritization and investigation 
of charges considered strategically significant and which might result in litigation if the charges fail conciliation. 

    The scope of our work did not include important litigation elements such as: an examination of litigation 
quality, impact or success; the EEOC’s appellate court activities, or issues relating to the relationship of the EEOC to 
state and local Fair Employment Practices Agencies.  

    Our findings are based on two forms of data collection: (1) a review of numerous documents (see appendix A), 
and (2) interviews with officials at EEOC headquarters and with leadership in the district offices, including regional 
attorneys and district directors (see appendix B). The study was not intended to provide statistical information but 
was designed to provide an overview of litigation‐related activities that would likely benefit from further EEOC 
attention. 

    An overarching finding of our study is that litigation and enforcement activities, while under completely 
separate organizational offices, are linked closely together—you can’t have one without the other. Our overall 
recommendation here is to further strengthen the EEOC’s performance partnerships in the districts between the 
Office of Field Programs (OFP) and the Office of General Counsel (OGC) —members of the same team working 
toward a common goal. The agency and offices involved recognize the importance of collaboration between OFP 
and OGC. Indeed, the EEOC’s Strategic Objective I, “combat employment discrimination through strategic law 
enforcement,” includes “investigation, conciliation, and litigation” as responsible for achieving this objective. All 
the 2013 District Complement Plans contain a section on “Strategies for Collaboration.”  

    Our interviews indicated that attorneys often provide advice in many phases of the charge handling process. 
Similarly, the work of investigators plays a major role in the work of attorneys. Weak investigations can result in 
the EEOC not being able to pursue litigation or lead to resolutions that are less favorable than could have been 
achieved with a stronger investigation. A number of our specific recommendations identify actions toward 
strengthening this partnership.  

    We group our findings and recommendations under the following topics: (1) priority setting, vital for allocating 
resources effectively given the number of charges each district receives and to conducting investigations and 
internal evaluations of cases that have been prioritized for potential litigation if they are not resolved through 
                                                              
      EXECUTIVE SUMMARY                                                                                        E‐1
                                                              
conciliation; (2) relationships and collaborations; (3) issues of performance management, performance 
measurement, and data analysis; and (4) outstanding administrative issues. 

        The recommendations that follow represent the most compelling results from our evaluation. A full set of 
recommendations is provided in appendix F. 




Priority Setting 
Provide all priority charge handling procedures definitions and criteria for classifying charges in one document 
that also explains the relationship between SA classifications, systemic cases, and Strategic Enforcement Plan 
(SEP) and District Complement Plan (DCP) priorities. Priority charge handling procedures have been the subject of 
extensive attention by the EEOC since 1995 and were most recently revised in 2014. They require significant 
judgment calls from both enforcement and litigation staff. The EEOC has provided considerable guidance on this at 
many times. However, our interviews indicate some remaining inconsistency in interpretation and confusion over 
the current standards. We recommend providing one document that defines all the current classifications and the 
criteria for using them and provides greater clarity about the criteria for prioritizing charges, particularly for 
strategically significant A (SA) and systemic cases, including identifying the extent to which they overlap. The 
agency should also clarify criteria for selecting cases for litigation from among the SA priority charges that failed 
conciliation. These might include, for example, strength of evidence and availability of resources to litigate as well 
as potential impact. While we recognize that individual judgment will ultimately be needed, further guidance will 
likely help those making these choices. 

Provide more guidance regarding the field attorneys’ expected role in the priority charge handling procedures. 
Such guidance could clarify how attorneys should participate in charge classification, particularly for A, SA, and 
systemic case classifications, while maintaining some discretion with district leadership based on available attorney 
resources. 




Relationships and Collaboration 
Continue to promote flexibility, efficiency and coordination that advance the agency’s strategic priorities. Given 
the EEOC’s frozen staffing levels, the agency has to be both creative and nimble with its resources. One way the 
agency is accomplishing this is through OGC’s flexibility to use staff attorneys from across district offices to help 
during times of intense resource needs in other district offices. The headquarters staff in OGC aid in finding 
available attorneys in other districts. Interviewees indicated that this process seemed to be well received by the 
attorneys. 


           E‐2                                                                             EXECUTIVE SUMMARY
 
Continue to improve the relationships between attorneys and investigators. District directors and regional 
attorneys still report some tension between attorneys and investigators. We were told that the extent to which 
this effects charge handling and litigation varies considerably among offices, and even area and field offices may 
have different levels of collaboration than the district office. According to respondents the relationships between 
attorneys and investigators has already been the focus of significant agency efforts and improvements are slowly 
progressing. Some attorneys, we heard, are not sufficiently respectful of investigators and think some investigators 
are not producing high‐quality investigations that can lead to litigation. High‐level officials in both OGC and the 
Office of Field Programs (OFP) are aware that such tensions sometimes occur. Indeed, they assigned a senior 
official working in OFP to help address them. Our scope of work did not include examining the extent to which 
such problems exist. 

    We provide a number of recommendations, derived from ideas of those we interviewed. 

             Continue to emphasize to legal and enforcement staffs that their two functions are a partnership, and 
              that congenial and respectful collaboration is appropriate behavior. 

             Survey all attorneys and investigators periodically to identify the nature and extent of any problems 
              in the field. This could serve as a way to track progress in strengthening collaboration between 
              attorneys and investigators. We understand that the EEOC is presently considering undertaking such 
              a survey. Regularly surveying field staff can also be helpful in providing EEOC leadership with 
              feedback from field personnel on other issues as well.  

             Continue to identify best practices based on successful attempts by individual offices to improve 
              collaboration.  

Assess the roles of OGC and the Office of Research, Information and Planning (ORIP) in litigation activities. 
Relations appear to be somewhat uneasy between Research and Analytic Services (RAS), located under OGC, and 
part of ORIP, specifically the Program Research and Surveys Division that supports the work of the district office 
enforcement on systemic cases. Some respondents identified issues of timeliness and substance of analysis. Some 
OGC personnel stated that ORIP’s analyses have sometimes been insufficient to support a lawsuit or had to be 
redone for litigation. While respondents did not indicate that these issues arise frequently, they were still of 
significant enough consequence that respondents, unprompted, identified them as a weakness of the agencies 
litigation activities. We understand ORIP’s efforts often contribute to significant relief in systemic cases, yet there 
seems to be an opportunity to further strengthen ORIP’s efforts. We make two suggestions: 

             Periodically survey the district office enforcement and litigation staff specifically about the services 
              provided by ORIP and RAS. ORIP has already done at least one such survey of its analytic‐support 
              customers (field investigators). We recommend expanding the respondents to include OGC staff 


                                                             
     EXECUTIVE SUMMARY                                                                                        E‐3
                                                             
               including attorneys and regional attorneys in the district offices. This survey could be combined with 
               the survey we recommend above focusing on collaboration between litigation and enforcement staff.  

              Investigate options for addressing the separation of the roles of these offices for systemic cases.  




Performance Management: Measurement, Analysis, and Data 
Use 
We examined a number of measurement‐related elements which could be strengthened. 

Develop a process for tracking compliance contained in consent decrees. Practical approaches to undertaking 
compliance reviews, especially for consent decrees, are needed. ORIP reports provide data on numbers of 
conciliation compliance reviews as well as whether or not conciliations were successful. However, the 2015 data 
indicates that most district offices did not do compliance reviews. Nor has OGC been reporting compliance reviews 
for consent decrees. The regional attorneys we spoke with rely on complaints from charging parties and, for 
consent decrees, on required written reports from employers. 

Develop a process for estimating the effectiveness of injunctive relief. The EEOC’s Research and Data Plan for 
2016‐2019 calls for such an effort. According to ORIP and the Office of the Chair, such a study is already underway. 
A benefit of this effort might be a clearinghouse of evidence‐based materials that have indicated success in 
preventing certain types of discrimination, and which have the potential to be more widely incorporated into 
consent decrees.  

Provide each district office, both regional attorneys and district directors, statistical reports with litigation and 
enforcement data that combine all the data for that particular office. ORIP already provides tabulations for many 
performance indicators in reports that provide data together on all field offices. A complement to those reports 
would be to provide each district office with its own statistical report. The report should include both enforcement 
and litigation data and would report performance data on a particular district office excluding other districts. This 
would enable managers in each district office to see together the flow of their district’s work and the outcomes 
from intake to final charge disposition. For example, investigators could see the eventual number of charges going 
into litigation and attorneys could see basic workload information and flow. The report might also include the 
district’s own data on previous years to allow trends to be better identified. 

Develop a procedure for reporting the charges that failed conciliation and regularly review these data. These 
reports could be more useful if the tabulations include breakdowns by types of charges and by reason for not 
going to litigation for SA charges that failed conciliation but were not chosen for litigation. A review of this nature 




        E‐4                                                                               EXECUTIVE SUMMARY
 
could identify problems needing attention in field offices and nationwide. It might also provide evidence for 
increasing resources if the agency is unable to litigate many good cases due to lack of staff.  

Hold regular performance review meetings for headquarters leadership, with the Director of OFP and the 
General Counsel (and perhaps the Chief Operating Officer) taking turns facilitating the meeting. Meetings would 
begin with a review of the latest statistics reports prepared by OGC and ORIP, supplemented by other relevant 
information, which would help gauge progress toward agency goals and identify problem areas. Meetings should 
identify causes of problems and any actions needed to address those problems. This represents a version of the 
“data‐driven performance reviews” that have been overseen by the Office of Management and Budget in 
reviewing federal agency national priority goals. A rotating sample of regional attorneys and district directors 
might be asked to participate remotely in these meetings. 

Encourage each district office to hold similar “How Are We Doing?” meetings on their own data. These meetings 
should include the district director and regional attorney, and at least other supervisory staff. Meetings could be 
facilitated by either the district director or the regional attorney, with the two possibly alternating in the role. 

Pilot test annual district office work plans to update priorities based on current national and local conditions 
and track progress toward SEP and DCP goals. Both the SEP and DCPs are three‐year plans. The plans proposed 
here would focus on identifying the strategies for the district office for the next year. The plans would examine the 
existing and projected workloads and other issues facing the district office in the next year. The district might set 
targets for itself on some of the key measures and track progress during the year towards those targets. 




Administrative Issues 
Conduct an evaluation of attorney, paralegals, and investigators grade levels. Several respondents raised 
concerns that experienced field attorneys were leaving the EEOC to earn more money from comparable positions 
in other federal departments, such as the Department of Justice and Department of Labor. If the EEOC is not 
already examining the extent to which this is occurring, it should do so. This may require strengthening EEOC’s exit 
interviewing process. If similar agencies are found to frequently use higher grade levels, and staff are citing this as 
a reason for leaving the EEOC, this should be a priority concern for the agency. Higher GS levels are likely to be 
easier to obtain than higher staffing levels.  

Consider improved training in statistical analysis, human relations, and management. Respondents reported that 
good training opportunities are largely available, especially on “substantive content” issues. Three areas where 
respondents suggested  training is likely to be desirable are: (1) understanding and use of basic statistical 
information, (2) human relations, such as to help  attorneys and investigators work better together, and (3) 


                                                              
      EXECUTIVE SUMMARY                                                                                        E‐5
                                                              
management training for regional attorneys, many of whom are likely to be more experienced, and interested, in 
litigation than management.  

Continue to identify “best practices” for the EEOC’s litigation work. Identification, documentation, and 
dissemination of best practices are becoming popular within several federal agencies. Best practice material of this 
nature already exists within the EEOC. Topics for future emphasis could include: (1) approaches district offices can 
use to strengthen collaboration between attorneys and investigators and (2) approaches to tracking compliance 
with consent decree requirements.  




        E‐6                                                                            EXECUTIVE SUMMARY
 
                               Section I: Introduction 
In September 2015, the Office of Inspector General (OIG) at the Equal Employment Opportunity Commission 
(EEOC) funded the Urban Institute to conduct a five‐month independent examination of the litigation function of 
the EEOC, focusing particularly on issues relating to planning, management, and performance. The scope of work 
focused on a broad examination of the strategic elements of the EEOC’s litigation activities.  




Scope of the Examination 
This report provides the Urban Institute’s findings and recommendations from its examination of the EEOC’s 
litigation activities. This was an exploratory effort. It was not a program evaluation. OIG was not seeking a program 
evaluation, which would rely on quantitative or survey data to evaluate litigation case management, quality, or 
outcomes. Early in our work, we found that a proper assessment of EEOC’s litigation work must also examine 
several aspects of the EEOC’s enforcement activities, as they relate to the prioritization and investigation of 
charges considered strategically significant and which might result in litigation if the charges fail conciliation.  

        We did not address litigation elements such as: an examination of litigation quality, impact or success; or 
issues relating to the relationship of the EEOC to state and local Fair Employment Practices Agencies. Our scope of 
work also precluded drawing from the experiences of other federal agencies, such as those in the Department of 
Justice and Department of Labor, to obtain feedback on their collaboration with the EEOC and insight into those 
agencies’ best practices that might be beneficial to share with the EEOC.  

        This study also excludes the EEOC’s appellate court litigation activities, including the filing of amicus briefs. 
Appellate court litigation represents a discrete subsection of the EEOC’s litigation efforts. It has its own unique 
considerations, including the cases the EEOC selects for appeal and the cases the EEOC must defend on appeal. 
Evaluating the EEOC’s appellate court litigation would stretch the resources of this evaluation at the expense of 
gathering other vital information about the agency’s more broad‐based litigation activities.  

While our focus is on litigation, we quickly found the agency’s enforcement activities play a vital role in the 
litigation process. Before meritorious charges make it to litigation, they must be processed through procedures 
and practices carried out by district, field, and area office enforcement staff. The role and importance of these staff 
in the litigation process, especially investigators, means that litigation success is highly dependent on enforcement 
staff. In addition, we found that attorneys participate in some elements of the enforcement function, often 
providing advice at the early stage of categorizing incoming charges. The quality of charge classification and 
investigation is highly important to litigation. Any evaluation of litigation activities without examining the charge 
handling process and interaction between enforcement and litigation would fail to adequately address the 
                                                                 
            1                                  AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES
 
environment from which the EEOC’s litigation activities originate.1 Our work focused on four broad aspects of the 
agency’s litigation work: 

             Priority Setting. What are the major issues in the EEOC’s current practices for prioritizing charges and 
              litigation? 

             Relationships and Collaboration. What is the relationship between the EEOC’s enforcement and 
              litigation activities and how are the relationships working within the Office of General Counsel (OGC)? 
              To what extent do investigators and litigators collaborate? How could communication, coordination, 
              and collaboration be improved? 

             Performance Management, Measurement, Analysis, and Data Use. How does the EEOC assess success 
              in litigation‐related activities? What improvements might be made? How is the EEOC integrating 
              statistical and data analysis into its decision making and management around its litigation activities? 

             Administrative Activities. What types of additional trainings are needed? Could litigation resource 
              allocation be improved?  

    Additionally, we have identified areas for possible future research. 




Research Methods 
This examination relied on two primary methods of data collection: (1) a review of relevant documents and (2) 
interviews with key staff in the EEOC headquarters and district offices. We reviewed many documents, including 
the Strategic Enforcement Plan (SEP), 15 District Complement Plans (DCPs), the most recent quarterly statistical 
enforcement and litigation reports from the Office of Research Information and Planning (ORIP) and OGC, and the 
Regional Attorneys’ Manual. A list of the principal documents reviewed during the course of our evaluation is 
presented in appendix A. During our last interview—and then again after we shared a draft report with the OIG to 
obtain comments from the EEOC leadership—we were provided additional documents primarily addressing 
priority charge handling procedures. 

    We conducted 12 interviews with respondents at the EEOC headquarters and district offices. Our interviews at 
the EEOC headquarters included respondents in the Office of Field Programs (OFP), OGC, and the Office of the 


1
  We use the term enforcement activities to indicate the agency’s process that includes the receipt, investigation and resolution 
of “charges of employment discrimination filed against private sector employers, employment agencies, labor unions and state 
and local governments including charges of systemic discrimination.” This function is carried out by the Office of Field 
Programs. “Where the Commission does not resolve these charges through conciliation or other informal methods, the 
Commission may pursue litigation […]” (https://www.eeoc.gov/eeoc/enforcement_litigation.cfm) 



       AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES                                                       2
 
Chair. The district office interviews included three randomly selected regional attorneys2 and two district directors 
recommended by the Director of OFP. A list of the titles and offices of the respondents we interviewed for this 
evaluation is presented in appendix B. 

        The findings from our interviews come from a small number of respondents. We believe the sample was 
adequate enough to obtain a broad overview of the litigation activities and identify issues that warrant the EEOC’s 
attention. The interviews included targeted coverage of key officials at EEOC headquarters who have significant 
roles in litigation‐related activities plus a small sample of field personnel. We do understand that each district is 
unique and has its own needs. Our findings are not meant to be exhaustive nor to identify solutions. Rather, they 
are meant to provide a broad level first‐of‐its‐kind examination of the EEOC’s litigation activities and provide 
tentative recommendations on issues warranting the EEOC’s attention.  




Background 
The EEOC obtained litigation authority to enforce findings of discrimination beginning in 1972. Since that time, the 
agency has focused increasingly on how to target its litigation efforts, beginning with a National Enforcement Plan 
in 1995, which one staff member described as a “watershed moment” in the history of the EEOC. In 1995, the 
Commission also instituted Priority Charge Handling Procedures (PCHP). The Priority Charge Handling Task Force 
report in 1998 further refined the agency’s enforcement efforts. Several years later, the Commission adopted the 
recommendations of the 2006 Systemic Task Force Report to prioritize the identification, investigation and 
litigation of systemic discrimination cases. The Task Force Report defined “systemic cases” as “pattern or practice, 
policy and/or class cases where the alleged discrimination has a broad impact on an industry, profession, company, 
or geographic location.”  

In February 2012, the Commission adopted a Strategic Plan for Fiscal Years 2012–2016. It required the 
development of a SEP that would establish the Commission’s enforcement priorities and would integrate, among 
other activities, the EEOC’s investigation, conciliation, and litigation responsibilities in the private and public 
sectors. The Strategic Plan described the EEOC’s “systemic initiative” as one that “makes the identification, 
investigation, and litigation of systemic discrimination cases—pattern or practice, policy and/or class cases where 
the alleged discrimination has a broad impact on an industry, profession, company, or geographic area—a top 
priority.”  



2
  The 15 District Offices were entered into a random list generator and randomized. The first three district offices in the list 
were selected for interviews. Representatives from OGC helped the Urban research team connect with the regional attorneys 
from the selected districts. Each of the three regional attorneys from the selected districts was available for interview and there 
was no need to substitute respondents. 


                                                                  
            3                                  AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES
 
    In 2012, the Commission adopted the Strategic Enforcement Plan for Fiscal Years 2013–16. The SEP 
supplanted the 1995 National Enforcement Plan, and highlighted the importance of targeted enforcement efforts 
on “an identified set of priorities.” It reaffirmed the 1995 PCHP but stated that PCHP must be “thoroughly updated 
and examined to fully implement the SEP and the Strategic Plan.” Under the SEP, each district office is required to 
adopt a District Complement Plan (DCP), which enables each district to implement the SEP while identifying 
additional priorities within its own enforcement area. The Commission intends to review and update its Strategic 
Enforcement Plan in 2016. Presumably, districts will be asked to update their DCPs as well.  

    While litigation does not commence until a lawsuit is filed, almost all of the EEOC’s litigation arises from 
charges filed with the agency. OGC and its attorneys play an important role in prioritizing charges that are filed 
with the EEOC and in working with investigators on the enforcement side of the agency as those cases are 
developed and go through conciliation. Because the EEOC files a very small number of cases, the work done by 
enforcement staff to identify and investigate priority cases is essential to effective litigation. Therefore, we have 
included the staff attorneys’ roles in those activities in our report. 




Remainder of Report 
The remainder of our report lays out the findings of our examination and provides recommendations for improving 
certain aspects of the agency’s litigation efforts. Section II discusses priority setting, including the priority charge 
handling process, staff attorneys’ work with investigators, and the selection of cases for litigation. Section III 
explores relationships and collaborations between attorneys and investigators, among district offices, and 
between legal staff in district offices and headquarters leadership. Section IV focuses on performance 
management in the district offices and at the EEOC headquarters. This section covers data that is being collected, 
the agency’s analysis efforts (increasingly important for federal agencies), and the use of performance information 
in decision making. Section V briefly examines a number of administrative issues, including training for the EEOC’s 
litigation and enforcement staff and budgeting. We conclude with areas of future study and research that could 
benefit the agency.  




       AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES                                                 4
 
                          Section II: Priority Setting 

Classifying Charges and Priority Charge Handling Procedures  
Identifying strategic priorities, targeting enforcement efforts, and requiring extensive collaboration between the 
Enforcement and Legal staffs has been a high priority of the Commission for over 20 years. These issues have been 
the subject of formal Commission policy, internal agency guidance and directives, and staff training materials. The 
standards and approaches have evolved over time. During the course of our interviews, we asked all interviewees 
basic questions about how the EEOC prioritized cases. We heard different – and sometimes inconsistent – 
descriptions of PCHP and its relationship to the identification and development of systemic cases. We also had 
difficulty identifying written documentation that clarified the current standards for prioritizing charges. Our draft 
of this section of the report generated significant comments from multiple reviewers who noted concerns over our 
description of how the agency’s charge classification system works. We were also provided copies of documents 
we had not seen previously. These comments and documents have been extremely helpful. We have revised this 
section of our report to incorporate information from these materials.  

        Our interviews reflected that there are different understandings of these standards. The issue is not whether 
we fully understand the standards but whether agency staff understand them and apply them consistently. Our 
review of the comments to the draft report and the documents provided to us have not changed our finding that 
confusion exists among at least some staff about the standards for prioritizing charges and the relationship of 
priority charges to systemic cases. Now that we have had an opportunity to review these documents, we 
understand why there might be confusion in the field. We thus have retained, although refined, our 
recommendation that the EEOC consider clarifying in one document all standards and criteria for identifying and 
classifying charges and that it further clarify the relationship between strategically significant A (SA) charges and 
systemic cases.  

        As the Commission stated in the FY 2013‐2016 SEP, the goal in identifying national priorities is “to ensure that 
agency resources are targeted to prevent and remedy discriminatory practices where government enforcement is 
most likely to achieve broad and lasting impact” (US Equal Employment Opportunity Commission 2012a, 8). In 
the SEP, the EEOC reaffirmed the approach and principles of the Systemic Task Force Recommendations of 2006, 
which required “plans and procedures for early identification of systemic cases . . .” (US Equal Employment 
Opportunity Commission 2012a, 7). The SEP also provided that “[r]igorous implementation of PCHP [Priority 
Charge Handling Procedures] remains the key tool for reducing our pending inventory of charges, effectively 
managing new charges, and ensuring that enforcement priorities receive appropriate attention” (US Equal 
Employment Opportunity Commission 2012a, 11).  
                                                               
            5                                 AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES
 
    The SEP and DCPs identify substantive priority areas of enforcement. Appendix C lists the FY 2013‐2016 SEP 
priority areas. PCHP and the Commission’s initiative to identify, investigate, and litigate systemic discrimination 
cases establish a procedural framework for staff to implement the Commission’s substantive strategic priorities, 
while leaving flexibility to pursue charges and litigation that might not fall under one of the SEP or DCP priority 
issues. 

    For many years, the EEOC has relied on early classification of charges to help manage the large number of 
charges filed every year and to identify high‐priority cases (Igasaki and Miller 1998; US Equal Employment 
Opportunity Commission 2012a, 11–13). Each district is responsible for classifying charges that come into its 
system. The 1995 PCHP identified three broad classifications of charges that are still used by the EEOC today (Equal 
Employment Opportunity Commission 1995) The Regional Attorneys’ Manual summarizes the PCHP classifications 
as follows: 

              Category A: charges that fall within the national or local enforcement plan and other charges where 
               further investigation will probably result in a cause finding of discrimination. 

              Category B: charges “that initially appear to have some merit but will require additional evidence to 
               determine whether continued investigation is likely to result in a cause finding and charges where it is 
               not possible to make a judgment regarding the merits.” Respondents told us that these are cases 
               where there is insufficient information to categorize as A or C; and that B charges constitute the 
               majority of charges that go to mediation. 

              Category C: Charges where “the office has sufficient information to conclude that it is not likely that 
               further investigation will result in a cause finding.” Respondents explained that these are charges that 
               do not appear to raise a valid claim (such as a jurisdictional bar). 

The Regional Attorneys’ Manual explains that “A charges will receive priority treatment; B charges will be 
investigated as resources permit; and C charges will be dismissed.” (Equal Employment Opportunity Commission 
2005) 

    The 1998 Priority Charge Handling Task Force Report distinguished between two types of A cases: A‐1 cases 
that the agency would likely litigate and A‐2 cases that the agency likely would not litigate. In December 2013, 
agency leadership sent an operational directive regarding PCHP as part of their implementation of the SEP and 
DCPs. The December 2013 directive eliminated the A‐1 and an AY designation3 and replaced them with a new “SA” 
classification to identify A charges that are strategically significant. The directive provided criteria for determining 


3
  We did not see documents or receive information from people we interviewed explaining the difference between 
the old A‐1 and AY designations, but because they have been eliminated, defining and distinguishing them was not 
relevant to our work. 


       AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES                                                6
 
whether a charge should be designated as SA and required that Enforcement and Legal staff jointly make the SA 
designation. The directive explained the new SA classification as follows: 

         “The SEP and DCP priorities form the central core of the agency’s focused law enforcement and 
         outreach, but should not preclude work on other matters where government enforcement is 
         strategically significant. Enforcement and Legal staff will jointly determine which meritorious 
         charges (raising priority or non‐priority issues) will be categorized as strategically significant. The 
         forthcoming PCHP guidance will outline a new standard for evaluating cases for potential 
         enforcement and litigation. Enforcement and Legal staff will jointly determine strategic 
         significance based on the following criteria: 

              (1) an assessment that cause is likely and 

              (2) an assessment that government enforcement or litigation will have strategic significance, 
                  meaning it will: 

                       a.   have a broad deterrent impact (beyond the parties), or 

                       b.   have an impact on a large number of individuals, or 

                       c.   have an impact on the development of the law, or 

                       d.   have an impact from the presence of EEOC enforcement (e.g., geographic presence or as 
                            the primary enforcer, such as ADEA enforcement against state entities).”  

         (Berrian, Lopez & Inzeo 2013, 1) 

The December 2013 PCHP directive also addressed the relationship of systemic cases and the SEP and DCP 
priorities to the new SA classification: 

         “Systemic enforcement and litigation remain an essential priority of the Commission, as both the 
         Strategic Plan and SEP reiterate. The SEP and DCPs include specific systemic enforcement 
         priorities identified in the plans to maximize the use of our resources and the impact of our 
         systemic efforts. The focus on SEP and DCP priorities for systemic enforcement does not, 
         however, preclude an office from investigating a potential systemic matter raising a non‐priority 
         issue that may have a significant impact. The district director and regional attorney will jointly 
         determine whether the systemic matter is strategically significant.  

         Effective implementation of the SEP and DCPs requires increased coordination among EEOC 
         offices, particularly for systemic matters, to facilitate strategic decisions about which types of 
         charges and cases within the SEP priorities to pursue and where and when to pursue them.” 
         (Berrien, Lopez & Inzeo 2013, 2) 

The directive further emphasized the importance of collaboration between the Enforcement and Legal staff to 
advance the agency’s goals “of developing priority and systemic cases for litigation and strategic management of 

                                                              
         7                                   AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES
 
investigations.” (Berrien, Lopez & Inzeo 2013, 2) It also stated that the General Counsel and Director of OFP “will 
update internal guidance as appropriate to reflect the standard of strategic significance that replaces the A‐1 and 
AY categories and to reiterate specific legal/enforcement interaction procedures that are required of all districts.” 
Berrien, Lopez & Inzeo 2013, 2) 

    The Regional Attorneys’ Manual has not been updated since the SEP was adopted and the SA classification 
initiated, so it does not provide guidance to staff on the current classification system. We received copies of 
training materials, however, that further explain the SA classification system and how the classification system 
relates to the A, B, and C categories.4 These materials clarify that the agency’s enforcement priorities reflected in 
the SEP and DCP may be raised in charges that are categorized as A, B or C depending on the merit and strength of 
that particular charge. Thus, just because a charge raises a SEP or DCP priority issue does not by itself determine 
whether it should be classified as an A charge. It also must be evaluated to determine whether cause is likely.  

    According to the training slides, once a charge receives an SA designation, it should receive significant 
resources and attention and should not be referred to mediation or dismissed without the agreement of both the 
district director and the regional attorney. Within SA cases, the training slides indicate that the district director and 
regional attorney determine how best to allocate resources but that SA cases that involve SEP or DCP priorities 
“will be accorded the necessary resources for the case development.” The SEP was clearer than the training slides 
or the directive in explaining that “enforcement plan charges (SEP or DCP) are the highest priority” under PCHP. 
(Equal Employment Opportunity Commission 2012b) 

    Although the 2013 directive does not mention A‐2 cases, the training materials confirm that there remains an 
A‐2 category for charges where cause is likely but litigation is unlikely. The materials list three examples of A‐2 
charges: (1) the EEOC does not have litigation authority; (2) the charging party “has competent counsel and EEOC 
litigation would not be strategically significant” and (3) the “EEOC decides it will not litigate.” The Director of the 
OFP explained in his comments to our draft report that the A‐2 designation is used primarily for charges against 
state and local governments where the EEOC does not have litigation authority.  

    The slides also address the relationship between the new SA category and systemic cases, stating that 
“meritorious systemic charges” are likely to fit one of the criteria for designating a charge strategically significant 
with the SA classification. 

    In February, 2015, agency leadership circulated a memorandum regarding the EEOC’s systemic program. In 
explaining the EEOC’s systemic work, the memorandum identified some of the criteria for systemic cases that are 



4
  The directive stated that OGC and OFP would update internal guidance regarding the new SA standard for 
strategic significance. It is not clear whether the training slides constitute that updated internal guidance or 
whether other guidance was provided to the field. 


       AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES                                                8
 
very similar to the criteria used to classify a charge as strategically significant (SA). According to the February 2015 
memorandum: 

            “EEOC’s Strategic Plan defines systemic cases as pattern or practice, policy, or class cases where 
            the alleged discrimination has a broad impact on the industry, occupation, or geographic area. 
            EEOC’s systemic work can thus take many forms. It can consist of big systemic cases on behalf of 
            a large group of victims, cases that are smaller in scope that have an impact on the development 
            of the law, and cases that involve important changes to employer policies and 
            practices.”(emphasis in original) (Yang, Lopez & Inzeo 2015, 1).  

This language describing the type of systemic cases is similar to the wording of the criteria listed in the December 
2013 directive for identifying SA cases. The similarities in the descriptions of systemic and SA cases has likely 
contributed to confusion over the meaning and scope of the new SA classification. 

        The priority‐setting process for charges leaves significant discretion in the districts to both identify the types of 
cases that should be prioritized and to determine the process for classifying cases. While this seems appropriate to 
a certain extent, there seems to be some confusion over the SA classification. One respondent told us that SA 
cases were systemic cases another told us that the SEP priority issues “drive” the classification of SA cases: if it is a 
SEP priority, that is what it makes it an SA case. It is also unclear, based on our interviews and the written materials 
we reviewed, if there is consistency across districts in terms of which cases are designated systemic. 

            Recommendation 1: Provide all PCHP definitions and criteria for classifying charges in one 
            document that also explains the relationship between SA classifications, systemic cases, and 
            SEP/DCP priorities. There are significant judgment calls involved in the agency’s PCHP. Moreover, 
            the PCHP system was developed in 1995 before the Commission launched its systemic case 
            initiative. Agency staff would benefit from greater clarity in defining SA and systemic criteria in 
            the SEP and the regional attorneys’ Manual. Moreover it would be helpful to put all current 
            definitions and criteria used for PCHP in a single document rather than having standards and 
            explanations scattered throughout multiple documents (e.g., the 1995 PCHP, the 2013 directive, 
            and training slides).  

        The 1995 Priority Charge Handling Procedures were clear that “[l]egal unit attorneys in the district offices 
should be involved early in the investigation and classification of Category A charges in order to identify and guide 
the legal development of cases that might result in EEOC litigation” and that offices “should also consider new 
ways of providing legal advice to investigators working on Category B and C charges.”  (Equal Employment 
Opportunity Commission 1995, 16) The December 2013 directive requires Enforcement and Legal staff to jointly 
designate charges as SA. Attorney participation in the classification of charges appears to be common. 



                                                                 
            9                                  AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES
 
Respondents also confirmed that charge classifications are assessed and sometimes changed as an investigation 
proceeds. 

      A September 16, 2011 memorandum from the General Counsel and Director of OFP to all district directors 
and regional attorneys set out “operational directives” including the role of attorneys in the charge classification 
process. We do not believe this has been widely and consistently shared with staff in recent years, and the 
document still refers to classifications that no longer exist (A‐1 and AY cases). We interviewed staff from a three 
districts, and their responses regarding attorney involvement in charge handling varied, with some reviewing all 
charges and others only reviewing those that an investigator initially identified as a priority case.  

            Recommendation 2: Provide more guidance regarding the field attorneys’ expected role in the 
            priority charge handling procedures, including how systemic cases fit into operational directives. 
            Such guidance could clarify how attorneys should participate in charge classification, which is 
            expected for A, SA, and systemic case classifications, while maintaining some discretion with 
            district leadership based on available attorney resources. 

     Finally, in terms of priority‐setting, the SEP includes an open‐ended national priority for addressing emerging 
and developing issues. While this leaves considerable discretion to prioritize many different cases, maintaining 
such a priority in a multiyear enforcement plan appears to be working well and seems appropriate. It has enabled 
the agency to respond to new issues and emerging issues without requiring the Commission to revisit the SEP. 




Attorneys’ Role in the Investigation and Conciliation Process 
Variation exists in the extent to which field attorneys work with investigators on investigations and conciliations. 
As one OGC leader explained, field attorneys’ involvement with enforcement ebbs and flows based on the primary 
demands of their litigation responsibilities. This variation is likely related to competing demands on attorneys’ time 
and is impacted by the level and nature of the collaboration between enforcement and litigation in a particular 
office.  

     For systemic cases, and at least some SA cases, field attorneys generally work with investigators during the 
course of the investigation. Whether this is true for some or all SA cases or for other cases that get stronger as an 
investigation proceeds is unclear from our interviews. Some larger offices are able to designate investigators to 
work primarily or exclusively on systemic cases, and attorneys participate in deciding what relief should be 
pursued during the conciliation process. The extent to which this is the case across all large offices or among the 
smaller offices was unclear from our interviews. The OFP Director noted in his comments to our draft report that 
all district offices have a lead systemic investigator.  



       AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES                                               10
 
Deciding Which Cases to Litigate (and Internal Process for 
Reviewing and Approving Those Decisions) 
Following an unsuccessful conciliation, field attorneys must determine whether a case should be pursued through 
litigation. During the course of our interviews, we identified four criteria that interviewees identified as affecting 
both charge and litigation priorities, in addition to the SEP and DCP priority areas:  

        1.   Issues involving employers with a past history of discrimination charges 
        2.   The strength of evidence available 
        3.   The likely time and cost of pursuing the litigation based on current workloads and available resources  
        4.   The likelihood that the private bar would effectively take on the case 

Those we interviewed emphasized the availability of competent private counsel to represent an individual 
complainant in deciding whether the EEOC should litigate a case. Workloads clearly also play a significant role. One 
office, for example, monitors caseloads so that attorneys do not typically have more than a certain number of 
cases in litigation at any given time.  

        Regional attorneys and OGC headquarters staff must approve the filing of litigation. In certain cases, the 
General Counsel will seek authority from the Commissioners to file a lawsuit. The General Counsel has discretion 
to determine which cases should be brought to the Commissioners for approval. The criteria for seeking 
Commission approval are: (1) significant cost of the litigation, (2) the case involves a developing area of law, and/or 
(3) there is a significant matter of public concern raised by the case. (US Equal Employment Opportunity 
Commission 2012a, 20) 

        Since adoption of the 1995 National Enforcement Plan, the Commission has delegated decisions regarding 
which cases to litigate to the General Counsel and the regional attorneys. The criteria for bringing a case to the 
Commissioners are broad. We did not hear any concerns about how this process is working, except for consistent 
comments on the challenges offices face with limited resources. 




Litigating Cases  
The scope of our work did not include assessing the conduct of litigation by trial attorneys. In general, however, 
one of the strengths identified by the people we interviewed was the quality and commitment of the staff 
attorneys at the EEOC.  

 



                                                               
             11                               AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES
 
                     Section III: Relationships and 
                            Collaboration  
Several categories of relationships were addressed in our exploratory assessment. We asked interviewees about 
collaboration between headquarters offices (OGC and OFP), headquarters staff in OGC and regional attorneys and 
other attorneys in the field, legal staff in different district offices, attorneys and enforcement staff in district 
offices, and ORIP and Research and Analytic Services (RAS). Each is discussed below.  




Collaboration between OGC and OFP Headquarters Staff 
At the upper levels of the EEOC, our interviews suggest that collaboration between OGC and OFP appears to be 
working well. Inevitably, this is affected greatly by the relationship among the top officials in these offices. The 
director of the Office of Field Programs had previously been the acting deputy general counsel in OGC and this was 
cited as a contributing factor to the productive relationship between the leadership in OGC and OFP.  




Collaboration between OGC Headquarters Staff and Legal Staff 
in the Field  
Regional attorneys indicated that collaboration, such as information sharing, on legal matters between 
headquarters and their field attorneys is working well. Respondents praised  OGC for effective communication 
with field attorneys, such as by providing daily emails that help boost morale and create a sense of community 
among attorneys scattered throughout the country. This, we heard, is particularly helpful for attorneys in more 
isolated offices. 




Collaboration among Legal Staff in Different District Offices  
The Systemic Task Force Report, which was reaffirmed by the SEP, included development of a “national law 
enforcement” model to help the EEOC pursue systemic litigation. Among other things, the national law 
enforcement model includes staffing systemic cases based on the needs of the case and assigning legal staff as 
appropriate, regardless of which district they work in.  




       AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES                                                 12
 
        Particularly given the EEOC’s frozen staffing levels, flexibility is needed to undertake practices such as 
assigning attorneys located in one district to another that is overloaded or litigating a major systemic case. OGC’s 
Litigation Management Services Office plays an important role in arranging such assignments and was highly 
praised for being responsive and quick to address needs. Trial attorneys, as indicated by our interviews, are also 
flexible and responsive to requests to provide assistance in cases in other districts. The practice of sending out 
attorneys to different district offices was well received, and our respondents noted that it offers attorneys an 
opportunity to get to know their colleagues and learn new skills and practices in other districts. Combined with 
strong communication between headquarters and the district legal staff, this approach promotes an integrated 
legal effort, thereby furthering the EEOC’s goal of developing a national law enforcement model among its staff 
attorneys.  




Collaboration between Legal and Enforcement Staff within a 
District Office  
Collaboration between legal and enforcement staff in field offices is an important topic for the EEOC and has been 
a high priority of the agency for many years. Specifically, the SEP requires that each district’s DCP directly address 
collaboration between enforcement and legal staff within the EEOC. “Having a seamless, integrated effort between 
the staff who investigate and conciliate charges and staff who litigate cases on behalf of the Commission is 
paramount” (US Equal Employment Opportunity Commission 2012a, 16). This includes having “regular and 
meaningful consultation and collaboration between investigative and legal staff throughout investigations and 
conciliations” (US Equal Employment Opportunity Commission 2012a, 16).  

        We emphasize that in identifying specific problems identified in our interviews, we do not know whether such 
occurrences are rare, frequent, or somewhere in between. We are sensitive to the ongoing development of 
greater collaboration between legal and enforcement staff and are aware that the agency has focused resources 
on improving collaboration. Still, these relationships play an important role in identifying charges and developing 
cases for litigation, and some of our respondents identified ongoing tensions in these relationships as a concern. 
We did not interview any trial attorneys or investigators. Instead we interviewed regional attorneys and district 
directors, who are in a position as their supervisors to have information on their staff. Recommendation 4, below, 
provides a potentially low‐ cost way to estimate the frequency of such problems.  

        Based on our interviews, it appears that some field offices have worked more collaboratively than others. 
Collaboration between investigators and staff attorneys has been a challenge historically and it continues to be a 
focus of both district and national leadership. Differences between investigators and staff attorneys over the 
handling of charges were one area where legal and enforcement staff sometimes diverge in their approach. For 


                                                                
            13                                 AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES
 
example, two interviewees reported hearing from investigators that attorneys sometimes refuse to agree to what 
the investigator believes is a strong settlement, and then when the conciliation fails, no lawsuit is filed. Another 
example we heard was that some attorneys might not explain to investigators their reasons for not filing a lawsuit 
after conciliation fails in a case on which an investigator had devoted significant time and effort.  

     We also heard concerns about the role of field attorneys in the statistical development of a case during an 
investigation. Specifically, we heard that some less‐experienced attorneys sometimes draft their own requests for 
information regarding an employer’s data without going through the customary two‐step process of first 
requesting a description of the data maintained by the employer and then requesting the specific data needed to 
investigate the charge. If so, whether due to inexperience or frustration over the delays in the two‐step process, 
guidance from OGC for its field attorneys could clarify the preferred process.  

     We were told that investigators sometimes perceive that some attorneys do not provide enough support 
through the investigative and conciliation process, or are too heavy‐handed, not respecting the role and 
experience of enforcement staff. On the other hand, we were told that attorneys sometimes perceive that some 
investigators do not work cases effectively, particularly in preparing cases for potential litigation. Interviewees who 
discussed the difficulties of the legal and enforcement collaboration also usually pointed to examples of strong 
collaborations, emphasizing that the particular challenges in collaboration vary widely depending on the personnel 
and perhaps (although this is less clear) the office culture.  

    We heard several explanations for the collaboration challenges between legal and enforcement staff. 
Competing work demands on investigators and staff attorneys, particularly in a time of highly limited resources, 
can degrade the time necessary to build strong collaborative relationships. Investigators, for example, must work a 
large number of cases that do not have the potential for litigation, while attorneys are primarily responsible for 
cases in litigation. Another reason, provided by two interviewees, is that grade levels for investigators are too low 
to attract people best qualified to conduct investigations in high‐priority cases. 

    These disputes are complicated by the organizational structure. Enforcement staff report to OFP while 
litigation staff report to OGC (the General Counsel is appointed by the President as are the Commissioners). 

    To the credit of both national and district leadership we spoke with (from both OFP and OGC), collaboration 
appears to be an important concern and a high priority. Indeed, when significant issues arise, OFP’s National Legal 
Enforcement Executive Advisor in collaboration with OGC staff helps address and follow up on conflicts in the field 
to build collaborative relationships between investigators and staff attorneys. The National Legal Enforcement 
Executive Advisor has also been identifying information on best practices relating to collaboration between 
investigators and staff attorneys. From our interviews, the extent to which these best practices are shared with the 
field is not clear. Respondents had a high opinion of this office and considered it an important element of the 




       AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES                                             14
 
agency’s efforts to improve collaboration between enforcement and litigation. Furthermore, OFP has been 
working with ORIP to develop a survey of both legal and enforcement staff to help identify relationship issues. 

        Below are recommendations for strengthening these relationships:  

            Recommendation 3: Use the term “performance partnership” when referring to the legal and 
            enforcement staff to demonstrate that the legal and enforcement staff are partners and 
            members of the same team. Make a continuing, concerted effort to emphasize to all attorneys 
            and enforcement staff that they are partners in reducing discrimination. This should also be done 
            with new hires. We understand that the EEOC is already considering using the term “partnership 
            with joint accountability.”  The EEOC might want to consider whether inclusion of the word 
            “accountability” might make the partnership seem less friendly to attorneys and investigators.  

            Recommendation 4:  Continue to develop and implement the currently planned survey of all attorneys 
            and investigators. Consider administering the survey on a regular basis, perhaps annually, to identify 
            problems and progress in strengthening these relationships. Internal electronic surveys are generally 
            inexpensive. An example of such a survey is ORIP’s survey that asks investigators about the quality of 
            assistance provided to them by ORIP analysts assigned to work in district offices. Some of the questions 
            included in the ORIP survey would be a good starting point for questionnaires addressed to investigators 
            and attorneys about the helpfulness of their engagements. Major concerns for such surveys are likely to 
            be how to handle confidentiality and how to make sure the results are used constructively and not 
            punitively.  

            Recommendation 5: Emphasize the need for attorneys to explain to investigators when decisions are 
            made whether or not to litigate, especially when the investigator had spent considerable time developing 
            the case. Use the survey of attorneys and investigators, discussed above, to help identify how widespread 
            use of this best practice has been made throughout the field offices. 

            Recommendation 6: Consider further use of shadowing or a variation thereof. Assess the success of this 
            process if this has not been done already. Such an assessment need not be a costly external study but 
            might be done adequately by a small scale qualitative examination by interested staff. We understand 
            that at least one district office has used such a procedure where an investigator follows an attorney in 
            order to learn more about his or her responsibilities, such as attending depositions and trials so they can 
            see what to expect if called as a witness or how witness statements can be impacted by opposing counsel 
            questioning. The Director of OFP reported in his comments that this is true in multiple districts and that, 
            in some instances, attorneys have shadowed investigators. Building upon this practice in all field offices 
            seems to be a logical next step. 



                                                               
           15                                   AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES
 
         Recommendation 7:  Continue the work of the OFP’s National Legal Enforcement Executive Advisor in 
         developing best practices that appear effective in encouraging strong collaboration between enforcement 
         and litigation and routinely share such practices with the field. The best practices guide concept can also 
         be expanded to other aspects of litigation and enforcement. The survey discussed in Recommendation 4 
         can be used to help assess the knowledge and use of this information by attorneys and investigators.  




Roles of the Office of Research Information and Planning and 
Research and Analytic Services in Litigation  
An issue raised by OGC staff was the existence of two separate offices that work on statistical and other expert 
analyses depending on whether a case is in enforcement or in litigation. It is our understanding that because of the 
way the offices are structured, attorneys may not request statistical analysis from the RAS unit during an 
investigation since its role is to provide support only for cases in litigation. ORIP is solely responsible for statistical 
analyses up until the point a case fails conciliation. Enforcement staff rely on ORIP’s Program Research and Surveys 
Division for statistical analyses needed to investigate and establish cause for charges. Litigation staff rely on RAS as 
both consulting and testifying experts. 

    Two concerns were raised during our interviews. First, some respondents thought it is inefficient to have one 
analyst do the initial statistical analysis of a case and then have another expert work with attorneys when decisions 
have to be made regarding both whether and how to prosecute a case. ORIP has indicated that it is available to 
consult on these decisions. Second, respondents raised concerns about the timeliness and substance of the 
statistical analyses conducted by ORIP. This, of course, might be merely differences in professional judgment. 
Some OGC personnel stated that ORIP’s analyses have sometimes been insufficient to support a lawsuit or had to 
be redone for litigation. While respondents did not indicate that these issues arise frequently, they were still of 
significant enough consequence that respondents, unprompted, identified them as a weakness of the agencies 
litigation activities. Based on ORIP’s Comments, we understand ORIP’s efforts contribute to significant relief in 
systemic cases, yet there seems to be an opportunity to further strengthen ORIP’s efforts. This may be because the 
standard for finding cause is different from the standard which OGC uses to decide whether to litigate a case. Our 
interviews did not identify a particular cause contributing to these concerns, but the issue arose throughout 
several interviews suggesting that it is a concern shared by several of our respondents.  

    In 2006, the Systemic Task Force considered whether to continue to keep the analytic functions of ORIP and 
RAS separate: 

         “The Task Force recognizes that in addition to the experts in ORIP, there are also experts working 
         in RAS in OGC. The experts in ORIP provide substantive assistance on investigations, while the 


       AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES                                                  16
 
            experts in RAS work primarily on cases in litigation. At various times in the past, all of the 
            Commission's experts worked together in one division, but since 1994, the experts have been 
            divided between two headquarters offices. 

            The Task Force considered whether the Commission should continue to keep the expert 
            functions separate. Employees stated that when the experts all were located in the same 
            department, they spent virtually all of their time on litigation matters, due to the demand for this 
            type of assistance and the court‐imposed deadlines, and had little time to assist on 
            investigations. Because of time constraints and strategic advantages to having separate experts 
            for investigations and litigation, the Task Force recommends that the Commission retain the 
            current structure, and continue to have experts devoted primarily to assisting in investigations 
            and others devoted to litigation.” 

        In addition to serving the need to free up analysts for investigations, as described in the 2006 Systemic Task 
Force Report, some respondents told us that the separation of ORIP and RAS responsibilities serves a strategic 
purpose by insulating potential expert witnesses in RAS from the investigative analyses conducted in ORIP. One 
interviewee noted that, if there was only one department serving both as analysts during the investigative stage 
and as expert witnesses, and multiple analyses were conducted of a case during the investigation, it is possible the 
expert could be required to testify about analyses that were not being used for litigation. The division of the two 
departments serves an important purpose for litigation, distinguishing between consulting experts and testifying 
experts. This does not, however, negate our other findings on the timeliness or substance of the work produced in 
ORIP. Both offices should be producing similar work in a timely manner consistent with available resources.  

            Recommendation 8: Examine whether ORIP and RAS should continue to be siloed in their efforts to 
            provide expert statistical analysis and investigate the reported concerns about the timeliness and, in some 
            cases, the substance of statistical analyses prepared during the investigative process. We did not conduct 
            an evaluation of the quality or efficiency of the work conducted by ORIP or RAS, but we recommend that 
            the EEOC consider those concerns. One source of relevant information would be a survey of OFP and OGC 
            field staff who have been users of RAS or ORIP analysts. The survey of attorneys and investigators 
            suggested above would likely be useful as a starting point. An independent, external analyst might be 
            appropriate to ensure respondent anonymity and analyze and report the findings to OGC and ORIP. 

            Recommendation 9: Investigate options for addressing the inefficiencies inherent in the rigid separation 
            of ORIP and RAS statistical analytic services. One option would be to bring all statistical and expert 
            analysis of systemic and other high‐priority cases with potential for litigation into one office. This is a high‐
            level, complex decision, because RAS reports to OGC and ORIP reports to the Commission. It can be 
            argued that even though ORIP is responsible for handling charges on the enforcement side, trial attorneys 
            are also the “consumers” of this work when conciliation fails and must rely on these statistical analyses to 
                                                                
            17                                 AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES
 
      evaluate whether a lawsuit should be filed and to prove discrimination at trial. If the Commission and OGC 
      maintain their current roles, greater coordination, communication, and joint trainings would help 
      minimize the problems raised by respondents. 

                                 




     AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES                                        18
 
         Section IV: Performance Management, 
         Measurement, Analysis, and Data Use 
The EEOC collects considerable amounts of performance‐related data, primarily through its Integrated Mission 
System (IMS) operated by the Office of Information Technology. The data comes from entries by field personnel 
who report detailed information on individual charges from origin to final disposition.5 Data in IMS can be 
aggregated in many different ways. The IMS system serves two major functions: (1) tracking charge processing and 
case progress and (2) tracking agency performance activities. The latter is done through periodic statistical 
performance reports. Obtaining valid and meaningful measurement of the outcomes of the EEOC’s work has been 
a major concern. Section II.A of the recent EEOC Research and Data Plan for 2016–2019 calls for a detailed review 
of the data, asking whether the right data are being collected and being used properly. 

         Data from IMS are used to generate the quarterly Data Summary Reports produced by ORIP. These reports 
focus on enforcement performance information and break out each statistic by district, area, and field office. 
These breakouts enable each office to examine its own performance on each statistic, and to compare its own 
performance data to other offices. 

         Using data from IMS, OGC can generate its own annual and quarterly EEOC Litigation Statistics reports. These 
are separate from those created by ORIP for enforcement. These OGC reports provide data on each district office 
but not individual area or field offices. OGC provides annual but not regular quarterly litigation statistics reports. 
The respondents we spoke to noted that they can request quarterly litigation data from OGC, but it is not regularly 
provided to the regional attorneys. These reports enable regional attorneys to examine their offices’ own 
performance and compare performance data to that of other districts. The OGC’s litigation statistics report 
appears to have only limited distribution. 

         The detailed data included in ORIP’s Data Summary Reports and OGC’s Litigation Statistic Reports are not 
posted on the EEOC’s website. The ORIP Data Summary Report is marked “administratively restricted,” though the 
OGC statistics report we received was not similarly marked. Some key outcome data from the reports, such as 
monetary relief obtained from the benefits, are made public, but data are not collected on how much of the 
required monetary relief actually reached the intended beneficiaries. The ORIP report, we understand, is made 
available to OFP and the regional attorneys.  

         Below we address a number of issues relating to the collection, analysis, and use of performance information. 
Some of the recommendations do not distinguish litigation activities from enforcement activities. As 

5
     For example, see the “IMS Private Business Rules Manual” prepared by OIT. 


                                                                  
            19                                  AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES
 
recommended in previous sections, litigation and enforcement should be considered a partnership. The primary 
function of performance information should be to learn how to improve, not to establish blame. Litigation and 
enforcement staff should be considered teams with each member sharing responsibility for the outcomes 
reported.  




Timeliness of Resolution    
Given the significance of PCHP and the investigation and development of SA charges to the agency’s eventual 
litigation docket, we investigated the extent to which priority charges are moved through the system. Delay in 
charge resolution in general (such as whether designated an A charge or not) is a major concern for the EEOC’s 
customers, those who believe they have been discriminated against (US Equal Employment Opportunity 
Commission 2009, 37). Quick resolution, without sacrificing quality, is desired by charging parties and often by the 
employers. The summary page of the ORIP Data Summary Reports contains two performance indicators relating to 
timeliness.  

    The first is average processing days (296 days for FY 2015). This, we understand, is the number of days from 
the charge filing day to the date the EEOC issues the cause finding or, for non‐cause resolutions, the number of 
days from filing until the resolution date. This does not include time that attorneys take after failed conciliation to 
decide next steps and prepare cases for litigation. We did not find data reported on the amount of time 
conciliations take. 

    It was also pointed out to us that this overall average provides only highly aggregated information and does 
not provide sufficiently useful information.  

    The second timeliness indicator is months of inventory (10.9 for FY 2015), an indicator of backlog that should 
be of concern to both legal staff as well as enforcement. It was pointed out to us that this overall average by itself 
does not provide sufficiently useful detailed information. 

         Recommendation 10: Provide breakout categories for the timeliness measures for the current 
         measures of both processing times and amount of charge inventory. This will help the EEOC 
         determine which types of cases have timeliness‐related problems, enabling it to identify where 
         problems appear to exist and encouraging attempts to alleviate the problems. In later reporting 
         periods, such as after corrections have been made, the EEOC will have information as to the 
         extent of progress. Averages, by combining the data on all types of cases, are fine as an overall 
         aggregate measure but do not show key differences among types of cases and make it difficult to 
         monitor trends for SA cases. Representatives from both OFP and OGC should jointly select the 
         breakout categories. Some examples of possible breakout characteristics are activity (e.g., times 


       AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES                                              20
 
            for mediations, for conciliations, and the time taken to decide if unsuccessful conciliations will be 
            litigated or not) and charge category (e.g., SA, A, B, and C).  

            Other measurement variations the EEOC might consider,  include: (a) the number and 
            percentage of cases that exceed preselected targets (these are more likely to get people’s 
            attention); and (b) the use of medians, which has the advantage that extreme values do not have 
            excessive weight as might occur with averages.  




Consent Decree Compliance Reviews 
An important concern for assessing the effectiveness of the EEOC’s litigation work is the extent to which victims of 
discrimination are provided sufficient relief as a result of a lawsuit filed by the EEOC. When the EEOC’s litigation 
efforts are successful, consent decrees start the process of obtaining relief for the victims and impose conditions 
on employers to reduce the likelihood of discrimination in the future. To adequately enforce anti‐discrimination 
laws, it is important to track employer compliance with the consent decrees and determine whether the relief 
imposed eliminated the discrimination in at least that workplace. Measuring the impact of injunctive relief to 
remedy discrimination is a need noted in Section III.1 of the EEOC’s recent Research and Data Plan for 2016‐2019.    

        Our interviews indicate that a wide variation exists in how field attorneys monitor compliance with consent 
decrees. There was no common way of monitoring and tracking compliance. Respondents indicated that 
compliance was not systematically tracked in some districts. 

        The counts of compliance reviews in the ORIP FY 2015 Data Summary Report primarily cover conciliations. The 
ORIP report does not include compliance reviews done by OGC’s district offices, such as of consent decrees. OGC’s 
litigation statistics report for FY 2015 did not present measures on compliance tracking and monitoring. No 
standard process to conduct reviews of employer compliance with consent decrees appears to exist. 

        Regional attorneys in district offices track compliance primarily through complaints from charging parties who 
did not obtain the promised benefits and from reviews of monitoring reports required under consent decrees. In 
some districts, administrative staff or paralegals assist in compliance tracking. In others, the responsibility falls to 
staff attorneys.  

        The EEOC is beginning to address these issues. The agency’s recent Research and Data Plan calls for 
consideration of ways to identify “effectiveness of practices adopted to remedy discrimination as injunctive relief.” 
The agency is at the early stages of reviewing what works in consent decrees. The Office of the Chair has requested 
that ORIP begin to analyze consent decrees to determine the terms of the decrees. We do not have details about 
the scope of that review or requested analysis. 

                                                                 
           21                                  AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES
 
         Recommendation 11: Develop a process for tracking compliance with injunctive relief contained in 
         consent decrees. It may be appropriate for some district offices to rely on paralegals while other districts 
         might rely on attorneys. At a minimum, regional attorneys, in conjunction with OGC, should identify who 
         is responsible for reviewing compliance, how frequently staff should monitor compliance, how to track 
         compliance in a practical and valid way, and what procedures to follow if an employer is violating the 
         terms of a consent decree. As a part of compliance tracking, OGC could develop an outcome measure to 
         track the extent to which employers do or do not comply with consent decrees. 

         Some steps to consider include (1) where feasible, using independent monitors, acceptable to the EEOC, 
         who would provide more credible monitoring reports than those coming from employers; (2) integrating 
         outreach and education efforts into consent decree monitoring, where resources are available, so that 
         workers in affected communities are aware of consent decrees and what recourse they have if employers 
         fail to remedy discrimination; (3) establishing a process that automatically raises an alarm if new charges 
         arise involving employers with past offenses; and (4) identifying and disseminating a set of best practices 
         for compliance reviews obtained from districts that have been able to undertake these reviews.  

    Beyond monitoring employer compliance, there also appears to be little analysis to monitor the effectiveness 
of the injunctive relief in reducing future discrimination. This is likely a result of both limited resources available to 
conduct a systematic analysis as well as the challenge of measuring the effectiveness of injunctive relief. 

    Outside scholars have analyzed some of these issues. (Schlanger and Kim, 2013). The Commission’s Research 
and Data Plan includes a long‐term research project to identify, “as resources allow,” methods to assess the impact 
of injunctive relief on ensuring nondiscrimination in personnel practices.  

         Recommendation 12: Prioritize the current effort to develop a process for estimating the 
         effectiveness of particular forms of injunctive relief in preventing future discrimination. The EEOC 
         might, as part of this effort, explore creation of a clearinghouse of evidence‐based practices that 
         appear to prevent employment discrimination and could be included in consent decrees. (EEOC 
         might also encourage further academic research on this issue.) As noted above, such a study is 
         called for in the section on “Long‐Term Research Projects” of the recently released Research and 
         Data Plan. More recently, we have been advised that this study is already being conducted.  




Provision for Data Analysis 
Collecting the right data is very important. What staff does with that information is just as important. District 
directors and regional attorneys (decision makers) should understand and work with the data regularly.  




       AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES                                                22
 
        OGC does not regularly report litigation statistics to field offices but has the capacity to run and provide the 
statistics when requested. Regional attorneys with whom we spoke either did not receive the data or needed to 
ask headquarters staff for it. Individual district offices have access to regular, at least quarterly, statistical reports 
from ORIP on enforcement activities that contain data on a wide variety of measurements. The reports we have 
seen display on each page the data for all 15 district offices and each of their field offices. This enables 
comparisons across offices. We did not see any regular reports that provided performance reports tailored to their 
own office. 

        We also did not see any regularly provided data that would enable district office leadership to examine why 
cases are not chosen for litigation. Presumably cases that go through conciliation were identified as A cases, 
including SA and systemic cases. There is a system for considering and approving the filing of lawsuits; however, 
there are no regular tabulations identifying why the choices not to litigate SA cases were made. 

            Recommendation 13:  Consider combining OGC and OFP statistical performance data into one report. 
            Disseminate, and make easily available, statistical quarterly performance reports to staff at the district 
            office level. This would serve the dual purpose of (1) showing the flow of activities from intake through 
            case closure, making the agency more performance driven and (2) emphasizing the importance of 
            collaboration between litigation and enforcement staff. Each party has an important role that eventually 
            affects most performance indicators in achieving the ultimate goal of reducing discrimination. Information 
            on numbers of case filings, conciliations, settlements, consent decrees reached, and employer compliance 
            could be of interest to each office. It will enable the staff to see the whole picture, including their own 
            part, of this very important process. Because there is so much data, some selectivity would very likely be 
            needed to avoid overwhelming users with numbers. 

            To make this process considerably more useful, it would be helpful if analysts had time to examine each 
            quarterly report, even if only briefly, and then highlight for both enforcement and legal those 
            performance numbers that likely warrant attention.             

            Recommendation 14: Also provide each district with its own statistical quarterly report. This report would 
            provide each district with the latest district’s data on each of the performance measures. This new report 
            would not provide data on all the other districts. This, we believe, would make the statistical data easier 
            to use and be more meaningful to each district. A way to improve further the utility of these reports 
            would be to include time trend information (e.g., year‐to‐year comparisons, own district‐to‐national or to 
            regional averages, and data on previous quarters).                     

            Recommendation 15: Consider introducing a measure of the number and type of SA cases that were not 
            litigated, preferably broken out by the reasons why. It can be argued that a major national concern is the 
            number of SA cases that failed conciliation and were not litigated even though agency staff had identified 

                                                                
            23                                 AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES
 
         such cases as priorities for potential litigation. For example, it may be that: the strength of the evidence 
         was not deemed sufficient; the case did not fall under one of the SEP priorities; adequate private counsel 
         was available; or the case was meritorious and the regional attorneys might have pursued litigation if they 
         had more resources. Such information, examined over time, can raise important issues regarding resource 
         limitations or other issues.  




Use of Performance Information 
Basic uses of performance information include identifying problem areas and progress over time. In our interviews, 
it did not appear that the field staff used the statistical reports to undertake analysis. A variety of meetings are 
held at the leadership level including the Commission’s quarterly briefings at which leadership of OGC and OFP 
report on their activities and progress. We were told the district offices also have regular meetings involving both 
enforcement and legal units. Those we interviewed indicated that these meetings have focused on discussing 
individual cases, with less attention to the statistical performance reports.  

         Recommendation 16: If not already being done, consider such options as: (a) using a segment of the 
         existing leadership meetings or (b) holding separate regular leadership meetings on the performance 
         data. In either case these would be  “How Are We Doing?” sessions with litigation and enforcement 
         leadership at the EEOC headquarters, sessions with a focus on examining progress on key performance 
         measures. These sessions might be jointly sponsored by the General Counsel, the Chief Operating Officer, 
         and the OFP Director to review, assisted by ORIP, the latest quarterly statistical report. A rotating sample 
         of regional attorneys and district directors might be asked to participate remotely in these meeting to 
         offer their insights from the field. The meetings would address such topics as:  

                 Where does the data indicate we have problems?  

                 What actions might be taken to alleviate those problems?  By whom?  By when? 

                 Where has the agency succeeded and how might it continue to build on past successes? 

                 What progress has been made on actions decided on in previous quarterly meetings?  

         These meetings are similar to the data‐driven performance review meetings overseen by the Office of 
         Management and Budget for high‐priority agency goals.  

         Similarly, regional attorneys and district directors in each district office should be encouraged to hold 
         their own similar “How Are We Doing?” meetings using the quarterly data from litigation and 




      AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES                                               24
 
            enforcement statistical reports as a starting point. Key staff from enforcement and litigation would also 
            participate. 

        In the district offices, the DCPs are viewed as long‐term priority‐setting guidance. The most recent DCPs are 
from November 2013. The plans supplement the FY 2013–2016 agency SEP that set enforcement and litigation 
priorities for the agency. We understood from our interviews that neither the regional attorneys nor the district 
directors prepare shorter term performance plans for the coming year to help with district management. Such 
documents, used elsewhere in the federal government, could guide each district’s work in the coming year and 
provide evidence of progress toward each district’s priorities. A reviewer of our draft report indicated that districts 
do prepare annual operational work plans along with projections of future activities. 

            Recommendation 17:  Pilot annual district office work plans to update priorities based on current national 
            and local conditions and track progress toward SEP and DCP goals. Encourage each regional attorney and 
            district director to annually review the data on the status of pending charges and litigation, the resolution 
            of charges and litigation over the prior year, staff workloads, any expected changing local and national 
            conditions, and develop a district performance plan for the coming year. These efforts would build on 
            current annual workload reviews undertaken by the districts. To reduce the work involved with producing 
            formal plans, this annual review might be treated as an informal exercise. The purpose of the pilot is to 
            assess the usefulness and practicality of such efforts.  

            This district enforcement‐litigation performance plan would address staffing issues, training needs, and 
            changes in strategic priorities consistent with the SEP and DCP and contain strategies for the coming year. 
            The regional attorney and district director can use the district’s data from the quarterly statistical reports 
            provided by OGC and ORIP as one basis for developing the plan. That data would help them identify the 
            current strengths and weaknesses in producing desired outcomes, including addressing the capacity of 
            the district office, given staffing limitations. The review would seek to identify the reasons for the 
            strengths and weaknesses, and then identify desirable actions for the coming year. These reviews should 
            include an examination of the workload held over from previous years and consider the district’s 
            expectations about the forthcoming year’s new workload, based in part on trend data. The availability of 
            staff to address the estimated workload would also be addressed. The district might set targets for itself 
            on some of the performance measures and then during the year track its progress in meeting those 
            targets.  

            Reviewers of the draft report expressed the reasonable concern about the time and resources needed to 
            prepare these plans, including how well they can operate with respect to the EEOC’s charge‐driven 
            system. The time and resources would need to be justified by sufficient usefulness of the work to the 
            district. That is why we have recommended piloting this process, perhaps in two or three districts, 
            preferably ones that volunteered.  
                                                                
           25                                 AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES
 
Measurement of Success in Reducing Employment 
Discrimination 
The EEOC’s Strategic Objective I is “combat employment discrimination through strategic law enforcement.” The 
performance measurements included in both the EEOC’s Strategic Plan and its latest Performance and 
Accountability Report are primarily process and not outcome measures (Hatry, Mark, and Davies 2013). Seven 
performance measures are reported to the Office of Management and Budget and Congress (FY 2015 Performance 
Accountability Report, the Congressional Budget Justification, and EEOC’s Strategic Plan). Only the measure 
“Percent of the EEOC’s Administrative and legal resolutions that contain targeted relief” can be classified as an 
outcome indicator. The other measures are more appropriately labeled output (or process) measures.  

    The EEOC tracks and reports internally and externally the total dollar amount of monetary awards. ORIP’s 
internal quarterly statistics report has been reporting the number and percentage of conciliations that were 
resolved successfully and unsuccessfully. OGC includes “win” and “lose” numbers in its quarterly statistical report, 
including data for each district office. Consent decrees are considered to be wins. EEOC Litigation Statistics for FY 
2015 Quarter 4 reports that 44 of 50 cases resolved were wins, of which 38 were consent decrees.  

    The OGC Litigation Statistics report and ORIP Data Summary Report each contain additional outcome 
measures. Urban Institute’s March 2013 report for the EEOC, “Evaluation of EEOC’s Performance Measures,” 
suggested the measurements shown in appendix D.  

         Recommendation 18: Reexamine the EEOC’s performance measurements including the additional 
         measures recommended in recommendations 10, 11 and 15 and those included in appendix D. Select 
         some measures for future regular internal and external reporting. Much of the data for tracking many of 
         these measurements already appear to be available. 

          




      AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES                                              26
 
                 Section V: Administrative Issues 
This section addresses a number of administrative issues, including budgeting, training, codifying best practices, 
and information technology improvements. 




Budget  
OGC headquarters officials and the regional attorneys (as well as district directors) do not have any role in direct 
annual budgeting for their major cost: staffing. Staffing levels are apparently frozen and are established by the 
EEOC’s Office of the Chief Financial Officer. This is a significant limitation on OGC’s ability to manage its operations. 
OGC addresses this problem to some extent by assigning attorneys to different offices as needed. 

        OGC, however, does prepare a litigation support budget (including costs for depositions, experts, and travel 
expenses). The regional attorneys submit quarterly reports requesting funds for litigation support and OGC 
allocates those funds. This system seems to be working well and enables OGC to respond to litigation 
developments, which are often unpredictable (e.g., the need to conduct a large number of depositions in a short 
period of time).  

        We heard concerns that field attorneys were leaving the EEOC because they could earn more money in 
comparable positions at other federal agencies, such as the Department of Justice and Department of Labor. If the 
EEOC is not already examining the extent to which this is occurring, it should do so along with a comparison of 
positions in these other agencies. The grade structure has been studied and OPM has conducted classification 
audits. However, the particular issues raised in our interviews indicate that the pay‐level problem has not 
been solved. This may be because these studies did not include examining the EEOC exit‐review process and 
findings. If departing professional staff is citing money as a reason for leaving the EEOC, this should be a priority 
concern for the agency. GS grade and step levels are likely to be easier to change than higher staffing levels. Our 
findings appear to apply to both litigation and enforcement staff. 

            Recommendation 19: Examine the EEOC’s exit‐interview process and the findings from these interviews 
            to better understand reasons for turnover. Survey legal and enforcement supervisory field staff. If the 
            findings indicate that problems exist, a review of GS grade and step levels for attorneys, investigators, and 
            paralegals may be needed to ensure that skills of applicants entering these positions are appropriate and 
            the ability of the agency to retain experienced, skilled staff is maintained. In Section VI (“Future Areas of 
            Study”) we recommend the EEOC conduct an in‐depth resource review.  




                                                                
           27                                 AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES
 
Training  
Training opportunities for attorneys were generally considered strong, although some suggested having more in‐
person training opportunities if resources permit. Regular online training addressing specific literature issues, 
including emerging areas of discrimination, received high marks. Thus far, field staff appear to be comfortable with 
the current training opportunities available to them.  

     However, interviewees identified three new or additional areas for training that would be useful: (1) training 
in understanding data and statistical analysis of discrimination claims, (2) human relations skills, and (3) 
management skills. Determining whether the views of these respondents reflect a broader agency need is beyond 
the scope of our work, but they raised important issues. 

            Recommendation 20: Consider providing more training to attorneys and investigators in three areas:  

                    Basic understanding and interpretation of data and the nature and use of basic analytical tools 
                     and statistics employed in developing cases.  

                       Human relations and teamwork skills. 

                    Management skills (suggested by one official), particularly for attorneys who have extensive trial 
                     and litigation experience but less experience managing the office of a public agency. This training 
                     would likely also be relevant to supervising attorneys (and investigation supervisors). 




Lessons Learned—Best Practices 
Identification, documentation, and dissemination of successful best practices are becoming popular across federal 
agencies like the Department of Education and Department of Justice, particularly practices backed by supporting 
evidence. We understand that OGC has developed a system to address lessons learned following the conclusion of 
a case.  

            Recommendation 21: Expand efforts to identify and share best practices in areas such as: (1) ways to 
            strengthen collaboration between attorneys and investigators (as recommended in Recommendation 7); 
            (2) ways for attorneys and investigators to analyze performance measurement data; (3) ways to follow up 
            on compliance with consent decrees and conciliations (as recommended in Recommendation 11); and (4) 
            ways to make reasonably accurate projections of workload for the forthcoming year.  




       AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES                                                28
 
Information Technology 
We did not examine information technology as it relates to litigation. Our interviews did not identify any major 
information technology issues. However, one regional attorney shared with us a list of technology needs that she 
and her staff had assembled. This list is presented in appendix E. 




                                                            
        29                                 AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES
 
       Section VI: Future Litigation‐Related 
                    Evaluation 
The Office of the Inspector General requested suggestions for future evaluations, Below are our suggestions. 

            Evaluate the EEOC’s appellate activities, including the filing of amicus briefs in cases where the 
             EEOC is not a party. An examination of the EEOC’s appellate activities could include addressing the 
             agency’s processes and criteria for deciding when to file an appeal, data surrounding employers who 
             appeal, the outcomes of those cases, and the results of cases where the EEOC has filed amicus briefs.  

            Examine the management of systemic cases across districts. An evaluation of systemic cases might 
             focus on how well the processes and systems established by the Systemic Task Force Report in 2006 
             are working and whether identification and development of systemic cases is performed consistently 
             across the agency, as well as any improvements needed. Our evaluation focused on overall litigation 
             activities and was not able to examine how the agency handles systemic cases. However, some of our 
             interviews suggest that districts might approach the identification, prioritization, and staffing of 
             systemic cases during their development on the enforcement side in different ways. Even if they 
             constitute a minority of charges and cases filed, systemic cases are a huge part of what OGC and OFP 
             district offices do and impact the overall handling of charges. Further, evaluating systemic cases could 
             help clarify the role of collaboration between ORIP and RAS, as well as the litigation and enforcement 
             relationship and the ability of the EEOC to meet its strategic priorities.  

            Conduct an in‐depth staff resource review of the legal and enforcement staffs in the field offices. 
             Throughout our interviews concerns were raised about inadequate field staffing, problems with staff 
             retention, and outdated resources that could impact the agency’s effectiveness. A review of the 
             agency’s resources might include: possible information technology upgrades; a review of staff 
             turnover and reasons for departures (such as by strengthening exit interviews); examining GS grade 
             and step levels for field staffs; and comparing these with other comparable federal agency positions. 
             While some of the findings will likely be outside the agency’s control, the EEOC should look for 
             improvements that it can make (including both monetary and non‐monetary options). 

            Design and test annual work plans in up to three district offices. These work plans might include 
             information on projected workload for the next year (based in part on local trends) and performance 
             information from the past year that identifies areas that did not meet expectations and require 
             attention.




      AN EXPLORATORY EVALUATION OF EEOC’S LITIGATION ACTIVITIES                                              30
 
Appendix A: List of Reviewed EEOC 
Documents 
 
    Charge Processing Procedures Adopted by EEOC and Task Force Recommendations to Be Implemented by Chairman, EEOC, 
      April 19, 1995 
    Congressional Budget Justification, FY2015 

    Data Summary Reports,  Fourth Quarters FY 2011 and FY 2015 

    District Complement Plans for all 15 Districts, November 2013 

    District Directors Quarterly Report – First Quarter FY2016 

    District Directors Quarterly Report – Fourth Quarter FY2015 

    Evaluation  of EEOC’s Performance Measures, Report for OIG, Urban Institute,  March  2013 

    Evaluation of Intake and End‐of‐Fiscal‐Year Closures of EEOC Private Sector Charge Process, Development Services Group, 
      November 2006 

    IMS Screens: Charge Prioritize and Assess Selections 

    Integrated Mission System (IMS) Private Business Rules Manual, 2014 

    Interim Adjustments to the Strategic Plan, 2014 

    Letter for the March 24, 2015 Hearing Record, U. S. House of Representatives Subcommittee on Workforce Protections 

    Legal‐Enforcement Interaction Best Practices List 

    Litigation Database Code Book, 2013 

    Litigation Statistics Fourth Quarter FY 2015 and First Quarter FY2016 

    Memorandum from Chair, General Counsel and Director of Office of Field Programs, “PCHP Operational Directive for 
     Implementation of Strategic Enforcement Plan and District Complement Plans,” December 2, 2013 
    Memorandum from Chair, General Counsel and Director of Office of Field Programs, “Systemic Program,” February 5, 2015 
    National Enforcement Plan, 1998 

    Office Of General Counsel Fiscal Year 2013 Annual Report 

    ORIP  Analyst‐Investigator Survey Questionnaire,  2016  

    ORIP Data Summary Reports for various quarters 

    PCHP Operational Directives, Memo to All District Directors and All Regional Attorneys, September 16, 2011 

    PCHP Assessment Form (template). 

    Performance And Accountability Reports, FY 2014 and 2015 

    Priority Charge Handling and Litigation Task Force Report, March 1998 

    Priority Charge Handling Procedures, EEOC June 1995 


                                                                      
            31                                                                                            APPENDIX A
 
    Quality Practices for Effective Investigations and Conciliations, September 30, 2015  

    Regional Attorneys’ Manual, Latest Posted Edition 

    Research And Data Plan for FY 2016–2019 

    Review of Evaluations: IMPAQ Final Report for OIG,  April 9, 2013 

    SEP Priorities and PCHP Updates – Examples of Training PowerPoints (2014‐2015) 

    Strategic Enforcement Plan FY 2013–2016 

    Strategic Plan For Fiscal Years 2012–2016 

    Systemic Task Force Report, 2006 

     




         APPENDIX A                                                                          32
 
Appendix B: Interview Respondents 
Interview Respondents by Title and Office 

                         Title                                                  Office 
    Director                                       Office of Field Programs 
    National Legal Enforcement Executive Advisor  Office of Field Programs 
    Associate Counsel                              Office of General Counsel 
    Deputy General Counsel                         Office of General Counsel 
    General Counsel                                Office of General Counsel 
    Assistant General Counsel                      Office of General Counsel, Research and Analytic Services 
    Director                                       Office of Research Information & Planning 
    Program Research and Surveys Division          Office of Research Information & Planning 
    Senior Counsel to the Chair                    Office of the Chair 
    Chief Operating Officer                        Office of the Chair 
    Regional Attorney                              Philadelphia District Office 
    Regional Attorney                              Phoenix District Office 
    Regional Attorney                              St. Louis District Office 
    District Director                              Birmingham District Office 
    District Director                              New York District Office 




                                                                   
            33                                                                                            APPENDIX B 
 
Appendix C: The EEOC’s Strategic 
Enforcement Plan Priorities 
    1.    Eliminating Barriers in Recruitment and Hiring. The EEOC will target class‐based recruitment and hiring 
          practices that discriminate against racial, ethnic and religious groups, older workers, women, and people 
          with disabilities.  
    2.    Protecting Immigrant, Migrant, and Other Vulnerable Workers. The EEOC will target disparate pay, job 
          segregation, harassment, trafficking and discriminatory policies affecting vulnerable workers who may be 
          unaware of their rights under the equal employment laws or reluctant or unable to exercise them.  
    3.    Addressing Emerging and Developing Issues. The EEOC will target emerging issues in equal employment 
          law, including issues associated with significant events, demographic changes, developing theories, new 
          legislation, judicial decisions, and administrative interpretations.  
    4.    Enforcing Equal Pay Laws. The EEOC will target compensation systems and practices that discriminate 
          based on gender.  
    5.    Preserving Access to the Legal System. The EEOC will target policies and practices that discourage or 
          prohibit individuals from exercising their rights under employment discrimination statutes, or that impede 
          the EEOC’s investigative or enforcement efforts.  
    6.    Preventing Harassment Through Systemic Enforcement and Targeted Outreach. The EEOC will pursue 
          systemic investigations and litigation and conduct a targeted outreach campaign to deter harassment in 
          the workplace.  
     
    The national priorities of the SEP will be complemented by district and federal sector priorities, recognizing 
    that particular issues most salient to these communities also demand focused attention. 




        APPENDIX C                                                                                          34
 
Appendix D: Suggested Measures from 
the Urban Institute’s “Evaluation of 
EEOC’s Performance Measures” 
STRATEGIC OBJECTIVE I: COMBAT EMPLOYMENT DISCRIMINATION THROUGH STRATEGIC LAW ENFORCEMENT 
 

        1.   Percent of EEOC’s administrative and legal resolutions that contain targeted non‐monetary, equitable 
             relief. This is Measure 6 in the Strategic Plan for Fiscal Years 2012‐2016. The measure would be based on 
             definitions developed to determine whether resolutions met the targeted, equitable relief criteria as 
             articulated in the new Quality Control Plan. Breakouts should be provided for systemic and non‐systemic 
             cases.6    
         
             Because of the importance of systemic cases, EEOC might consider including “percent of systemic cases 
             resolved successfully” as a separate, distinct, measure and not only as a breakout of this measure. (Some 
             EEOC staff and officials were concerned, legitimately so, that this measure can have the unintended effect 
             of encouraging selection of the easiest cases. This is a standard problem with outcome measurements 
             expressed as percentages, including EEOC’s new Strategic Plan Measures #6 and #7.)  Despite the 
             potential perverse incentive, achieving successful resolutions in systemic, as well as in non‐systemic cases, 
             has to be a major concern for EEOC.  
              
             To alleviate this problem, outcomes can be grouped by case difficulty. Our interviews with EEOC officials 
             indicated that EEOC management routinely considers case difficulty (as well as available resources) in case 
             selection. EEOC management already has the responsibility of achieving a balance between "easy” and 
             “difficult” cases. In addition, management can play an important role (and already seems to do so) in 
             encouraging staff to see performance measures as management tools rather than as ways to criticize 
             staff. 
 

             Providing clear, well‐anchored definitions for each of the terms “targeted,” “equitable,” and “relief” will 
             be important for assuring that the data are reasonably reliable. It is also important to make this clear 
             throughout the agency and to the outside world. For example, the current strategic plan states clearly 
             that this relief must include non‐monetary relief in order to be considered “equitable.” However, our 
             interviews indicated that this exclusion of monetary‐only relief is not universally known by EEOC staffs—
             and not likely to be understood by persons outside EEOC who do not have a legal background. Thus, and 
             as recommended by the General Counsel, the word non‐monetary is added above, and in Measures 2 and 
             3, to assure that this meaning is clear.  
         

6
  The current strategic plan defines systemic cases as “pattern or practice, policy, and/or class cases where the alleged 
discrimination has a broad impact on an industry, occupation, business, or geographic area.” 



             35                                                                                             APPENDIX D
 
    2.   Percent of resolutions by FEPAs that contain targeted non‐monetary, equitable relief. This is Measure 7 
         in the Strategic Plan for Fiscal Years 2012‐2016. This measure would be based on definitions developed to 
         determine whether resolutions met the targeted, equitable relief criteria. As noted above, providing well‐
         anchored definitions for each of the terms “targeted,” “equitable,” and “relief” will be vital for assuring 
         that the data are reasonably reliable. 
          
    3.   Percent of federal sector hearing and appeal resolutions in which there has been a finding of 
         discrimination or a settlement that contains targeted non‐monetary, equitable relief. Like the two 
         previous measures, this measure needs to be based on clear and detailed definitions to determine 
         whether resolutions met the targeted, equitable relief criteria.  
          
    4.   Number of discrimination victims awarded monetary benefits. The information would come from the 
         EEOC database. This measure does not include the many other cases where discrimination has occurred 
         but has not been reported or has not led to monetary relief. Its advantage is that the data are already 
         available to EEOC. 
     
    5.   Amount of monetary benefits (financial relief) awarded to discrimination victims. The information 
         should be available in the EEOC database (and was reported on the EEOC website for fiscal 2011). This 
         measure has been regularly reported by EEOC. Its drawbacks are that this measure does not include non‐
         monetary relief and can be greatly affected by a very small number of very large awards. 
     
    6.   Number of direct recipients of monetary and non‐monetary (equitable) relief, by type of relief. This 
         metric helps the EEOC quantify the number of victims of employment discrimination who have been 
         compensated by work conducted by the EEOC. These data are available from the EEOC database. This 
         measure does not capture other employees who indirectly benefited. 
          
    7.   Number and percent of charges that resulted in either: (a) a settlement (through ADR/mediation); or, 
         among those classified as meriting relief, (b) a satisfactory settlement through conciliation (after a 
         determination by investigators that discrimination had occurred), or (c) a litigated award. The 
         denominator would include all charges other than those charges that were neither sent to mediation nor 
         classified as meriting relief. This measure would use the relief definitions identified in the new Quality 
         Control Plan called for in the Strategic Plan for Fiscal Years 2012‐2016 and EEOC’s Integrated Mission 
         System (IMS). Breakouts should be provided for systemic and non‐systemic cases. 
          
    8.   Percent of litigated cases that ended favorably to the EEOC position. This key measure addresses the 
         important work of the office of the General Counsel and its litigation attorneys. OGC has regularly tracked 
         the “success rate” for all litigation. 

    9.   Number of employers found to have violated employee discrimination laws that have a charge filed 
         against them within, three years of the resolution of the first charge and that resulted in a cause 
         finding. This measure would help EEOC assess “recidivism” of employers for whom charges have been 
         litigated successfully in the past. In theory, a lower recidivism rate over time should indicate success in 
         preventing new incidents of discrimination. 
     
    10. Number and percent of charges reviewed by expert reviewers that meet EEOC quality standards and 
        that have been properly assigned to EEOC level categories (e.g., A, B, and C). This measure is similar to 
        Measure 2 in the current strategic plan. The measure would use the criteria and rating procedures 
        identified by the new Quality Control Plan. A key to the credibility of this measure is the extent to which 
        quality control procedures are applied to the measurement procedure so that “peer review” ratings are 
        reliable. 
 



     APPENDIX D                                                                                               36
 
Notes 

            1.   Much of the information needed for the above measures would come from existing sources and is 
                 available through the EEOC’s Integrated Mission System (IMS). The measures should be collected and 
                 reported using clearly stated and easy‐to‐locate definitions. Changes in defining terms such as “targeted, 
                 equitable relief” may later preclude comparisons over time with future‐year values based on definitions 
                 derived from the emerging Quality Control Plan. 
     

            2.   Not included in this list are measures such as “number of charges resolved.” EEOC uses this indicator and 
                 should continue to do so. However, the information from this measure does not indicate how many of 
                 these charges were resolved successfully.7 If significant numbers of resolved charges were resolved in 
                 ways not desired by EEOC, this would flag a potentially serious problem that EEOC would likely want to 
                 address. 




7
  For example, resolutions include settlements, withdrawals with benefits, no cause findings, and both successful and 
unsuccessful conciliations. In the case of mediation, this number would only indicate that the case was settled between the 
parties, not anything about the nature of the settlement. 



                 37                                                                                      APPENDIX D
 
Appendix E: List of Technology Needs 
Assembled by the Phoenix Regional 
Attorney 
    1.   We suggest adding a feature we believe most federal agencies use, which is typically Citrix or a program 
         like Citrix. This program would allow us to access the shared drive from home. We could also see our work 
         desktop while at home too (with some exceptions). It is highly secure and many agencies and large firms 
         use Citrix, at least in DC. 
    2.   Faster/newer/lightweight laptops for all staff (we only have nine, causing morale issues).  
    3.   Updated Windows OS or a switch to Mac OS. 
    4.   Local access to Concordance (licenses in the field); ability to load, configure, and manage our own 
         Concordance databases, if we are keeping Concordance. 
    5.   Discontinue Concordance; we would suggest replacing it with Relativity or eDiscovery Point. 
    6.   Discontinue GroupWise; use Outlook instead of GroupWise. 
    7.   Return of the Chrome. 
    8.   Bring Your Own Laptop compatibility. 
    9.   Backup memory would be nice. Little external memory drives that can store huge amounts of data for 
         when we are on the road. It's hard to access the shared drives, etc., when you are on the road remotely, 
         and life might be easier if we had backup copies that were more easily accessible while we are working in 
         hotels.  
    10. It would be good to have some kind of attachable CD drive that we could plug in when we need to get 
         documents off of a disk that Defendant sent us with discovery documents. 
    11. Flash drives for every lawyer and paralegal so we don't have to buy our own. 
    12. Much more space on our shared drives. We only have 120GB right now and getting the stuff on one of the 
         drives is becoming an issue. 
    13. Increased VPN capability/Independent internet access within each District. 
    14. More bandwidth for all offices, but especially the smaller offices. 
    15. More external CDs (Lenovos don't have ability to read/hear CDs) 
    16. RAS should getter bigger, faster computers—as they can describe. 
    17. Ability to hook up to non‐network printers.  
    18. Portable scanners/printers for trial. 
    19. More and better scanners/printers, including color printers for legal units. 




     APPENDIX E                                                                                            38
 
        20. We would also recommend exploring the use of Microsoft's OneDrive 
            (https://onedrive.live.com/about/en‐us/). We haven't used it, but conceptually it sounds great. We can all 
            simultaneously edit and store docs without confusing which version is the most recent. 
        21. Way more email storage. 
        22. A real docketing/calendaring program (e.g., TimeMatters or Amicus or Abacus Law 
            Amicus Attorney or Compulaw). 
        23. The ability to better use casemap across offices. It's very difficult to use it now if we're on the same case 
            but across state lines.  
        24. There is excellent deposition software (http://legalsolutions.thomsonreuters.com/law‐
            products/solutions/livenote‐stream). 
        25. 30" computer monitors (lawyers are buying their own). 
        26. Software that allows us to build interfaces like Jeff Bannon—SQL Light and Delphi or Microsoft SQL Server 
            and Visual Studio (which uses C Sharp language). 
        27. Ability to use Dropbox. 




            39                                                                                        APPENDIX E
 
Appendix F: List of Recommendations 

Priority Setting 
Recommendation 1: Provide all PCHP definitions and criteria for classifying charges in one document that also 
explains the relationship between SA classifications, systemic cases, and SEP/DCP priorities. There are significant 
judgment calls involved in the agency’s PCHP. Moreover, the PCHP system was developed in 1995 before the 
Commission launched its systemic case initiative. Agency staff would benefit from greater clarity in defining SA and 
systemic criteria in the SEP and the regional attorneys’ Manual. Moreover it would be helpful to put all current 
definitions and criteria used for PCHP in a single document rather than having standards and explanations 
scattered throughout multiple documents (e.g., the 1995 PCHP, the 2013 directive, and training slides). 

Recommendation 2: Provide more guidance regarding the field attorneys’ expected role in the priority 
charge handling procedures, including how systemic cases fit into operational directives. Such guidance 
could clarify how attorneys should participate in charge classification, which is expected for A, SA, and 
systemic case classifications, while maintaining some discretion with district leadership based on available 
attorney resources. 




Relationships and Collaboration 
Recommendation 3: Use the term “performance partnership” when referring to the legal and 
enforcement staff to demonstrate that the legal and enforcement staff are partners and members of the 
same team. Make a continuing, concerted effort to emphasize to all attorneys and enforcement staff that 
they are partners in reducing discrimination. This should also be done with new hires. We understand that 
the EEOC is already considering using the term “partnership with joint accountability.”  The EEOC might 
want to consider whether inclusion of the word “accountability” might make the partnership seem less 
friendly to attorneys and investigators.  

Recommendation 4:  Continue to develop and implement the currently planned survey of all attorneys and 
investigators. Consider administering the survey on a regular basis, perhaps annually, to identify problems and 
progress in strengthening these relationships. Internal electronic surveys are generally inexpensive. An example of 
such a survey is ORIP’s survey that asks investigators about the quality of assistance provided to them by ORIP 
analysts assigned to work in district offices. Some of the questions included in the ORIP survey would be a good 
starting point for questionnaires addressed to investigators and attorneys about the helpfulness of their 


     APPENDIX F                                                                                              40
 
engagements. Major concerns for such surveys are likely to be how to handle confidentiality and how to make sure 
the results are used constructively and not punitively.  

Recommendation 5: Emphasize the need for attorneys to explain to investigators when decisions are made 
whether or not to litigate, especially when the investigator had spent considerable time developing the case. Use 
the survey of attorneys and investigators, discussed above, to help identify how widespread use of this best 
practice has been made throughout the field offices. 

Recommendation 6: Consider further use of shadowing or a variation thereof. Assess the success of this process if 
this has not been done already. Such an assessment need not be a costly external study but might be done 
adequately by a small scale qualitative examination by interested staff. We understand that at least one district 
office has used such a procedure where an investigator follows an attorney in order to learn more about his or her 
responsibilities, such as attending depositions and trials so they can see what to expect if called as a witness or 
how witness statements can be impacted by opposing counsel questioning. The Director of OFP reported in his 
comments that this is true in multiple districts and that, in some instances, attorneys have shadowed investigators. 
Building upon this practice in all field offices seems to be a logical next step. 

Recommendation 7:  Continue the work of the OFP’s National Legal Enforcement Executive Advisor in developing 
best practices that appear effective in encouraging strong collaboration between enforcement and litigation and 
routinely share such practices with the field. The best practices guide concept can also be expanded to other 
aspects of litigation and enforcement. The survey discussed in Recommendation 4 can be used to help assess the 
knowledge and use of this information by attorneys and investigators.  

Recommendation 8: Examine whether ORIP and RAS should continue to be siloed in their efforts to provide expert 
statistical analysis and investigate the reported concerns about the timeliness and, in some cases, the substance of 
statistical analyses prepared during the investigative process. We did not conduct an evaluation of the quality or 
efficiency of the work conducted by ORIP or RAS, but we recommend that the EEOC consider those concerns. One 
source of relevant information would be a survey of OFP and OGC field staff who have been users of RAS or ORIP 
analysts. The survey of attorneys and investigators suggested above would likely be useful as a starting point. An 
independent, external analyst might be appropriate to ensure respondent anonymity and analyze and report the 
findings to OGC and ORIP. 

Recommendation 9: Investigate options for addressing the inefficiencies inherent in the rigid separation of ORIP 
and RAS statistical analytic services. One option would be to bring all statistical and expert analysis of systemic and 
other high‐priority cases with potential for litigation into one office. This is a high‐level, complex decision, because 
RAS reports to OGC and ORIP reports to the Commission. It can be argued that even though ORIP is responsible for 
handling charges on the enforcement side, trial attorneys are also the “consumers” of this work when conciliation 
fails and must rely on these statistical analyses to evaluate whether a lawsuit should be filed and to prove 


        41                                                                                          APPENDIX F
 
discrimination at trial. If the Commission and OGC maintain their current roles, greater coordination, 
communication, and joint trainings would help minimize the problems raised by respondents. 




Performance Management, Measurement, Analysis, and Data 
Use 
Recommendation 10: Provide breakout categories for the timeliness measures for the current measures of both 
processing times and amount of charge inventory. This will help the EEOC determine which types of cases have 
timeliness‐related problems, enabling it to identify where problems appear to exist and encouraging attempts to 
alleviate the problems. In later reporting periods, such as after corrections have been made, the EEOC will have 
information as to the extent of progress. Averages, by combining the data on all types of cases, are fine as an 
overall aggregate measure but do not show key differences among types of cases and make it difficult to monitor 
trends for SA cases. Representatives from both OFP and OGC should jointly select the breakout categories. Some 
examples of possible breakout characteristics are activity (e.g., times for mediations, for conciliations, and the time 
taken to decide if unsuccessful conciliations will be litigated or not) and charge category (e.g., SA, A, B, and C).  

    Other measurement variations the EEOC might consider,  include: (a) the number and percentage of cases that 
exceed preselected targets (these are more likely to get people’s attention); and (b) the use of medians, which has 
the advantage that extreme values do not have excessive weight as might occur with averages.  

Recommendation 11: Develop a process for tracking compliance with injunctive relief contained in consent 
decrees. It may be appropriate for some district offices to rely on paralegals while other districts might rely on 
attorneys. At a minimum, regional attorneys, in conjunction with OGC, should identify who is responsible for 
reviewing compliance, how frequently staff should monitor compliance, how to track compliance in a practical and 
valid way, and what procedures to follow if an employer is violating the terms of a consent decree. As a part of 
compliance tracking, OGC could develop an outcome measure to track the extent to which employers do or do not 
comply with consent decrees. 

    Some steps to consider include (1) where feasible, using independent monitors, acceptable to the EEOC, who 
would provide more credible monitoring reports than those coming from employers; (2) integrating outreach and 
education efforts into consent decree monitoring, where resources are available, so that workers in affected 
communities are aware of consent decrees and what recourse they have if employers fail to remedy 
discrimination; (3) establishing a process that automatically raises an alarm if new charges arise involving 
employers with past offenses; and (4) identifying and disseminating a set of best practices for compliance reviews 
obtained from districts that have been able to undertake these reviews.  




      APPENDIX F                                                                                               42
 
Recommendation 12: Prioritize the current effort to develop a process for estimating the effectiveness of 
particular forms of injunctive relief in preventing future discrimination. The EEOC might, as part of this effort, 
explore creation of a clearinghouse of evidence‐based practices that appear to prevent employment discrimination 
and could be included in consent decrees. (EEOC might also encourage further academic research on this issue.) As 
noted above, such a study is called for in the section on “Long‐Term Research Projects” of the recently released 
Research and Data Plan. More recently, we have been advised that this study is already being conducted.  

Recommendation 13:  Consider combining OGC and OFP statistical performance data into one report. 
Disseminate, and make easily available, statistical quarterly performance reports to staff at the district office level. 
This would serve the dual purpose of (1) showing the flow of activities from intake through case closure, making 
the agency more performance driven and (2) emphasizing the importance of collaboration between litigation and 
enforcement staff. Each party has an important role that eventually affects most performance indicators in 
achieving the ultimate goal of reducing discrimination. Information on numbers of case filings, conciliations, 
settlements, consent decrees reached, and employer compliance could be of interest to each office. It will enable 
the staff to see the whole picture, including their own part, of this very important process. Because there is so 
much data, some selectivity would very likely be needed to avoid overwhelming users with numbers. 

        To make this process considerably more useful, it would be helpful if analysts had time to examine each 
quarterly report, even if only briefly, and then highlight for both enforcement and legal those performance 
numbers that likely warrant attention.             

Recommendation 14: Also provide each district with its own statistical quarterly report. This report would provide 
each district with the latest district’s data on each of the performance measures. This new report would not 
provide data on all the other districts. This, we believe, would make the statistical data easier to use and be more 
meaningful to each district. A way to improve further the utility of these reports would be to include time trend 
information (e.g., year‐to‐year comparisons, own district‐to‐national or to regional averages, and data on previous 
quarters).               

Recommendation 15: Consider introducing a measure of the number and type of SA cases that were not litigated, 
preferably broken out by the reasons why. It can be argued that a major national concern is the number of SA 
cases that failed conciliation and were not litigated even though agency staff had identified such cases as priorities 
for potential litigation. For example, it may be that: the strength of the evidence was not deemed sufficient; the 
case did not fall under one of the SEP priorities; adequate private counsel was available; or the case was 
meritorious and the regional attorneys might have pursued litigation if they had more resources. Such information, 
examined over time, can raise important issues regarding resource limitations or other issues.  

Recommendation 16: If not already being done, consider such options as: (a) using a segment of the existing 
leadership meetings or (b) holding separate regular leadership meetings on the performance data. In either case 


           43                                                                                       APPENDIX F
 
these would be  “How Are We Doing?” sessions with litigation and enforcement leadership at the EEOC 
headquarters, sessions with a focus on examining progress on key performance measures. These sessions might be 
jointly sponsored by the General Counsel, the Chief Operating Officer, and the OFP Director to review, assisted by 
ORIP, the latest quarterly statistical report. A rotating sample of regional attorneys and district directors might be 
asked to participate remotely in these meeting to offer their insights from the field. The meetings would address 
such topics as:  

             Where does the data indicate we have problems?  

             What actions might be taken to alleviate those problems?  By whom?  By when? 

             Where has the agency succeeded and how might it continue to build on past successes? 

             What progress has been made on actions decided on in previous quarterly meetings?  

These meetings are similar to the data‐driven performance review meetings overseen by the Office of 
Management and Budget for high‐priority agency goals.  

    Similarly, regional attorneys and district directors in each district office should be encouraged to hold their 
own similar “How Are We Doing?” meetings using the quarterly data from litigation and enforcement statistical 
reports as a starting point. Key staff from enforcement and litigation would also participate. 

Recommendation 17:  Pilot annual district office work plans to update priorities based on current national and 
local conditions and track progress toward SEP and DCP goals. Encourage each regional attorney and district 
director to annually review the data on the status of pending charges and litigation, the resolution of charges and 
litigation over the prior year, staff workloads, any expected changing local and national conditions, and develop a 
district performance plan for the coming year. These efforts would build on current annual workload reviews 
undertaken by the districts. To reduce the work involved with producing formal plans, this annual review might be 
treated as an informal exercise. The purpose of the pilot is to assess the usefulness and practicality of such efforts.  

    This district enforcement‐litigation performance plan would address staffing issues, training needs, and 
changes in strategic priorities consistent with the SEP and DCP and contain strategies for the coming year. The 
regional attorney and district director can use the district’s data from the quarterly statistical reports provided by 
OGC and ORIP as one basis for developing the plan. That data would help them identify the current strengths and 
weaknesses in producing desired outcomes, including addressing the capacity of the district office, given staffing 
limitations. The review would seek to identify the reasons for the strengths and weaknesses, and then identify 
desirable actions for the coming year. These reviews should include an examination of the workload held over 
from previous years and consider the district’s expectations about the forthcoming year’s new workload, based in 
part on trend data. The availability of staff to address the estimated workload would also be addressed. The 



      APPENDIX F                                                                                              44
 
district might set targets for itself on some of the performance measures and then during the year track its 
progress in meeting those targets.  

        Reviewers of the draft report expressed the reasonable concern about the time and resources needed to 
prepare these plans, including how well they can operate with respect to the EEOC’s charge‐driven system. The 
time and resources would need to be justified by sufficient usefulness of the work to the district. That is why we 
have recommended piloting this process, perhaps in two or three districts, preferably ones that volunteered.  

Recommendation 18: Reexamine the EEOC’s performance measurements including the additional measures 
recommended in recommendations 10, 11 and 15 and those included in appendix D. Select some measures for 
future regular internal and external reporting. Much of the data for tracking many of these measurements already 
appear to be available. 




Administrative Issues 
Recommendation 19: Examine the EEOC’s exit‐interview process and the findings from these interviews to better 
understand reasons for turnover. Survey legal and enforcement supervisory field staff. If the findings indicate that 
problems exist, a review of GS grade and step levels for attorneys, investigators, and paralegals may be needed to 
ensure that skills of applicants entering these positions are appropriate and the ability of the agency to retain 
experienced, skilled staff is maintained. In Section VI (“Future Areas of Study”) we recommend the EEOC conduct 
an in‐depth resource review.  

Recommendation 20: Consider providing more training to attorneys and investigators in three areas:  

                Basic understanding and interpretation of data and the nature and use of basic analytical tools and 
                 statistics employed in developing cases.  

                 Human relations and teamwork skills. 

                Management skills (suggested by one official), particularly for attorneys who have extensive trial and 
                 litigation experience but less experience managing the office of a public agency. This training would 
                 likely also be relevant to supervising attorneys (and investigation supervisors). 

Recommendation 21: Expand efforts to identify and share best practices in areas such as: (1) ways to strengthen 
collaboration between attorneys and investigators (as recommended in Recommendation 7); (2) ways for 
attorneys and investigators to analyze performance measurement data; (3) ways to follow up on compliance with 
consent decrees and conciliations (as recommended in Recommendation 11); and (4) ways to make reasonably 
accurate projections of workload for the forthcoming year.  



           45                                                                                         APPENDIX F
 
 




    APPENDIX F    46
 
Appendix G: Agency Comments on 
Urban Institute Draft Report 
 
               




        47                   APPENDIX F
 
    APPENDIX G    48
 
        49    APPENDIX F
 
    APPENDIX G    50
 
        51    APPENDIX F
 
    APPENDIX G    52
 
        53    APPENDIX F
 
    APPENDIX G    54
 
        55    APPENDIX F
 
    APPENDIX G    56
 
        57    APPENDIX F
 
    APPENDIX G    58
 
        59    APPENDIX F
 
    APPENDIX G    60
 
        61    APPENDIX F
 
    APPENDIX G    62
 
        63    APPENDIX F
 
    APPENDIX G    64
 
        65    APPENDIX F
 
    APPENDIX G    66
 
        67    APPENDIX F
 
    APPENDIX G    68
 
        69    APPENDIX F
 
    APPENDIX G    70
 
        71    APPENDIX F
 
                        
 
    APPENDIX G    72
 
Appendix H: Author’s Response to 
Comments 
We appreciate the time given by reviewers and their obvious interest in our examination of litigation‐related 
activities at the EEOC. We have made numerous modifications to the draft report based on the comments and 
suggestions made by each of the four reviewing offices. Below we address certain additional issues and some 
overall themes raised by reviewers. 

We first address two issues that multiple reviewers identified and then address particular issues from each office’s 
review.  

    1.      A concern expressed by most reviewers was the lack of coverage of a number of important aspects of the 
            EEOC’s litigation‐related activities, such as the quality of the litigation work, and the inclusion of issues 
            relating to enforcement activities at the agency. As we have emphasized in this final report, this was a 
            limited engagement; it was not a program evaluation. The Office of the Inspector General (OIG) asked us 
            to undertake a broad, rather than in‐depth examination of the EEOC’s litigation activities. 
             
            Through the course of our work it became clear, as is well understood by the EEOC, that enforcement 
            activities are integrally connected to the agency’s litigation activities and that certain aspects of 
            enforcement activities needed to be included in our work. We found no evidence that litigation quality 
            was a significant concern. Instead, we focused on those issues that emerged from our interviews and 
            review of available materials.  
             
    2.      All the reviewers raised concerns about how we described priority charge handling at the EEOC and our 
            recommendations about how charges are prioritized early in the enforcement process as potential 
            candidates for litigation. The EEOC has indeed made many good attempts to define charge categories, but 
            we had not found written documentation of the criteria used to classify A charges that are considered 
            strategically significant (SA) even though these are the cases that would be candidates for litigation if they 
            fail conciliation. Reviewers provided us a number of additional documents relating to these definitions 
            and we have accordingly revised that section of the report. Nevertheless, our interviews indicated 
            inconsistent understandings regarding the meaning of the SA classification, including the distinction 
            between SA and systemic cases. In addition, it is clear that classifying charges still requires judgment calls. 
            We therefore have suggested that the EEOC continue to look for ways to provide added guidance on 
            definitions and the criteria used to classify charges, particularly SA charges. We have revised our report to 
            reflect the information we were provided on the priority charge handling process, and related 


      APPENDIX H                                                                                                     76
 
             procedures. However, our updated review confirmed our recommendation that steps be made to clarify – 
             in one document – the current definitions and criteria to be used for all priority charge classifications, 
             including the relationship of the classifications to systemic cases.  




Response to Comments from the Office of General Counsel  
        1.   OGC correctly noted in its review of the draft of our report that no trial attorneys or investigators, and 
             only a few regional attorneys and (we add) district directors were interviewed. This was consistent with 
             the limited scope of our engagement. OGC expressed concern that we not make definitive statements 
             based on the small number of interviews. ORIP has expressed similar comments. We concur with the 
             need to avoid making definitive statements from the limited evidence. We note that our 
             recommendations only point out potential issues for EEOC to consider and suggest ways information 
             might be obtained on the extent to which these issues are present. We felt it important to report what we 
             heard and attempted to avoid over‐generalizing. To make this clearer, where we felt appropriate we have 
             modified the wording to further emphasize that this effort was an exploratory assessment and that we 
             were not intending to make definitive findings. One of our recommendations is that EEOC regularly survey 
             field attorneys and investigators to provide evidence of the extent problems exist and to elicit suggestions 
             on ways to improve these activities. 
              
        2.   OGC was concerned with the cost of implementing some of our recommendations. Many of the 
             recommendations call for internal actions with little added monetary cost to EEOC. For example, our 
             recommendation to regularly administer an internal survey of all field attorneys and investigators 
             (recommendations 4 and 8) could be completed for a low cost and would be quite valuable to EEOC 
             management, especially now that electronically administered surveys have become quite practical. As 
             noted in the report, ORIP has already undertaken such a small internal survey and has already begun 
             planning for an expanded larger version.  
              
             A small number of recommendations could involve more substantial efforts and require some additional 
             funding, for example, developing a process for tracking compliance with consent decrees 
             (recommendation 11) or developing a process for estimating the effectiveness of injunctive relief in 
             preventing future discrimination (recommendation 12). However, as noted in our report, a version of 
             recommendation 12 is already called for in EEOC’s 2016‐2019 “Research and Data Plan,” and work, we 
             have been told, has begun. 
              
             Added training (recommendation 20) might also require a small investment.  

             77                                                                                        APPENDIX H
 
Response to Comments from the Office of the Chair 
    1.   Recommendation 14: The comments stated that the statistical report we recommended was already 
         being provided. This was also raised by OFP. Our report suggests an added report that is tailored to 
         each district. This report would contain only the data on that district. We did not find any such 
         regularly issued reports. Each district would be provided its own report tailored to that district. (An 
         advanced version might also include for each performance measure the average, or median, for all the 
         districts or for all the districts of the same size range.) None of the regularly prepared reports we have 
         seen have these characteristics. Such a report could be a highly useful statistical report for the managers 
         in each district. We have attempted to clarify this part of our report.  
          
    2.   Recommendation 16: This concern was also raised by OFP. We have understood that numerous meetings 
         are held on a regular basis among the EEOC's leadership team. Our understanding of these meetings is 
         that they generally focus on reviewing cases and administrative matters. We are recommending that 
         leadership also consider addressing the latest statistical data reports provided by ORIP and OGC at regular 
         meetings. The proposed meetings would be data‐driven. The discussion should draw on data to identify 
         problems, monitor progress, and track improvements. 
          
    3.   Recommendation 19: We are suggesting the EEOC examine such information as exit interviews and 
         findings from a survey of supervisory staff on their views of turnover to assess whether a problem exits. 
         EEOC has undertaken grade‐level studies and classification audits. However, the particular 
         issues raised in our interviews indicate that the pay‐level problem has not been solved. Based on 
         what we heard from those we interviewed, it would appear that such an internal look would not 
         need to be very costly but could be helpful to the agency. If unusual turnover due to higher pay 
         for similar work in other federal agencies is found, the EEOC will at least have evidence to help it 
         seek needed adjustments.  




Response to Comments from the Office of Field Programs 
    1.   OFP’s detailed comments and documents relating to the EEOC’s priority charge handling procedures were 
         very helpful and led us to substantially revise that section of the report. 
          
    2.   Recommendation 14:  OFP raised similar concerns as the Office of the Chair that the statistical report we 
         recommended was already being provided. We addressed this concern above in our response to 
         comments from the Office of the Chair.  


     APPENDIX H                                                                                              78
 
              
        3.   OFP expressed concerns in the section “Measurement of Success in Reducing Employment 
             Discrimination,” over recommendation 18’s inclusion of measure 9 (listed in appendix D). OFP correctly 
             points out that using number of charges as an outcome measure can lead to perverse agency behavior 
             since the agency could look better by taking fewer charges or making fewer findings. Nevertheless, many 
             outcome measures have the potential for perverse actions (such as the Veterans Administration’s recent 
             problems with waiting‐time measures). This does not mean that such measures should be dropped but 
             that attention to the quality of the performance information is needed. We note that the number of 
             charges is reported by EEOC to indicate progress in reducing employment discrimination.   




Response to Comments from the Office of Research, 
Information and Planning 
        1.   ORIP’s review is highly critical of our report. We reviewed each of its comments (as well as those of the 
             other EEOC reviewers) and have made a number of modifications as appropriate.  


             ORIP’s comments, however, appear to be based on a major misunderstanding of the scope and nature of 
             our engagement and the purpose of the study. ORIP throughout its comments complains that our findings 
             were not based on quantitative data, such as those called for in formal program evaluations. It also 
             contends that we should not have based recommendations on what we learned from a small number of 
             interviews. Our work, as we have tried to emphasize in this final report, is an exploratory assessment. 
             OIG, the study sponsor, did not request a program evaluation. Nor are large samples required for such 
             exploratory studies. The objective of this study was to “identify key areas of EEOC’s litigation planning, 
             management, and related activities” and to “summarize litigation program efforts, recommending areas 
             for further study that could lead to gains in efficiency and effectiveness for the litigation program.” The 
             OIG scope of work, the funds and time provided for the study did not permit the type of quantitative work 
             that ORIP criticized us for not having done.   

             OIG reviewed and approved Urban’s work plan with the goal of identifying issues for further examination 
             and attention. That work plan involved review of relevant EEOC documents and interviews with a small 
             number of key stakeholders within the agency. OIG monitored our progress throughout the course of this 
             study and is fully aware of the scope of our work. As the work plan explained, the scope of work for this 
             project was “to conduct a broad examination of strategic elements of EEOC’s Litigation program.”   

        2.   ORIP appears to be primarily concerned that we reported on concerns we heard about the timeliness and, 
             in some cases, the adequacy of some of the statistical analysis performed to support investigations of 


             79                                                                                       APPENDIX H
 
      certain high priority charges by ORIP’s Program Research and Surveys division. We did not criticize ORIP 
      but only reported on what we heard. We explicitly stated in recommendation 8 that “We are not in a 
      position to evaluate the quality of work conducted by ORIP or RAS.”  We further stated as part of the 
      recommendation that “One source of relevant information would be a survey of OFP and OGC field 
      staff…”    We hope when we do studies such as these that the offices involved would see the identification 
      of concerns like these as opportunities to subsequently address the extent to which a problem exists and, 
      as appropriate, make improvements. 

      Nevertheless, we have reviewed the wording and agree with ORIP that at least a quick reading of the 
      wording could be misinterpreted. We therefore have made revisions in the wording of this final report. 
      However, we are professionally obligated to report on important issues that emerged from our 
      examination. 




    APPENDIX H                                                                                         80
 
References 
Berrien, Jacqueline A., P. Lopez, N. Inzeo. 2013. PCHP Operational Directive for Implementation of Strategic Enforcement Plan 
and District Complement Plans [Memorandum]. Washington DC: Equal Employment Opportunity Commission. 
Hatry, Harry P., K. Mark, E. Davies. 2013. Urban Institute Evaluation of EEOC’s Performance Measures. Available online at 
http://www.eeoc.gov/eeoc/oig/upload/OIG‐Performance‐Measures‐Final‐Report‐March‐19.pdf. 
Igasaki, Paul M., P. S. Miller. 1998. EEOC Charge Handling and Litigation Task Force Report. Available online at 
http://www.eeoc.gov/eeoc/task_reports/charge_handling.cfm.  
Schlanger, Margo, Kim, P. 2014. The Equal Employment Opportunity Commission and Structural Reform of The American 
Workplace. Washington University Law Review 91:6 1‐70. 
Silverman, Leslie, et al. 2006. Systemic Task Force Report. Available online at 
http://www.eeoc.gov/eeoc/task_reports/upload/systemic.pdf.  
US Equal Employment Opportunity Commission. 1995 Priority Charge Handling Procedures.  
 ———. 1998. National Enforcement Plan. Available online at http://www.eeoc.gov/eeoc/plan/nep.cfm.  
———. 2005. Regional Attorneys’ Manual. Available online at http://www.eeoc.gov/eeoc/litigation/manual/. 
———. 2009. FY 2009 Performance and Accountability Report. Available online at 
http://www.eeoc.gov/eeoc/plan/upload/2009par.pdf.  
———. 2011. Integrated Mission System Private Business Rules Manual. Last updated 2014.  
———. 2012a. Strategic Enforcement Plan FY 2013–2016. Available online at http://www.eeoc.gov/eeoc/plan/upload/sep.pdf. 
———. 2012b. Strategic Plan for Fiscal Years 2012–2016. Available online at 
http://www.eeoc.gov/eeoc/plan/upload/strategic_plan_12to16.pdf.  
———. 2014. FY 2015 Congressional Budget Justifications. Available online at 
http://www.eeoc.gov/eeoc/plan/2015budget.cfm.  
———. 2015a. Data Summary Report Fourth Quarter FY 2015. Document not publicly available.  
———. 2015b. FY 2015 Performance and Accountability Report. Available online at 
http://www.eeoc.gov/eeoc/plan/upload/2015par.pdf.  
———. 2015c. Office of General Counsel’s Litigation Statistics Fourth Quarter FY 2015. Document not publicly available.  
———. 2015d. Research and Data Plan FY 2016–2019. Available online at 
http://www.eeoc.gov/eeoc/plan/research_data_plan.cfm.  
US Office of Inspector General at the U.S. Equal Employment Opportunity Commission. 2013. Review of Evaluations. Available 
online at https://oig.eeoc.gov//reports/audit/2012‐009‐rev.  
Yang, Jenny R., P. Lopez, N. Inzeo. 2015. Systemic Program [Memorandum]. Washington DC: Equal Employment Opportunity 
Commission. 
 




         81                                                                                                REFERENCES