Blog

2020 vision: your feedback has set a clear plan for the year ahead

20 Jan 2020

By Gavin Hayman and Kathrin Frauscher

This post is available in Spanish and Russian.

Happy New Year! At the end of last year, we conducted our annual partner survey and received an incredible 185 responses.

Firstly, a bit about the diverse group of partners who answered the survey:

  • We had more than double the feedback from our last survey (185 respondents, up from 85)
  • The most respondents come from Africa (24%) followed by Europe (23%) and Latin America (19%)
  • Respondents work in a variety of areas: public policy (26%), data use (24%), advocacy (19%), and data publication (13%)
  • They are relatively familiar with open contracting. Most (about 60%) said they have been working on open contracting for three or more years which gives them a lot of experience to share. 
  • We also did focused follow-up interviews with 20 individuals.

We’re very grateful to everyone who took the time to participate. You gave us some great feedback that will shape a clear plan for 2020. Here’s where we’ll be making our big investments this year based on your responses. 

  1. We asked: How are we doing? You said: Do more to empower us in our work

In our new strategy and beyond, we’ve invested heavily in co-design, getting feedback and making quick course corrections when we don’t get things right. We’re thrilled that this seems to be paying off. When we asked you the ultimate partners question, “would you recommend working with OCP to others working in the field of open contracting?”, you said yes and gave us a strong score of 8.6 out of 10 in total. 

Our net promoter score – calculated by taking all the positive responses of those who are enthusiastic (8 or more out of 10) and taking away all those who aren’t excited (who scored us a from 0-4, with 5-7 as neutrals) – is 76%, a big jump from 50% last time. 

But, of course, pride comes before a fall. We also asked another vital partner question: is our support enabling you to do more of what you want with less future support from us? 

You only gave us an average score here: 5.2 out of 10. We’ve made progress from last time on our score but we want to do much better. If we plan to put ourselves out of business, we need a consistent positive score on this (indeed, our net promoter score is not yet positive, enthusiasts don’t outnumber those less convinced). When we dug into the numbers, we found that we definitely scored lower in Asia and Africa, but that we score much higher when we do specific targeted training.

What we’ll do: It’s clear we need to work harder to empower you to work independently of us. This is going to form the core of our program of activities for the year. We’ve begun to correct course in our new strategy and put this score as one of our key performance indicators. We explore how we can better support you under point 2, and we are investing in new programs like Lift that provide comprehensive, sustained support and peer engagement.

  1. We asked: What can we do better to support you? You said: Provide more support with advocacy, data use and connections

You wanted us to help you make the case for change, connect you to other community members (especially funders) and support you with data use. These core support needs chime very well with the changes that we made to our work in our new strategy on building political will, focusing on problems, not proposing OCDS as a cure-all solution, and using data. 

While you would think it’s the advocates who are looking to us to make a better case, they gave us among the highest scores when asked ‘would you recommend’ and ‘are we helping’.

Where the need was more evident was among data users (and in fact our net promoter score was negative), so it is clear that we have to offer more basic resources and support services. 

What we’ll do: Our first response (anticipated by our strategy) has been to invest in two new hires at the end of last year – the fabulous Camila Salazar and Andidiong Okon as our lead data analyst and community and capacity building manager respectively – directly to meet those needs. 

Some partners also told us in the comments that our support can get too technical too fast and can focus too much on the Open Contracting Data Standard, which isn’t helpful if you are only starting to make the case for more openness, in a low tech environment, or are a civil society activist who is pushing for change from outside the government. We can do more to help ‘countervailing power’ as our friends at the International Budget Partnership eloquently put it.

We are testing a new approach under our Lift program where we are doing a lot more theory of change support and analysis with our partners. That has been really positively received so we will scale this up to reach more of you. We also think that a new approach of providing really granular diagnostics of what a local procurement market actually looks like (i.e. how much sole sourcing, how many single bid tenders, how concentrated a government’s key suppliers are) will help to make a more powerful case for change. But there is no substitute for sustaining support in the trenches and great political campaigning so we will work more with local partners on this. A great example of an approach that works – just out this week – comes from our friend and ally at the European Bank for Reconstruction and Development Eliza Niewiadomska who explains how she seizes on a good crisis to embed systemic reforms. We shared another great example last year of how the Kyrgyz journalist collective Kloop uses procurement data to hold the government to account

We will think hard about what else we can do to facilitate more peer connections and more links to funders. We have launched learning circles that we will continue in 2020 and gather feedback on if they are helpful. We are also going to focus more on regional peer gatherings: we have several of these planned in 2020 in Korea, Amsterdam, Cali, Kenya and elsewhere. We also care about connecting you to funders. We track this in our strategy but clearly not everyone is feeling the love yet. 

  1. We asked: How useful are our key resources? You scored them high overall.

All of our resources got positive feedback from the community, with the most frequent response to each resource being either 4 or 5 out of 5. You found our website and the OCDS documentation most helpful with a high net promoter score. Among the 13 resources surveyed, Flatten Tool was the least used resource. 

We received a few comments expressing surprise at the range of resources on offer. Clearly we can do more to make these accessible and visible. 

What we’ll do: Over the winter holidays, we have been working on a complete revamp of our website to really put these front and centre. It should go live at the end of January but until then you can search all our resources in this library.

We are going to be improving the implementation guidance section of the OCDS documentation to better highlight available guides and tools. We will also add a new section to the OCP website to guide OCDS data users with information about tools, methodologies, and guidance materials designed to support data use. In addition, we’ll invest in further improvements to the functionalities of key tools (including the Data Review Tool and Flatten Tool) and develop an OCDS data registry. We have already announced improvements to OCDS Kit, which is our suite of command-line tools for working with OCDS data, for example to create compiled and versioned releases and record packages, upgrade from an old version of OCDS to a new version, detect the format of an OCDS file, or load packages into a database. 

Finally, we noticed that people were asking us for more policy guidance. To address this, we plan to soon launch the Open Contracting Playbook: A Reformers Guide, and are embarking on a major project with Trustlaw to develop open contracting legislative guidance based on a review of legislation from around the world. You can read a draft of the Open Contracting Playbook.

  1. What we also learned: Provide more multilingual and gender-sensitive engagement

English responses to the survey were more than 80% and we only received a few responses from Asian partners although it is a growing area for our work, especially on infrastructure. We will put much more significant effort into multilingual engagement and resources, starting by translating this blog into English, Spanish and Russian. 

Only 39% of responses were from women so clearly we need to do more to get our responses at least gender balanced especially as so many women work in procurement, open government and open data. We have a new research program looking at gender in procurement led by one of our open heroines Hera Hussain that will generate insights and more engagement with our work from a gender perspective.

  1. Finally you said: Be careful, be inclusive and don’t become the field!

A few of you shared frankly with us that, despite our best intentions, we are risking to become the field. As we’re building up new programs and resources on infrastructure, health or advocacy, you rightly see a risk of OCP taking on more topic areas, staff and funding. We hear you. It’s a tricky balance that we are trying to carefully navigate. We will keep investing in co-designing with you, featuring your stories, approaches and tools and linking you to funders. 

Our investment in storytelling and featuring local partners is appreciated and you told us that you want more of this. 

Our work to support advocacy and data use more broadly will hopefully help shift the perspective that we are still often seen as mainly working with government actors. You also said that we should try to engage more with local partners instead of with consultants from the North. 

You offered some good suggestions on how we can develop meaningful partnerships and deeper capacities, for example by supporting local advocacy campaigns, data workshops or research projects. 

In closing, it’s game on for 2020. You’ve set a clear direction for us. We will partner with frontline advocates, and with them, develop more and better guidance on how to make the case for open contracting and build political support. Building on learning from Lift so far, we will try to help you navigate reform management challenges and share our insights with the community. 

We will keep gathering tools and approaches for high quality data publication and analytics and bring them to you. We will help you tell your stories, document your progress and share them widely. Whenever we can, we will connect you to each other and partner with you in developing new resources. Most importantly, we will keep asking you how we are doing and what we can do better. We promise, we will listen and act on your feedback again and again. Together we can go further and faster in the year ahead! 

Видение на 2020 год: чёткий план на следующий год на основании ваших отзывов

Кэтрин Фраушер и Гэвин Хейман

С Новым годом! В конце прошлого года мы провели ежегодный опрос партнёров и получили 185 замечательных ответов.

Для начала немного информации о наших партнёрах, которые приняли участие в опросе. 

  • Мы получили в два раза больше ответов, чем в прошлом году (185 респондентов, в предыдущем опросе — 85).
  • Больше всего ответов мы получили из Африки (24%), далее следует Европа (23%) и Латинская Америка (19%).
  • Респонденты работают в различных сферах: государственное управление (26%), использование данных (24%), адвокация (19%) и публикация данных (13%). 
  • Большинство из них относительно хорошо осведомлены об open contracting. Согласно ответам, 60% работают в сфере open contracting в течение трёх и более лет, соответственно, у них достаточно много опыта.
  • Мы также провели дополнительные тематические интервью с 20 респондентами.

Мы искренне благодарны всем участникам. Именно ваши ответы помогут нам сформировать чёткий план на 2020 год. Согласно обратной связи, в 2020 году мы сосредоточимся преимущественно на следующем.

  1. Мы спросили: как мы справляемся? Вы ответили: больше поддерживайте нашу работу.

В нашей новой стратегии (и не только) мы уделили достаточно много внимания совместной разработке проектов с партнерами, обратной связи и быстрой корректировке курса, если мы что-то делаем не так. Похоже, у нас получается, что нас очень радует. Когда мы задали вам главный вопрос, который только можно задать партнёрам — «Вы бы посоветовали другим сотрудничать с ОСР в сфере open contracting?» — вы ответили «да» и поставили нам хорошую оценку — 8,6 балла из 10 максимально возможных. 

Мы рассчитали наш индекс лояльности, учитывая положительные ответы тех, кто с большой вероятностью нас посоветует (8 и более из 10), и не учитывая тех, кто вряд ли посоветует (от 0 до 4 баллов), и получили 76% — значительный прогресс по сравнению с результатом в 50% в прошлом опросе. 

Но кто высоко летает, тот низко падает. Мы задали вам ещё один важный для партнёров вопрос: при той поддержке, которую мы предоставляем сейчас, вам удастся продолжать работу над вашими проектами, если поддержка с нашей стороны в будущем уменьшится?

Вы оценили нас в среднем всего в 5,2 балла из 10. Этот результат лучше, чем в прошлый раз, но нам хотелось бы его значительно улучшить. Если мы стремимся в какой-то момент прекратить работу, нам нужна последовательная положительная оценка на этот вопрос (да и наш результат по индексу лояльности нужно улучшить: количество приверженцев пока не превысило количество тех, кто в нас не уверен). Когда мы рассмотрели эти цифры более подробно, то обнаружили, что результат значительно ниже в Азии и Африке. В то же время, наши результаты намного лучше там, где мы проводим конкретные целенаправленные тренинги. 

Что мы сделаем: совершенно понятно, что нам нужно больше трудиться над тем, чтобы улучшать вашу способность работать самостоятельно, без нас. На этом и будет основываться наша программа мероприятий на год. Мы уже начали корректировку курса в нашей новой стратегии, и этот результат — один из наших ключевых показателей. Мы рассматриваем, как можем лучше вас поддерживать в рамках пункта 2, и мы инвестируем в новые программы, такие как Lift, которые обеспечивают всестороннюю стойкую поддержку и взаимопомощь участников.

  1. Мы спросили: Что мы можем делать лучше, чтобы вас поддерживать? Вы сказали: Нам нужно больше поддержки в сферах адвокации, использования данных и нетворкинга. 

 

Мне нужно, чтобы ОСР больше мне помогало…

Обосновывать важности open contracting и находить политическую поддержку
Налаживать связи с донорами или другими членами глобального сообщества
Анализировать и/или визуализировать данные OCDS (Open Contracting Data Standard)
Делиться с широкой публикой результатами моей работы в форме сторителлинга
Измерять прогресс в моей работе и её результативность
Публиковать данные OCDS
Разрабатывать новые политики, законы или регуляторные документы
Отслеживать конкретные контракты
Публиковать данные не в формате OCDS
Анализировать и/или визуализировать данные не в формате OCDS
Другое 

Вы хотели, чтобы мы помогли обосновать необходимость изменений и установить связь с другими членами сообщества (особенно с донорами), а также вам нужна поддержка в использовании данных. Эти ключевые потребности как раз отлично перекликаются с теми изменениями, которые мы внесли в нашу работу в новой стратегии. Речь идет о формировании политической воли, решении конкретных проблем вместо того, чтобы считать OCDS панацеей, и использовании данных. 

Можно было бы подумать, что адвокационные организации прежде всего интересуются, как обосновывать необходимость изменений в сторону open contracting, но на самом деле они за оба вопроса поставили нам самые высокие оценки. 

Потребность в помощи была более заметна среди пользователей данных (и наш индекс лояльности получился отрицательным), исходя из чего нам следует предоставлять больше базовых ресурсов и сервисов поддержки.

Что мы сделаем: первое, что мы сделали (как и предполагалось согласно стратегии) — в конце прошлого года взяли на работу двух новых сотрудников: чудесную Камилу Салазар на должность главного аналитика данных и Андидонг Окон на должность менеджера по развитию потенциала и сообщества. Именно они помогут нам с полученными запросами.

Некоторые партнёры также сообщили в комментариях, что наша поддержка иногда слишком быстро переходит к технической стороне и слишком привязана к OCDS, а это не особо полезно, если вы только начинаете объяснять необходимость открытости, работаете в условиях устаревших технологий либо являетесь гражданским активистом, который пытается достичь изменений вне правительственной системы. Мы можем делать больше, чтобы помочь «противодействующей силе», как удачно выразились наши друзья из International Budget Partnership.

В рамках нашей программы Lift мы тестируем новый подход, при котором мы значительно больше внимания уделяем анализу и поддержке на основании теории изменений вместе с нашими партнёрами. Мы уже получили очень положительные отзывы, поэтому собираемся расширить программу, чтобы больше партнёров могли принять в ней участие. Также мы считаем, что эффективно обосновать необходимость изменений в данных о государственных контрактах можно с помощью очень точной и подробной диагностики ситуации на местном рынке закупок (например, сколько закупок было совершено вне конкурса, в каком количестве тендеров был только один участник, насколько сильна монополия основных поставщиков правительства). Но стабильная поддержка на передовой и качественные политические кампании незаменимы, поэтому мы будем уделять этому аспекту больше внимания. Отличный свежий пример эффективного подхода демонстрирует наш друг Элиза Невядомска из Европейского банка реконструкции и развития, которая объясняет, как она использует кризисные ситуации для внедрения системных реформ. В прошлом году мы поделились с вами еще одним замечательным примером, как кыргызский коллектив журналистов Клооп использует данные о закупках, чтобы контролировать подотчетность правительства.

Мы серьезно подумаем над тем, что ещё мы можем сделать для налаживания связей между организациями, а также организаций с донорами. Мы запустили учебные группы, и в 2020 году мы будем и далее поддерживать их работу, а также собирать отзывы об их пользе. Мы также планируем уделять больше внимания региональным встречам партнёрских организаций: в этом году у нас запланированы встречи в Корее, Амстердаме, Кали, Кении, и это ещё не всё. Мы также стремимся помочь вам наладить связи с донорами: мы уже отслеживаем этот процесс в нашей стратегии, но, судя по всему, эта поддержка пока недостаточно ощущается. 

  1. Мы спросили: насколько полезны наши ключевые ресурсы? Вы ответили, что полезны. 

Все наши ресурсы получили хорошие отзывы от сообщества и оценки преимущественно 4 или 5 баллов из 5. Самыми полезными вы назвали наш сайт и документацию OCDS, к тому же у них получился высокий индекс лояльности. Из 13 ресурсов, которые мы перечислили в опросе, меньше всего вы пользуетесь инструментом Flatten Tool.

Мы получили несколько удивленных комментариев по поводу того, сколько разных ресурсов мы предоставляем. Следовательно, мы должны прикладывать больше усилий, чтобы они были доступными и видимыми.

Что мы сделаем: Во время зимних праздников мы полностью переделали наш сайт таким образом, чтобы ресурсы и инструменты оказались на самом заметном месте. Новую версию мы запустим примерно в конце января, а пока можно просмотреть все наши ресурсы в библиотеке.

Мы улучшим раздел с инструкциями по внедрению в документации OCDS, чтобы сделать доступные советы и инструменты более заметными. Мы также добавим новый раздел на сайт ОСР, чтобы у пользователей данных OCDS была вся информация об инструментах, методологиях и инструкциях, разработанных для использования данных. Кроме того, мы будем и впредь улучшать функционал ключевых инструментов (в том числе инструментов Data Review Tool и Flatten Tool), а также разработаем регистр данных OCDS. Мы уже анонсировали улучшение-OCDS Kit — нашего набора инструментов для командной строки для работы с данными OCDS, например, для создания скомпилированных и разделённых на версии релизов и пакетов данных, апгрейда до новой версии OCDS, определения формата файла OCDS или загрузки пакетов в базу данных. 

Ещё вы указали, что вам нужно больше информации, как работать с политикой. Чтобы выполнить эту просьбу, мы вскоре опубликуем так называемый «Учебник по open contracting: инструкция для реформатора», а также начинаем большой проект совместно с Trustlaw, чтобы разрабатывать законодательные ориентиры для open contracting на основании обзора законодательства по всему миру. Черновая версия книги доступна онлайн.

  1. Что мы еще узнали: нужно предоставить больше информации на разных языках и внимания к гендерному аспекту

Более 80% ответов на опрос были на английском языке, и мы получили лишь несколько ответов от наших партнёров из Азии, хотя мы всё больше работаем в этом регионе, особенно над инфраструктурой. Мы будем прилагать значительно больше усилий, чтобы наши ресурсы были доступны на разных языках, и начнём с того, что этот блог будет опубликован на английском, испанском и русском языках.

Только 39% ответов поступили от женщин, а значит, нам следует прилагать больше усилий, чтобы ответы на наши опросы были по крайней мере в равной степени распределены между мужчинами и женщинами, особенно учитывая то, насколько много женщин работают в сферах закупок, открытого правительства и открытых данных. Мы запустили новую исследовательскую программу, которая занимается гендерным аспектом в закупках под руководством нашей героини Геры Хуссейн. Эта программа поможет нам узнать немало нового и понять, как лучше учитывать гендерную составляющую в нашей работе. 

  1. Наконец, вы сказали: осторожно, включайте нас в работу и не распыляйтесь

Некоторые респонденты честно сказали, что переживают, не получится ли у нас слишком большой разброс проектов, как бы мы ни старались этого избежать. Мы развиваем новые программы и ресурсы на тему инфраструктуры, здравоохранения или адвокации, и вы справедливо замечаете, что есть риск, что работа ОСР будет включать всё больше сфер, для которых потребуется еще больше сотрудников и финансирования. Мы это осознаём. Это непростая граница, но мы пытаемся за неё не выходить. Мы и далее будем привлекать вас к разработке, рассказывать о ваших историях, подходах и инструментах и помогать вам находить доноров. 

Вы цените, что мы рассказываем истории о наших местных партнёрах, и хотели бы видеть их чаще. 

Надеемся, что наша работа над расширенной поддержкой адвокации и использования данных помогут изменить представление о нас как об организации, которая преимущественно работает с представителями власти. Вы также указали, что нам следует больше советоваться с местными партнёрами, а неконсультантами с Севера.

Вы высказали хорошие предложения, как мы можем развивать эффективные партнёрства и потенциал организации, например, поддерживая местные адвокационные кампании, тренинги по работе с данными и исследовательские проекты. 

 

В заключение, в 2020 у нас — полный вперёд. Вы чётко обозначили, в каком направлении нам развиваться. Мы начнём сотрудничество с лучшими сторонниками open contracting и вместе с ними разработаем больше эффективных инструкций, как объяснять необходимость open contracting и наращивать поддержку со стороны политиков. Используя опыт проекта Lift, мы попытаемся помочь вам справиться с трудностями управления реформами и поделимся тем, что поняли сами. 

Мы будем и впредь собирать для вас инструменты и подходы для качественной публикации и анализа данных. Мы поможем вам рассказывать свои истории, фиксировать прогресс и делиться этой информацией с широкой аудиторией. При любой возможности мы будем вас сводить друг с другом и сотрудничать с вами при разработке новых ресурсов. Что важнее всего, мы будем спрашивать, как мы справляемся и что можем делать лучше. Обещаем, что прислушаемся к вам и будем работать в соответствии с вашими отзывами. Вместе мы сможем достичь ещё большего в следующем году!