23 agosto 2012

Pruebas técnicas en entrevistas de trabajo, ¿vale todo?

Está claro que, en los tiempos que corren, triunfar en una entrevista de trabajo es algo difícil, cada día hay mas 'competencia' en el mercado laboral y debido al aumento de oferta, el nivel exigido sube y sube.

Todos hemos visto la típica oferta de trabajo en la que piden toda clase de certificaciones -algunas veces hasta inventadas- que van acompañadas de unos sueldos bastante poco competitivos, pero de lo que hoy me gustaría hablar es de las cada vez mas habituales pruebas técnicas que acompañan las entrevistas.

Recientemente una persona me contaba que, en una entrevista para un puesto de auditor, le habían pasado una suerte de cuestionario en el que le preguntaban, entre otras cosas, lo siguiente:

- Cita el flag de Nmap para realizar un escaneo 'X-mas'

- Cita los flags de SQLMap para listar tablas y columnas de una aplicación vulnerable

Me contaba esta persona que el resto de preguntas eran del mismo estilo, mas de memoria que de conocimiento y según me las iba formulando, admito que en muchas ocasiones me quedé en blanco, conocía todas las herramientas pero nunca me había parado a memorizar los flags.

Siempre he pensado que en cualquier situación 'normal' tener Google de mi lado y los help de la herramienta eran mas que suficientes para recordarme como funcionaba.

Esa conversación me llevó a pensar en las entrevistas para programadores, de esas en las que sientan al candidato frente a un Eclipse, Vi o similar y le dicen 'haga usted tal aplicación'

Y caí en la cuenta de que incluso librerías como 'CAPICOM', que he usado intensivamente en estos últimos 5 o 6 años, en aplicaciones públicas como SSLCop, Brute12 o CertDump y otros varios proyectos laborales, en realidad no es que sepa al dedillo sus métodos, sino que tengo en mi HD un montón de ejemplos que voy reciclando cuando los necesito y lo que me falta, lo investigo ad-hoc para esa eventualidad.

Evidentemente, en una entrevista de trabajo con un Eclipse delante y un 'añada usted un certificado al store de Windows' (algo que he hecho cien veces) tendría que tomarme un largo tiempo para intentar recordar el código que ya había realizado.

Lo que me lleva a preguntarme si ese tipo de entrevistas de trabajo sirven para algo mas allá de intentar localizar personas que gocen de una memoria privilegiada por encima de un conocimiento técnico real.

Yo entiendo que para un puesto de auditor, una pregunta indispensable podría ser 'como haría vd un inventario de servicios en una red' y en ese punto, que el candidato se explaye con herramientas y metodologías, sin entrar a tan bajo nivel.

O incluso, como ya he visto en otras ocasiones, que se le de al candidato una URL / IP para que audite desde su casa y luego entregue un informe al respecto, lo que sin duda sería bastante más aproximado a una actividad laboral normal, y permitiría ver al candidato no solo su conocimiento técnico, sino también su creatividad y capacidad de adaptación

No soy experto en RRHH y probablemente alguien que si lo sea pueda darme un montón de argumentos convincentes de por que una entrevista de trabajo tipo examen sirve para elegir un buen candidato, pero yo, creo que existen mejores métodos.

21 comments :

Madrikeka dijo...

Cuanta razón tienes, normalmente ya sueles ir algo nervioso a la entrevista y encima te ponen un examen??!!
Me acuerdo en una entrevista, que tuve que ir un día a hacer una prueba, me ponían en un ordenador y tenía que hacer en el PC lo que me preguntaban, la parte de windows perfecta...la parte de linux....menos mal que tenía google XD
No cuentan que simplemente te puedas quedar en blanco o que no tienes tu libreta de apuntes....yo creo que si vuelvo a hacer una entrevista y me hacen un test voy a poner un comentario en el que indique que en san google, libros o ayudas de la aplicación, puedo encontrar lo que no sepa :D
Un saludo!!
pd: después de ese examen me cogieron ;D

Miguel Rubio dijo...



Totalmente de acuerdo,
pienso que con google a mano, nuestro propio repositorio de ejemplos/proyectos
que hemos ido realizando a lo largo de nuestra vida laboral y tiempo, no es
necesario tener una mente privilegiada.





Quizá te conozcas todos
los flags de nmap de memoria (personalmente lo encuentro absurdo teniendo las
ayudas técnicas tan a mano, otra cosa es que recuerdes las que puedas usar a
diario), pero cómo evalúan la capacidad de reacción ante problemas nuevos o
inesperados…. Creo que para enfrentarte a estos casos necesitas experiencia y
no memoria y que conste que no estoy despreciando la memoria ni mucho menos.





Saludos

Otro dijo...

Por desgracia, normalmente la comunicción entre el departamento de RRHH y, en este caso, el de TI, suelen fallar bastante, y de ahí que ciertas pruebas o metodologías no sean las más idóneas; y aparte, siempre está la gran diferencia entre sabiduría y conocimiento.
Salu2!

Román Ramírez dijo...

Para un puesto técnico del tipo que sea, desde mi punto de vista se debe hacer pasar una prueba técnica de conocimientos generales. Esa enfermedad de "me he instalado debian luego soy experto en seguridad" es màs común de lo que parece.

Sin mencionar a los doblemente licenciados que no saben buscar un md5 de una palabra de tres letras pegándolo en google.

Y es que cuando vas a contratar a alguien lo que buscas es hacer más fuerte tu equipo y que te quiten trabajo. Y no tener que trabajar más y arrastrar una persona que no está cualificada. Personalmente pienso que hay que ser MUY estricto con la valoración de conocimientos.

Otra cosa es que se busque contratar a un junior, pero indistintamente seas junior o senior para trabajar en una disciplina como es la seguridad debes arrastrar una serie de conocimientos base como son sistemas, comunicaciones y algo de desarrollo.

Me cansa ver a tanto supuesto experto en gobernanza que hace análisis de riesgos sin entender qué y cómo son las amenazas que valora o, peor, sin entender qué y qué no hacen los controles.

Y es endémico, he conocido a tanta gente que por no haberles hecho una prueba técnica su contratante arrastra peso que lo tengo especialmente claro: prueba técnica sí.

Madrikeka dijo...

No creo que el tema sea si prueba técnica sí o no, si no simplemente que ojito con las preguntas.
Por que si te piden algún flag del comando nmap, puedes no recordar la letra exacta, pero eso no significa que no sepas como funciona.
Sin embargo, si te dicen que uses el comando nmap contra algo, como tienes la ayuda del nmap, vas a poner las opciones que mejor se correspondan.
En vez de hacer las preguntas tan específicas, se deberían hacer unas preguntas mas genéricas, por que lo que te tiene que interesar es que sepa usar la herramienta o que le veas con capacidad de poder aprender a usar esa herramienta.
Ten en cuenta que yo me puedo aprender de memoria todas las opciones de la herramienta que sea, pero no por ello tengo que saber como usarla, ni para que sirve, ni que hace por debajo.
Un saludo!!

Victor Rodriguez dijo...

La cosa es también que por este tipo de prácticas podrían estar perdiendo a muchos buenos profesionales, que como ya se ha mencionado, no gozamos de esa memoria privilegiada. Igualmente para el tipo de pruebas/cerificaciones que son totalmente inútiles pero que sería "nice-to-have" que podría simplemente servir de filtro o afectar/beneficiar la negociación de lo que al final podrían pagarte. Estoy totalmente de acuerdo con pruebas técnicas/certs, pero que se estén alineadas a lo que realmente formará parte de tu actividad diaria o en su defecto para planes próximos realistas de la empresa.

SiD dijo...

Mucho flipado con esto de las pruebas técnicas tipo operación Swordfish.

Como ya han comentado anteriormente conocer el funcionamiento CORRECTO de una herramienta no implica saberse de memoria todas y cada una de las posibles banderas que dicha aplicación posee.

Contestando a Roman: Pruebas técnicas sí... pero con algo de sentido común.

pfigue dijo...

para mi companero en el curro, las pruebas tecnicas no tienen sentido. El prefiere hacer una examen teorico ("que son los roles en fabric?", "que son las escalations en icinga?", etc.)

Para mi puede tener sentido, no para ver si el candidato resuelve el problema, sino como lo resuelve o lo intenta. Como se mueve por la shell, que opciones conoce, que habilidad tiene para improvisar soluciones, etc.

Las preguntas de memorieta ("opciones del comando nmap, o netcat, o ls") lo unico que me demuestran si se responden correctamente es que a) el candidato ha estado muchas horas usando nmap/netcat/ls, b) el candidato ha tenido suerte, c) el canidato se ha estudiado de memoria las opciones (en la universidad pasaba). Yo evitaria hacerlas.

Una "pregunta" que me he encontrado en las entrevistas es una URL con codigo tuyo en github/bitbucket/etc. Esto es mas para developers que ops, pero puede servir para hacerte una idea de si el candidato hace test unitarios, documenta, sigue unas coding lines, como enfoca el problema y como estructura el codigo.

ps: RRHH tiene alguna idea de IT como para seleccionar gente?

Ole - dijo...

Yo lo tengo claro, cual es el flag de que hace ?

$ man

Iñaki Rodríguez dijo...

Las pruebas técnicas que yo he preparado para algún curro consistía en una máquina virtual con un sistema que no funcionara (eran para sysadmin), unos objetivos y conexión a Internet. Y ahí se veía quién era espabilado y quién se había instalado Linux y ya era sysadmin.

danibus dijo...

h<shshs<h<srhrhr<h

Víctor Ruiz dijo...

Bueno,

Si partimos de la base de lo que significan muchos exámenes de certificación oficiales...apréndete las preguntas del exámen de memoria y podrás aprobar aunque no tengas ni la más remota idea de lo que estás hablando...

No discuto que algo de memoria te puede ayudar un poco a hacer las cosas más rápido, pero lo veo ilógico en una selección de personal. Además, la mayoría de nosotros trabajamos con decenas de aplicaciones. Tenemos que aprender de memoria los cientos de flags/opciones de menú de todo? Imposible.

Un saludo

PiniFiux dijo...

Cierto, yo tengo una anécdota personal, donde en una entrevista me pasaron un cuestionario de unas ciento y pico preguntas como las que comenta Yago, por supuesto todas relativas al uso de herramientas, alguna de las cuales odio por ser muy malas o existir otras mucho mejores vamos...una vergüenza, las entrevistas las tendría que hacer SIEMPRE alguien con los conocimientos técnicos adecuados de lo contrario así vemos ofertas donde se busca un "hacker étnico"......

Jose Selvi dijo...

Yo estoy de acuerdo con Román, la prueba técnica es indispensable. Hay mucho candidato que en la entrevista se te vende como Master del Universo pero que luego no tiene mucha idea. He visto casos de contratar a alguien cobrando el doble que sus compañeros y luego tener estos que enseñarle a hacer el trabajo.

En cuanto a las preguntas de memoria, yo he de reconocer que soy de los desmemoriados, de los que usa mucho Google y reutiliza código, pero también os digo que a veces esas preguntas sirven para pillar a gente que te miente en el curri. Es muy común ver personas que dicen ser Pentesters con 5 años de experiencia pero luego resulta que en ese tiempo hicieron 4 auditorias. Si no te sabes de memoria las opciones más comunes de herramientas típicas puede ser un indicativo de que no las sueles usar. Yo suelo preguntar alguna de esas para "validar" el curri. Aunque no se acuerde 100%, les ves claramente en la cara y en sus explicaciones si lo dominan o no.

Y que conste que lo del Xmas scan me parece poco representativo. Lo de SQLMap si que me parece significativo, aunque quizá usas otra herramienta y si es un test pierdes la oportunidad de explicarte.

vierito5 dijo...

Yo estoy de acuerdo con que haya una entrevista técnica "de verdad" pero hacer preguntas específicas sobre herramientas me parece ultra absurdo. Nunca deberían ser preguntas si/no o dime algo exacto. Yo creo que se trata de ver si la persona sabe razonar con el entorno que le das, si sabe pensar más allá de lo obvio, si es creativo para buscar una solución en lugar de quedarse bloqueado, si es multidisciplinario, si sabe mucho de un tema en concreto. Y creo que una pregunta corta que desencadene una respuesta larga es mucho más reveladora, hacia bien o hacia mal, en seguida sabes si la persona sabe lo suficiente, sabe una barbaridad o te vende humo.


Por eso creo que en nuestra area, todo RRHH debe incluir por lo menos una entrevista técnica con una o dos personas técnicas de plantilla. Y desde luego no hacer un puto test de respuestas a, b, c.

El taxista dijo...

Bueno, comparto casi todas las opiniones.

Me ha tocado estar de los dos lados, del entrevistado y del que entrevista. Normalmente lo que suelo buscar, como dice Yago, es que la persona sepa buscarse la vida. Y si, soy un poco capullo, os explico: normalmente cuelo un par de preguntas totalmente absurdas para ver con lo que me sale y aquí evaluo: la capacidad bloqueo mental. Aqui con Jose Selvi lo comparto a medias, pero tambien he sufrido de la "inutilidad lateral sobrevaluada".

He llegado a tener compañeros de equipo con 1 Ingenieria, 2 certificaciones y papelito sellado de haber comulgado cada domingo en misa, y a la hora de la verdad, las dns de google le fallan para buscar cosas.

Por eso, el primer filtro es decir, vale, ya veo tus diplomas de calificación, que tal te buscas la vida? Os sorprenderían los resultados en algunos casos, pero puedes llegar a ver si se limita a hacer corta y pega de lo encontrado (hay que validar que eso funciona, eh?) y sobre todo, la discusión posible en la respuesta de decir: eso que pregunta ud es un absurdo (tambien se mide la diplomacia en la respuesta). En este caso, dejar la pregunta en blanco puntua de forma muy negativa :)) Aunque tambien me gusta el estilo antiguo de BUP : "Di todo lo que sepas de..."

Tambien se da el tipico caso de "Becario con 5 años de experiencia" y por muchos requisitos que se pidan, luego el trabajo es para aburrirse y de junior totalmente.

Deberia de tratar Yago otro día el tema de "Pufos laborales: como filtrar a las empresas en las entrevistas"

Román Ramírez dijo...

Desde luego. Estoy de acuerdo en que es bastante absurdo y sin utilidad real preguntar sobre parámetros específicos. Entre otras cosas, pueden depender de preferencias de herramientas o, incluso, de cómo las usa cada uno.


Pero que tengo clarísimo que hay mucha gente que no tiene todos los conocimientos necesarios, para realizar su función en seguridad, lo reafirmo rotundamente.


Y, aunque haya especializaciones y disciplinas concretas muy técnicas, conocimientos generales de TODA la práctica de seguridad debe tener todo el mundo que trabaje en esta rama, y preguntas de conocimientos generales entiendo que sí es imprescindible hacer (aparte de las cuestiones técnicas a resolver sobre las funciones que esa persona vaya a realizar).

chmeee dijo...

Yo creo que lo importante en la entrevista es comprobar que el candidato conoce de verdad las herramientas y las ha usado y sabe cómo sacarles partido. Alguna pregunta del tipo "flag" tampoco está mal para comprobar si el candidato la sabe, se la inventa o dice "lo miro en el man".


Yo cuando hago entrevistas parto de la lista que indico en este post http://www.sevillasecandbeer.org/archives/130 y añado preguntas más específicas de problemas concretos con los que me he encontrado recientemente, a ver cómo se las apañaría el candidato.

Jandro dijo...

Hace años me llegaron a preguntar en una entrevista para becario que rango de memoria tenían asignados los puertos COM... y como esa, decenas de preguntas... a cuadros me quedé...

MAD dijo...

Yo si estoy en selección de personal en una consultora y pasábamos una serie de cuestionarios técnicos, pero orientados a conocer el conocimiento de aspectos más básicos y a nivel teórico para saber si conocían los conceptos y su aplicación para trabajar; intento explicarme mejor, no solo nos interesaba que hubiera trabajado con un lenguaje concreto, sino que pudiera adaptarse de manera mas o menos rápida al uso de otro. No se si es el camino adecuado, pero entendíamos que si conocía bien la programación orientada a objetos (en aquel momento) se adaptaría mejor a nuevos proyectos, así como trabajar en proyectos MVC, comprender el modelo, su utilidad..., conocer patrones de diseño y desarrollo, estar habituado al uso de fmwks, conocer metodologías; como comento, no se si es la vía más adecuada, pero el saber si al menos conocía la "filosofía" mediante un cuestionario ayuda.
De todas formas, normalmente no era un elemento de descarte, influía lo que pudieramos detectar en la entrevista y en la entrevista técnica para seguir adelante o no, pero en caso de duda podía ayudar

Luisascoobydoo dijo...

Definitivamente cierto! cero y van 3 entrevistas a las que he asistido (2 en networking y una en programacion) para las cuales me salen con severo cuadernillo de preguntas, hay cositas que uno responde pero estas 3 las recuerdo porque la mayoria las deje en blanco y si bien me siento capaz de realizar lo que ahi dicen no lo recuerdo para plasmarlo en un papel, con esto y la ultima fue hace 4 dias, me propuse a recordar cositas basicas con base en el tema al que me estoy postulando!


Saludos